08-Ekstraksi dan Deteksi Fitur pada phyton.pptx

padat jelas dan tidak menarik

1. Deteksi dan Ekstraksi Fitur

2. Outline Memahami konsep deteksi fitur - Mengetahui sifat-sifat fitur yang baik - Mempelajari cara mengekstraksi fitur dari citra - Mempelajari algoritma Harris corner detection - Mempelajari Scale Invariant Feature Transform (SIFT)

3. Apa itu fitur dan apa kegunaannya - Fitur: informasi yang mendeskripsikan citra atau bagian darinya Corners Edges Circles , ellipses, lines , blobs etc - Kegunaan: • Mencocokkan dua citra (misal untuk stitching panorama) • Pengenalan objek, pengenalan wajah • Struktur dari gerak, korespondensi stereo - Mengapa tidak mencocokkan piksel langsung? • Nilai piksel berubah dengan intensitas cahaya, warna, orientasi kamera

4. Sifat-sifat fitur yang baik (Good Features) 1. Repeatability: Terdeteksi di lokasi yang sama meski ada perubahan sudut pandang atau pencahayaan 2. Saliency (Deskriptifitas): Titik yang sama di citra berbeda menghasilkan fitur serupa, dan sebaliknya 3. Compactness: Sedikit jumlah fitur dan ukuran deskriptor kecil → mempercepat proses pencocokan

5. Dua Langkah Ekstraksi Fitur Deteksi Fitur: menentukan lokasi mana yang akan diekstrak Tidak semua lokasi cocok untuk mengekstraksi fitur 2. Ekstraksi Fitur: menentukan orientasi jendela dan apa yang dienkode dalam fitur

6. Corners are Simple Features Pojok : pertemuan dua tepi Mudah dideteksi dan repeatable

7. Aplikasi pencocokan fitur Image alignment and stitching 3D structure from motion Motion tracking Robot navigation Image retrieval Object and face recognition Human action recognition

8. Contoh Image Stitching (Ilustrasi panorama sebelum dan sesudah)

9. Contoh Image Alignment - Jika tidak diratakan, citra dari objek atau orang yang sama tidak akan cocok (Ilustrasi perbedaan alignment) RMSE > 5000

10. Structure from Motion (SfM) - Contoh: “Building Rome in a Day” oleh Noah Snavely - Mencocokkan titik fitur pada koleksi citra tak berurutan

11. Motion Tracking - Misal melacak gerak bowler di video - Bisa pakai marker atau deteksi poin yang sama di tiap frame Can be done without markers If we can detect the same points in all video frames

12. Feature Detectors – Classic and State of the Art Feature Detection Extraction OpenCV Published Harris Yes No Yes 1988 KLT Yes No Yes 1994 LBP No Yes Yes 1994 SIFT Yes Yes Yes IJCV 2004 FAST Yes No Yes ECCV 2006 SURF Yes Yes Yes CVIU 2008 BRIEF No Yes ~ ECCV 2010 ORB Yes Yes Yes ICCV 2011 BRISK Yes Yes Yes ICCV 2011 FREAK Yes Yes Yes CVPR 2012

13. Contoh Feature Extraction Haar features HOG: Histogram of Oriented Gradients LBP: Local Binary Patterns Harris Corners Scale Invariant Feature Transform (SIFT)

14. Haar Features Berdasar wavelet sederhana: selisih jumlah piksel area putih dan hitam Dapat dihitung real time dari integral image Banyak classifier lemah menggunakan basis haar Bila dikombinasikan dapat menjadi strong classifier Integral image Sum of pixels in D = 4 – 2 – 3 + 1

15. Haar Features : Applications Deteksi realtime X X dapat berupa Faces Stop signs Fish Any object Menggunakan C++ OpenCV library, kita dapat melatih Haar detector untuk berbagai objek Dapat juga dilakukan menggunakan Matlab Computer Vision System Toolbox

16. Histogram of Oriented Gradients (HOG) Calculate gradient magnitude and orientation at each pixel Divide orientations into N bins e.g. 360 degrees can be divided into 18 bins The gradient magnitude of each pixel is then voted into the bin corresponding to its orientation Improved variants Distribute the gradient magnitude among neighboring bins (soft voting) Divide image into cells, compute HOG for each cell and concatenate them Use a Gaussian window to weight the gradient magnitudes Normalize the final HOG to unit magnitude

17. Aplikasi HOG Dapat digunakan untuk Deteksi objek/aksi (terutama pedestrian) Hasil yang sangat baik untuk pedestrian detection Hasil baik untuk pengenalan aksi

18. Local Binary Pattern (LBP) Compare 8-connected neighborhood with center pixel If pixel > center , replace with ‘1’ else ‘0’ Construct a binary number by going clockwise Replace the center pixel with the decimal value of the binary number Binary number is sensitive to starting point – LBP is not rotation invariant Rotate binary string to minimize decimal value for rotation invariance Minor changes in illumination can change the decimal value Partition image into cells and construct LBP histograms in each cell

19. LBP Example from OpenCV Notice how LBP feature are illumination invariant