Bài giảng Xử lý ảnh - Chương 5: Trích chọn các đặc trưng trong ảnh - Hoàng Văn Hiệp

Nội dung text: Bài giảng Xử lý ảnh - Chương 5: Trích chọn các đặc trưng trong ảnh - Hoàng Văn Hiệp

1. 11/8/2011 Xử lý ảnh Hoàng Văn Hiệp Bộ môn Kỹ thuật máy tính Viện Công nghệ thông tin và Truyền thông Email: hiephv@soict.hut.edu.vn 1 Nội dung Chương 1. Giới thiệu chung Chương 2. Thu nhận & số hóa ảnh Chương 3. Cải thiện & phục hồi ảnh Chương 4. Phát hiện tách biên, phân vùng ảnh Chương 5. Trích chọn các đặc trưng trong ảnh Chương 6. Nén ảnh Chương 7. Lập trình xử lý ảnh bằng Matlab và C 2 1
2. 11/8/2011 Color histogram Histogram của ảnh đa mức xám: [0 L-1] là hàm rời rạc: . ℎ = 푛 o Với là thành phần mức xám thứ k o 푛 : số lượng pixel có mức xám là Dạng chuẩn hóa: 푛 ℎ = 푛 Với n: tổng số pixel trong ảnh Biểu diễn ảnh = 1 vector đặc trưng . Số chiều vector = số bin histogram . Giá trị mỗi phần tử = giá trị mỗi bin histogram 5 Color histogram (tiếp) Ưu điểm . Phản ánh phân bố màu sắc trong ảnh . Bất biến với phép quay ảnh (không làm méo) . Bất biến với phép dịch ảnh Nhược điểm . Không phản ánh tính không gian . Nhạy với phép thay đổi ánh sáng 6 3
3. 11/8/2011 Color moments Nếu coi giá trị mức xám tại mỗi điểm ảnh trong ảnh là biến ngẫu nhiên  Histogram của ảnh: hàm mật độ phân bố xác suất của biến ngẫu nhiên Có thể đặc trưng một phân bố xác suất của biến ngẫu nhiên bởi các giá trị . Mean (giá trị kỳ vọng, giá trị trung bình) . Độ lệch chuẩn (độ lệch của các điểm so với giá trị trung bình) . Skewness (độ lệch phân bố) Giá trị moments các cấp 9 Color moments (tiếp) Giá trị mean (trung bình) Moment cấp 2: độ lệch chuẩn (standard deviation) Moment cấp 3: skewness 10 5
4. 11/8/2011 Kết cấu ảnh Kết cấu ảnh: còn gọi là vân ảnh chưa có định nghĩa tổng quát . Thể hiện sự sắp xếp về mặt không gian của các giá trị độ chói (ảnh đa mức xám), màu sắc (ảnh màu) . Kết cấu ảnh được tạo từ các phần tử kết cấu gọi là texel . 2 loại kết cấu ảnh o Kết cấu tự nhiên o Kết cấu nhân tạo 13 Kết cấu ảnh (texture) – tiếp 14 7
5. 11/8/2011 Ma trận đồng hiện (tiếp) Ví dụ: Tìm ma trận đồng hiện của ảnh sau: . P hàm tương quan vị trí: ∆ = 1, ∆ = 1 17 Ma trận đồng hiện (tiếp) Nhận xét . Ma trận đồng hiện cho thấy tương quan giữa các điểm ảnh . Vì ma trận phụ thuộc hàm vị trí P chọn P sao cho phù hợp với pattern của texture . Các đặc trưng texture có thể rút ra từ ma trận đồng hiện o Giá trị xác suất lớn nhất o Giá trị độ tương phản o Tính đồng đều, đồng nhất o Entropy 18 9
6. 11/8/2011 Đặc trưng LBP LBP: local binary pattern Một trong những đặc trưng rất mạnh cho các bài toán phân lớp texture được đề xuất bởi Ojala năm 1994 LBP + HOG rất tốt cho bài toán phát hiện người (có người/không có người trong ảnh) 21 Đặc trưng LBP (tiếp) Ý tưởng của LBP như sau 22 11
7. 11/8/2011 Đặc trưng LBP (tiếp) Ví dụ: . Các patterns 00000000 (0 transitions), 01110000 (2 transitions) và 11001111 (2 transitions) là uniform . Các patterns 11001001 (4 transitions) and 01010010 (6 transitions) không uniform Sau đó . Mỗi uniform pattern được gán một nhãn . Tất cả các non-uniform pattern được gán chung 1 nhãn . Như vậy nếu dùng (8,1) neighborhood thì sẽ có 256 pattern, trong đó có 58 uniform, nên suy ra số chiều của LBP feature là 59 25 Đặc trưng LBP (tiếp) Áp dụng cho face 26 13
8. 11/8/2011 Chain code (tiếp) Các vấn đề của chain code . Mã dài resampling . Vị trí điểm bắt đầu o Giải pháp: quay mã (dịch vòng) đến khi gặp mã nhỏ nhất (ví dụ: 10103322 01033221) 29 Chain code (tiếp) Ví dụ: 30 15
9. 11/8/2011 Các thuộc tính của đặc trưng cục bộ (tiếp) Để đảm bảo tính lặp các đặc trưng cục bộ có thể thu được bằng 2 cách . Invariance: Bất biến theo một tiêu chí nào đó (một số phép biến đổi) o Mô hình hóa các phép biến đổi bằng công thức toán o Tìm các đặc trưng, hoặc cách mô tả đặc trưng không bị ảnh hưởng bởi phép biến đổi . Robustness o Tìm các đặc trưng hoặc cách mô tả đặc trưng ít bị ảnh hưởng bởi các phép biến đổi 33 Dò điểm hấp dẫn Các phương pháp . Dựa trên đường bao, điểm uốn (contour - based) . Dựa trên mức xám (intensity - based) . Dựa trên các vùng nổi lên, lồi lên (salient - based) . Dựa trực tiếp trên màu sắc (color - based) . Dựa trên các kỹ thuật phân vùng (segmentation - based) . Dựa trên học máy (machine learning) 34 17
10. 11/8/2011 Moravec corner detector flat Bộ dò góc Moravec (Moravec corner detector) – tiếp Điểm thường Biên 19
11. 11/8/2011 Bộ dò góc Moravec (Moravec corner detector) – tiếp Một số nhược điểm bộ dò góc Moravec . Cửa sổ trượt nhị phân . Chỉ trượt theo một số hướng nhất định (4 hướng) (chọn các giá trị của u, v trong công thức) . Tìm ra nhiều điểm nằm trên biên 41 Bộ dò góc Harris Thay hàm cửa sổ bằng hàm Gaussian (khắc phục hàm cửa sổ nhị phân) 42 21
12. 11/8/2011 Bộ dò góc Harris (tiếp) Việc phân tích trị riêng của ma trận M giúp phát hiện sự thay đổi cường độ sáng bên trong cửa sổ phát hiện biên 45 Bộ dò góc Harris (tiếp) Từ đó suy ra công thức xác định các điểm là góc của bộ dò Harris 2 R det M k trace M det M 12 trace M 12 46 23
13. 11/8/2011 Bộ dò Harris (tiếp) Ưu điểm . Bất biến với phép quay . Robustness với phép thay đổi cường độ sáng . Tính lặp cao Nhược điểm . Không bất biến với pháp co giãn 49 Bộ dò Harris (tiếp) Không bất biến với phép co giãn All points will be Corner ! classified as edges 50 25
14. 11/8/2011 Phép dò bất biến với phép co giãn (scale invariance detection) Giải pháp: . Chọn một hàm trên vùng này (vòng tròn), sao cho hàm bất biến với tỷ lệ (ví dụ: hàm phản ánh giá trị trung bình cường độ sáng) Phép dò bất biến với phép co giãn (scale invariance detection) Cực trị địa phương ứng với kích thước vùng bất biến theo tỷ lệ 27
15. 11/8/2011 Phép dò bất biến với phép co giãn (scale invariance detection) 1 scale  Harris-Laplacian Find local maximum of: . Harris corner detector in space (image coordinates) Laplacian Laplacian . Laplacian in scale y   Harris x 2 scale • SIFT (Lowe) Find local maximum of: – Difference of Gaussians in space DoG DoG and scale y   DoG x 1 K.Mikolajczyk, C.Schmid. “Indexing Based on Scale Invariant Interest Points”. ICCV 2001 Computer Vision : CISC 4/689 2 D.Lowe. “Distinctive Image Features from Scale-Invariant Keypoints”. Accepted to IJCV 2004 Mô tả các điểm hấp dẫn Các điểm tìm được từ các bộ dò gọi là các keypoint vấn đề là làm sao để matching các keypoint của 2 ảnh với nhau cần mô tả các keypoint ? 58 29
16. 11/8/2011 Đọc thêm Local Invariant Feature Detectors: A Survey - Tinne Tuytelaars1 and Krystian Mikolajczyk2 Distinctive Image Features from Scale- Invariant Keypoints Interest point detector Image descriptor 61 31