Mô hình hóa màu da (Facial Skin Color Modeling)

Mô hình hóa màu da
(Facial Skin Color Modeling)
Nội dung
•
Giới thiệu
–
Ứng dụng màu sắc trong phát hiện mặt người
–
Đặc điểm màu sắc: Điểm mạnh & Điểm yếu
•
Phát hiện màu da trong các không gian
màu
•
Mô Hình Màu Da
•
Mô hình hoá màu da với Skin locus
•
Kết luận
•
Demo
Giới thiệu – Ứng dụng màu sắc
trong phát hiện mặt người
•
Có thể nhần lẫn đối tượng tương tự màu
Ví dụ: Bàn tay, gỗ
•
Cần những căn cứ khác để phát hiện
vùng mặt

Sử dụng như bước tiền xử lý để loại bỏ
những đối tượng sai rõ

•
Yếu tố nào cần quan tâm khi chọn mô
hình màu da?
•
Làm sao để tìm mô hình phù hợp?
Đặc điểm màu sắc
•
Màu sắc có độ phân biệt cao và tính
toán nhanh
•
Những biến đổi hình học thông thường
không ảnh hưởng thông tin màu
•
Màu da khác hẳn so với những thứ
xung quanh
 Màu sắc được dùng khá phổ biến
trong phát hiện mặt người
Đặc điểm màu sắc (tt)
•
Nhạy với biến đổi về độ chiếu
sáng (đặc biệt là sắc độ)
 Có thể ảnh hưởng xấu cho 1 số
mô hình
White
balancing
Yếu tố nào cần quan tâm khi chọn
mô hình màu da?
•
Nhân tố quan trọng cần quan tâm là độ
chiếu sáng

•
Sắc thái da (skin tone): những giá trị màu
thể hiện da với chất lượng chấp nhận
được với con người.
•
Khó khăn khi chọn mô hình: với skin tone
tương ứng với mô hình, thay đổi màu
sắc (illumination)  vùng da trở thành
không phải da
Những nhân tố ảnh hưởng thể hiện
màu da
•
Khác biệt về độ nhạy của máy
ảnh
•
Sự phản xạ
•
Tham số cài đặt của camera
 Ít ảnh hưởng hơn thay đổi về độ
chiếu sáng
Nội dung
•
Giới thiệu
•
Phát hiện màu da trong các không
gian màu
–
Các nghiên cứu và so sánh
•
Mô Hình Màu Da

•
Mô hình hoá màu da với Skin locus
•
Kết luận
•
Demo
Màu da trong các không gian màu
•
Không gian màu: Tạo ra bằng cách
chuyển đổi từ không gian RGB
•
Tách thông tin màu: Cường độ
(Intensity) và sắc độ (chromaticity)
 Không hoàn toàn: Sắc độ phụ thuộc
vào giá trị cường độ trong RGB
 Sử dụng thông tin sắc độ không cho ta kết quả tốt
đối với biến đổi về cường độ
Màu da trong các không gian màu
(tt)

Thiết kế một không gian mới để
giải quyết yêu cầu
•
Ví dụ: tint/saturation/lightness
(TSL), không gian màu đặc biệt
dùng trong phát hiện màu da do
Terrillon và cộng sự thiết kế
Những nghiên cứu và so sánh
•
Chỉ sử dụng những bộ chú thích

sắc độ (chromaticity descriptor)

 Chống lại những ảnh hưởng
do thay đổi cường độ
•
Điều kiện:
–
Camera tuyến tính
–
Không gian màu độc lập giữa cường độ và
sắc độ
Những nghiên cứu và so sánh (tt)
•
Sắc thái da khác nhau chủ yếu ở
giá trị cường độ của chúng
•
Do độ phản xạ của những nhóm
sắc thái da là tương tự nhau
Những nghiên cứu và so sánh (tt)
•
Brand và Mason so sánh 3 phương
pháp
–
Ratio between RGB channel
–
One-dimensional indicator from IQ components of
YIQ space
–
RGB probability map
 RGB probability map có tỉ lệ lỗi sai

thấp nhất, phát hiện đúng: 95% với
tập huấn luyện
Những nghiên cứu và so sánh (tt)
•
Jones and Rehg: thực nghiệm trong
không gian RGB
–
Mô hình histogram cho kết quả tốt hơn Mô hình Gauss
hỗn độn
•
Zarit: phân lớp dựa tren histogram màu,
thực hiện trên 5 không gian màu: CIE
Lab, Fleck HS, HSV, normalized RGB,
YCrCb
–
Dựa trên look-up table và lý thuyết quyết định Bayesian
–
Không gian HS tốt nhất
Những nghiên cứu và so sánh (tt)
•
Một số nghiên cứu của Caetano,
Yang và Ahuja cho thấy: không gian
normalized RGB có thể phù hợp với
nhiều ứng dụng dùng skin tone
•
Khó đưa ra mô hình tốt nhất vì còn
tùy thuộc vào nhiều điều kiện
 Tùy vào ứng dụng mà chọn mô
hình
Nội dung

•
Giới thiệu
•
Phát hiện màu da trong các không
gian màu
•
Mô Hình Màu Da
–
PP Trên Ảnh Đơn
–
PP Trên Chuỗi Ảnh Tuần Tự
•
Mô hình hoá màu da với Skin locus
•
Kết luận
•
Demo
Mô Hình Màu Da
•
Phương pháp trên ảnh đơn (single
image)
Đặc điểm: dựa trên xác suất phân bố
màu điểm ảnh hoặc vùng giới hạn của
không gian màu đối tượng.
•
Phương pháp trên chuỗi ảnh tuần tự
(image sequence)
Đặc điểm: theo vết một đối tượng, lợi
dụng tính chất những đặc trưng biến đổi
rất chậm để tìm vùng da.

Phương Pháp Trên Ảnh Đơn (1)
•
Dựa vào phân bố xác suất (Statistics)
Ý tưởng: mỗi đối tượng có tỉ lệ sắc màu
(color tone) riêng biệt  cần tính giá trị
ngưỡng (threshold).
Điểm yếu: giá trị ngưỡng mang tính chất
tương đối phụ thuộc vào tập huấn luyện,
cách chọn ngưỡng, …
Các thuật toán áp dụng: biến đổi Gauss,
mạng Nơron, Histogram…
Phương Pháp Trên Ảnh Đơn (2)
•
Dựa vào vùng không gian màu (region
in color space)
Ý tưởng: da người nằm trong một vùng
không gian màu nhất định  cần xác
định hình dạng của vùng này.
Điểm yếu: định ra đường biên vùng
không dễ vì bị ảnh hưởng bởi nhiễu, tập
ảnh, độ chiếu sáng,…
Phương Pháp Trên Ảnh Đơn (3)
•
Tinh chỉnh màu cho phương pháp dựa vào vùng
không gian màu.
Mục đích: giảm ảnh hưởng của sự biến đổi độ sáng
và độ phản xạ của bức ảnh.
Phương pháp: màu trắng tham khảo (reference
white)
- Chọn một dãi giá trị màu trắng trong tập giá trị độ

sáng gamma không tuyến tính đã được tinh chỉnh
(nonlinear gamma-corrected liminance)
- Hệ số scale các giá trị trên về 255 làm hệ số tinh
chỉnh ảnh.
Phương pháp Trên Chuỗi Ảnh Tuần
Tự
•
Mô hình bất biến (fixed model)
Xem mỗi bức ảnh là một tập các ảnh
rời rạc  giống phương pháp trên.
•
Mô hình thích ứng (adaptive model)
Ý tưởng: Phân bố màu trên một tập
các ảnh tuần tự khá giống nhau hay
sự thay đổi ít. Tuy nhiên độ chiếu
sáng thay đổi rất nhanh.
Nội dung
•
Giới thiệu
•
Phát hiện màu da trong các không
gian màu
•
Mô Hình Màu Da
•
Mô hình hoá màu da với Skin locus
–
Tạo Skin locus
–
Ứng dụng của skin locus

•
Kết luận
•
Demo
Mô hình hoá màu da với Skin locus
Ánh sáng thay đổi  màu da thay đổi.
Skin Locus là khoảng sắc độ da dưới sự
thay đổi của cường độ sáng trong không
gian màu NCC.
Ưu điểm của Skin Locus:
•
Chịu được sự thay đổi cường độ sáng.
•
Chịu được sự thay đổi sắc độ sáng.
Tạo Skin locus
2 cách tiếp cận:
•
Dựa trên quang phổ (Spectral-
based).
•
Dựa trên tập ảnh (Image-Based).
Cách tiếp cận dựa trên quang phổ
Cần các thông tin về thông số máy
ảnh

khó lấy.

Đưa ra cách tiếp cận dựa trên
ảnh.