Bài giảng cơ sở dữ liệu chỉ mục và tìm kiếm ảnh

Hà Nội - 2005/14
CHỈ MỤC VÀ TÌM KIẾM ẢNH
Bài 6
PGS.TS. Đặng Văn Đức

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Nội dung

Giới thiệu

Tìm kiếm ảnh trên cơ sở văn bản

Tìm kiếm ảnh trên cơ sở màu

Tìm kiếm ảnh trên cơ sở hình dạng

Tìm kiếm ảnh trên cơ sở hoa văn

Kết luận
2/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
1. Giới thiệu

Nhắc lại kiến trúc CSDL đa phương tiện
User
Multimedia Query Engine
Document Index Image Index Audio Index Video Index
Query
Answer
3/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh

Giới thiệu

Nhắc lại loại dữ liệu đa phương tiện
image
Once upon a time, there was a little
a
u
d
i
o
text
video
4/40
Giới thiệu

Khung làm việc của hệ thống CSDL ảnh
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 5/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Giới thiệu

Có nhiều nghiên cứu về chỉ mục và tìm kiếm ảnh hơn lĩnh vực âm thanh và video.

Các tiệm cận chỉ số hóa và tìm kiếm ảnh bao gồm:

Trên cơ sở thuộc tính có cấu trúc, trích chọn thủ công

Trên cơ sở tự động nhận dạng đối tượng

Trên cơ sở văn bản mô tả ảnh


Trên cơ sở các đặc trưng ảnh mức thấp được trích chọn tự động.

Ví dụ các đặc trưng ảnh trên cơ sở màu, hình dạng và hoa văn ảnh.

Tổ hợp các đặc trưng để có chỉ số hóa và tìm kiếm hiệu quả.

Ví dụ, nếu chỉ sử dụng màu thì không phân biệt được ôtô đỏ và quả táo đỏ

Vấn đề

Chỉ mục tự động hay mô tả thủ công

Các đặc trưng hay khái niệm ngữ nghĩa.
6/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
2. Tìm kiếm ảnh trên cơ sở văn bản

Ảnh được mô tả bằng free text.

Câu truy vấn dưới hình thức các từ khóa hay văn bản có hoặc không có các toán tử Bool.

Mô tả ảnh thủ công, việc tự động hiểu ảnh là không thể.

Sử dụng cơ sở tri thức và phản hồi trong tìm kiếm ảnh.

Ưu điểm

Có thể thu thập các khái niệm và trừu tượng mức cao

Ví dụ: Mô tả “smile”, “happy” có trong ảnh.


Nhược điểm

Một vài đặc trưng mức thấp như hoa văn (texture) và hình dạng không đều, rất khó mô tả bằng văn bản vì
rất chủ quan.

Hệ thống tìm kiếm ảnh trên cơ sở text không chấp nhận câu truy vấn bằng ảnh (ví dụ “Hãy tìm các ảnh tương
tự như ảnh này”).
7/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Mô tả ảnh bằng văn bản

Dễ dàng mô tả bằng văn bản với một số loại ảnh

Khó mô tả bằng văn bản với một số loại ảnh
Who: 2 người, Chirac-Mendela, Tổng thống.
What: Bắt tay, Đồng ý.
Where: Thảm đỏ, Ngoài trời, Điện Elysée.
When: Ban ngày, tháng 7/1997.
8/40
Mô tả ảnh bằng văn bản

Khó mô tả bằng văn bản với một số loại ảnh
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Who?
What?
9/40
3. Tìm kiếm ảnh trên cơ sở điểm ảnh

Đây là kỹ thuật hay được sử dụng nhất trong hệ thống tìm kiếm ảnh theo nội dung.


Khái niệm ảnh đa mức xám

Là ma trận điểm ảnh, trong đó mỗi điểm ảnh có một giá trị mức xám từ 0 đến 255

Chuyển đổi ảnh mầu RGB về ảnh đa mức xám

Ảnh màu C(i, j) với i∈[1, M], j∈[1, N]

Ảnh đa mức xám A(i, j) có giá trị mức xám tại i, j (i∈[1, M], j∈[1, N]) như sau:
A(i, j) = w
1
.R(i,j)+w
2
.G(i,j)+w
3
.B(i,j), trong đó: w
1
+w
2
+w
3
=1

Công thức hay được sử dụng:
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 10/40
),(
3
1
),(

3
1
),(
3
1
),( jiBjiGjiRjiA ++=
Tìm kiếm ảnh trên cơ sở biểu đồ màu

Khái niệm biểu đồ (histogram) đa mức xám

Biểu đồ đa mức xám của ảnh kích thước M.N là véctơ
H=(h
0
, h
2
, , h
j
, , h
255
),
với , trong đó n
j
là tổng số pixel nhận giá trị j.
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Lena Söderberg
11/40
NM
n
h
j

j
.
=
Tìm kiếm ảnh trên cơ sở biểu đồ màu

Với ảnh màu:

Có thể xử lý riêng rẽ từng màu

Phương pháp:

Mỗi ảnh biểu diễn bằng ba kênh của không gian màu (ví dụ: RGB hay HSV).

Mỗi kênh màu được số hóa thành m mức (ví dụ: 16). Gọi tổng số màu rời rạc là K (gọi là bin màu – nhóm màu) và
được tính bởi:
K=m
3
=16x16x16=4096

Biểu đồ màu H(M) của ảnh kích thước M.N là véctơ
H(M)=(h
1
, h
2
, , h
j
, , h
K-1
),
với , trong đó n

j
là tổng số pixel ảnh rơi vào bin thứ j.

Vectơ này được lưu trữ để làm chỉ số của ảnh.
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 12/40
NM
n
h
j
j
.
=
Tìm kiếm ảnh trên cơ sở biểu đồ mầu

Ví dụ biểu đồ màu
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 13/40
Đo khoảng cách hai ảnh

Độ đo khoảng cách L
p
(Minkowski)

Cho trước hai véctơ n chiều

Tính khoảng cách giữa hai véctơ x và y:

L
1
: Khoảng cách City block hay Manhattan,


L
2
: Khoảng cách Euclid
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 14/40
∑
=
=
−=
n
l
llp
hiHId
1
1
||),(
∑
=
=
−=
n
l
llp
hiHId
0
2
2
][),(
p
p
n

i
iip
yxL
/1
1
||








−=
∑
=
T
n
iiiI ], ,,[
21
=
T
n
hhhH ], ,,[
21
=
3.1 Thuật toán cơ sở

Nhiệm vụ:


Tìm kiếm những ảnh trong CSDL có màu cảm nhận tương tự ảnh truy vấn

Các bước thực hiện

Tính biểu đồ màu của ảnh truy vấn (biểu đồ đa mức xám/biều đồ các kênh màu)

Tính khoảng cách giữa biểu đồ màu của câu truy vấn với từng biểu đồ mầu của ảnh trong CSDL (sử dụng độ
đo khoảng cách Mahattan hay Euclid)

Các ảnh trong CSDL có khoảng cách biểu đồ màu đến biểu đồ màu ảnh truy vấn nhỏ hơn ngưỡng cho trước sẽ
là ảnh kết quả.
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 15/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Ví dụ đối sánh ảnh trên cơ sở biểu đồ màu

Giả sử có ba ảnh kích thước 8x8, mỗi pixel của ảnh có 1 trong 8 màu: C
1
đến C
8
.

Ảnh 1: mỗi màu từ C1 đến C8 đều có 8 pixels

Ảnh 2: Từ màu C
1
đến C
4
có 7 pixels, từ C
5

đến C
8
có 9 pixels

Ảnh 3: Từ màu C
1
đến C
2
có 2 pixel, từ màu C
3
đến C
8
có 10 pixels.

Tính biểu đồ màu và khoảng cách giữa các ảnh

Hai ảnh nào tương tự nhau?
H1=(8, 8, 8, 8, 8, 8, 8, 8)
H2=(7, 7, 7, 7, 9, 9, 9, 9)
H3=(2, 2, 10, 10, 10, 10, 10, 10)
h(H1, H2)= 1+ 1+1+1+1+1+1+1=8
h(H1, H3)= 6+ 6+2+2+2+2+2+2=24
h(H2, H3)= 5+ 5+3+3+3+1+1+1=23
16/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Thuật toán cơ sở

Hạn chế của thuật toán cơ sở:

Bỏ qua tính tương đồng giữa các bins màu.


Ví dụ 1:

Có hai bins biểu diễn dải màu 1-10 và 11-20,

Màu 10 sẽ phân lớp vào bin 1,

Màu 11 vào bin 2 và màu 20 vào bin 2.

Kết quả của thuật toán cơ sở: Màu 11 cùng màu với màu 20 nhưng khác hoàn toàn màu 10 (?)

Ví dụ 2:

Cần quan tâm đến các màu tương tự trong các bins
1
10
20
17/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
3.2 Biểu đồ màu tích lũy (Cumulative Histogram)

Tính biểu đồ màu thông thường H(M)

Biểu đồ màu tích lũy CH(M)=(ch
1
, ch
2
, , ch
n
),


Sử dụng khoảng cách L
1
hay L
2

để so sánh các ảnh
Normal Histogram
Cumulative Histogram
18/40
∑
≤
=
ij
ji
hch
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
3.3 Biểu đồ màu cục bộ

Biểu đồ màu toàn cục không tính đến phân bổ không gian của màu trên toàn bộ ảnh

Cặp ảnh có biểu đồ màu toàn cục giống nhau, nhưng có thể hoàn toàn khác nhau.

Giải pháp:

Chia ảnh thành các vùng với số điểm ảnh cố định, tính biểu đồ màu cục bộ cho từng vùng.
19/40
3.4 Tách biểu đồ màu nền và đối tượng

Nhiều ảnh có hai vùng phân biệt: nền và cận cảnh


Số lượng pixel của nền lớn hơn nhiều và đều hơn.

Biểu đồ của ảnh sẽ có xu hướng đến màu của bloc lớn hơn

Nếu hai ảnh có cùng màu nền, phương pháp cơ sở cho kết quả hai ảnh tương tự nhau mặc dù chúng có cận
cảnh rất khác nhau

Ví dụ với 3 ảnh:

Ô tô đỏ trên đường (màu nền đen)

Ô tô đỏ trên thảm nâu ở showroom

Ô tô xanh trên thảm nâu.

Kỹ thuật cơ sở sẽ cho kết quả là ảnh thứ 2 gần giống ảnh thứ 3
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 20/40
Tách biểu đồ màu nền và đối tượng

Lu và Phillips đề xuất việc tính tách biệt biểu đồ mầu của nền và của cận cảnh

Việc tách nền khỏi cận cảnh không nhất thiết phải thật chính xác

Cận cảnh có thể là chữ nhật nhỏ nhất chứa các đối tượng ảnh

Có thể tách tự động

Mỗi ảnh trong CSDL được chỉ mục bởi biểu đồ màu của nền và của cận cảnh.
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh 21/40

dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
4. Tìm kiếm ảnh trên cơ sở hình dạng
22/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Tìm kiếm ảnh trên cơ sở hình dạng

Để tìm kiếm được ảnh trên cơ sở hình dạng, cần

Phân đoạn ảnh thành các đối tượng độc lập bằng kỹ thuật nào đó. Có thể sử dụng kỹ thuật bán thủ công.

Biểu diễn hình dạng

Đo độ tương tự giữa các biểu diễn hình dạng.

Thuộc tính của biểu diễn hình dạng và độ đo tương tự

Biểu diễn hình dạng duy nhất, bất biến với dịch chuyển, xoay và co dãn

Cho khả năng nhận biết đối tượng có kích thước, vị trí và hướng khác nhau.

Các hình dạng tương tự phải biểu diễn tương tự để có thể đo được mức độ tương tự.

Biểu diễn hình dạng

Contour

Vùng
23/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Tìm kiếm ảnh trên cơ sở hình dạng


Tách biên đối tượng: Hai phương pháp cơ bản

Phát hiện biên trực tiếp

Áp dụng kỹ thuật lấy đạo hàm: Bậc 1 (Gradient), bậc 2 (Laplace)

Trong ảnh số: Lấy đạo hàm có nghĩa là mô phỏng và xấp xỉ đạo hàm bằng kỹ thuật nhân chập.

Phát hiện biên gián tiếp

Thông qua phân vùng ảnh, ranh giới giữa các vùng là biên của đối tượng.
24/40
dvduc-2005/14 Bài 6: Chỉ mục và tìm kiếm ảnh
Tìm kiếm ảnh trên cơ sở hình dạng

Đạo hàm bậc nhất và đạo hàm bậc 2 của tín hiệu ảnh
25/40