Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu một số phương pháp tra cứu ảnh sử dụng độ đo tương tự và ứng dụng tra cứu ảnh trong camera đường phố
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.43 MB, 54 trang )
BỘ GIÁO DỤC
VÀ ĐÀO TẠO
VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------
Nguyễn Tuấn Vũ
NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ
DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH
TRONG CAMERA ĐƯỜNG PHỐ
LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN
Hà Nội – tháng 7 năm 2020
BỘ GIÁO DỤC
VÀ ĐÀO TẠO
VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------
Nguyễn Tuấn Vũ
NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRA CỨU ẢNH SỬ
DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA CỨU ẢNH
TRONG CAMERA ĐƯỜNG PHỐ
Chuyên ngành: Hệ thống thông tin
Mã số: 8480104
LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS.TS. Ngô Quốc Tạo
Hà nội – Tháng 7 năm 2020
LỜI CAM ĐOAN
Tôi xin cam rằng nội dung trong Luận văn này là theo như đúng nội dung
đề cương và đúng như nội dung của thầy hướng dẫn đã hướng giao dẫn cho
tôi. Nội dung trong luận văn, và các trích lục, tài liệu đều chính xác. Nếu có
xảy ra sai sót, Tơi xin chịu trách nhiệm hồn tồn.
Tác giả luận văn
NGUYỄN TUẤN VŨ
5
LỜI CẢM ƠN:
Với sự chỉ dẫn và hỗ trợ của giáo viên tại Khoa: Công nghệ Thông tin Học viện Khoa học và Công nghệ cũng như sự hỗ trợ từ bạn bè và đồng nghiệp,
đặc biệt là sự hướng dẫn tận tình của PGS.TS. Ngơ Quốc Tạo và TS Nguyễn
Hoàng Hà và đề tài: "Nghiên cứu phát triển phương pháp phát hiện tự động các
điểm mốc hình thái trên ảnh cánh côn trùng", mã số: VAST01.01/19-20", cộng
thêm những nỗ lực, cố gắng bản thân mình, cho đến nay thì đề tài đã được hồn
thành.
Dù vậy, trong q trình hồn thiện luận văn, dù cho đã cố gắng rất nhiều,
nhưng do kiến thức, kinh nghiệm cịn hạn chế, tơi khơng thể tránh khỏi sai sót,
tơi rất mong muốn nhận được lời khuyên của các giáo viên. chủ đề của thầy cơ
để có thể hồn thiện hơn.
Tơi xin chân thành cảm ơn.
6
MỤC LỤC
Trang
ĐẶT VẤN ĐỀ ........................................................................................................................ 1
CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO TƯƠNG TỰ
TRONG TRA CỨU ẢNH ..................................................................................................... 3
KHÁI QUÁT VỀ TRA CỨU ẢNH ........................................................................... 3
1.1.
1.1.1. CÁC KHÁI NIỆM CƠ BẢN[2] .............................................................................. 3
1.1.2. XU HƯỚNG TRA CỨU VÀ CHÚ Ý TRONG TRUY VẤN ẢNH ..................... 4
1.1.2.1. MỘT SỐ HỆ THỐNG TRUY VẤN ẢNH VÀ HÌNH THÁI TRUY VẤN ......... 5
1.1.2.2.
MỘT SỐ ỨNG DỤNG TRUY VẤN ẢNH .................................................... 8
1.1.2.3.
KHÁI NIỆM TRA CỨU FRAME ẢNH TRONG CAMERA[3] .............. 10
1.1.2.4.
LƯỢC ĐỒ MÀU VÀ TƯƠNG QUAN MÀU.............................................. 13
1.1.2.5. ĐẶC ĐIỂM CỦA SỰ VẬN ĐỘNG TRONG VIDEO VÀ XỬ LÝ VẬN ĐỘNG
................................................................................................................................. 18
CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ ..................... 21
2.1. ĐỘ ĐO KHOẢNG CÁCH. ............................................................................................ 21
2.1.1. .ĐỘ ĐO MIN-MAX ............................................................................................... 21
2.1.2. ĐỘ ĐO EUCLID ................................................................................................... 21
2.1.3. ĐỘ ĐO KHOẢNG CÁCH HAMMING .............................................................. 22
2.1.4. ĐỘ ĐO PRECISION VÀ RECALL .................................................................... 23
2.2.
ĐỘ ĐO HỖN HỢP ................................................................................................. 23
2.2.1. ĐỘ ĐO CĨ THUỘC TÍNH RỜI RẠC ................................................................ 23
2.2.2. ĐỘ ĐO CĨ THUỘC TÍNH CĨ THỨ TỰ .......................................................... 26
2.2.3. ĐỘ ĐO CĨ THUỘC TÍNH LIÊN TỤC .............................................................. 26
2.2.4. ĐỘ ĐO KẾT HỢP CÁC THUỘC TÍNH ............................................................ 27
2.3.
ĐỘ ĐO TƯƠNG TỰ DỰA TRÊN HISTOGRAM [9] ........................................... 27
2.3.1. GIỚI THIỆU VÀ KHÁI NIỆM ........................................................................... 27
2.3.2. LƯỢC ĐỒ XÁM VÀ TÍNH CHẤT ..................................................................... 29
2.3.3. QUAN HỆ GIỮA ẢNH TRA CỨU VÀ LƯỢC ĐỒ ẢNH XÁM ...................... 30
7
CHƯƠNG 3: ỨNG DỤNG ĐỘ ĐO TƯƠNG TỰ TRONG VIỆC TRA CỨU ẢNH
TRONG FILE CAMERA ĐƯỜNG PHỐ ......................................................................... 32
3.1. GIỚI THIỆU. ................................................................................................................ 32
3.2. THUẬT TOÁN TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ ........................ 33
3.2.1. XỬ LÝ ĐỌC ẢNH ................................................................................................... 33
3.2.2. XỬ LÝ ĐỌC FRAME TRONG CAMERA ĐƯỜNG PHỐ ............................... 33
3.2.3. KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ ..................................................... 33
CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP THEO ........................... 46
TÀI LIỆU THAM KHẢO .................................................................................................. 47
8
ĐẶT VẤN ĐỀ
Trong các lĩnh vực hiện nay, xử lý hình ảnh tĩnh cùng với xử lý hình ảnh
kỹ thuật số đã phát triển và chú ý đến trong năm ở thế kỷ thứ XXI. Phương pháp
để xử lý được áp dụng để cải thiện dữ liệu thông tin của hình ảnh đến mắt người
được xử lý dữ liệu và tự động xử lý dữ liệu trong hệ thống.
Năm 1920, Một trong số đầu tiên của những ứng dụng xử lý hình ảnh là
cải thiện chất lượng của hình ảnh trên báo được truyền qua cáp của 2 thành phố
Luân Đôn và New York. Thiết bị đặc biệt được mã hóa hình ảnh, truyền chúng
qua cáp xử lý và sẽ được phục hồi ở phía bên nhận. Cơng nghệ máy tính đang
phát triển theo đó, nên việc xử lý cho hình ảnh đã ngày một phát triển. Các Kỹ
thuật phát triển đã cho phép tìm kiếm và kết hợp các hình ảnh có thể cho ra sự
tương xứng để trả về kết quả tốt hơn cho mục đích tìm kiếm.
Gần đây, nghiên cứu về xử lý hình ảnh và video (hoạt hình) cũng khơng
ngừng được quan tâm và phát triển mạnh mẽ. Kỹ thuật xử lý hình ảnh kỹ thuật số
đã áp dụng sử dụng rộng rãi, giải quyết rất nhiều các vấn đề giúp cải thiện chất
lượng của hình ảnh. Xử lý hình ảnh được áp dụng trong đa lĩnh vực khác nhau
của cuộc sống như lĩnh vực sức khỏe, thiên văn học, sinh học, viễn thám, y
học…
Một ứng dụng thực tiễn vào xử lý hình ảnh mà trong luận văn tơi muốn đề
cập tới là So sánh hình ảnh với frame ảnh của camera đường phố được ghi lại để
tìm kiếm sự tương đồng, từ đó giúp xử lý được công việc tiếp theo nhanh hơn và
tiết kiệm thời gian xem lại camera.
Vì thế, Tơi chọn đề tài là “NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP
TRA CỨU ẢNH SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ VÀ ỨNG DỤNG TRA
CỨU ẢNH TRONG CAMERA ĐƯỜNG PHỐ” nhằm mục đích nghiên cứu
kỹ thuật đo lường sử dụng độ đo tương tự như phép đo độ tương tự Trainable
(TSM) và Biểu đồ cột. Dựa vào đây, Tôi sẽ đưa ý kiến một số đánh giá và có
1
thể đề xuất hướng phát triển thêm trong tương lai.
Tôi đã tập trung vào giải quyết vấn đề đọc được ảnh và đối sánh được với
các khung trong tệp video được trích xuất từ camera đường phố để chỉ ra được
nhận xét. Luận án bao gồm 4 chương với nội dung sau:
CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO
TƯƠNG TỰ TRONG TRA CỨU ẢNH.
CHƯƠNG 2: MỘT SỐ PHƯƠNG PHÁP SỬ DỤNG ĐỘ ĐO TƯƠNG TỰ
CHƯƠNG 3: ỨNG DỤNG TRA CỨU ẢNH TRONG CAMERA ĐƯỜNG
PHỐ
CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
Trong quá trình hồn thiện luận văn, dù cho đã cố gắng rất nhiều, nhưng
do kiến thức, kinh nghiệm còn hạn chế, tơi khơng thể tránh khỏi sai sót, tơi rất
mong muốn nhận được lời khuyên của các giáo viên. chủ đề của thầy cơ để có
thể hồn thiện hơn.
Tơi xin chân thành cảm ơn.
Hà Nội, ngày 3 tháng 7 năm 2020
Học viên thực hiện
NGUYỄN TUẤN VŨ
2
CHƯƠNG 1: TỔNG QUAN CƠ BẢN VỀ TRA CỨU ẢNH VÀ ĐỘ ĐO
TƯƠNG TỰ TRONG TRA CỨU ẢNH
1.1.
KHÁI QUÁT VỀ TRA CỨU ẢNH
1.1.1. CÁC KHÁI NIỆM CƠ BẢN[2]
Xử lý ảnh hiện nay đang là lĩnh vực được xem trọng. Là gốc rễ để tiếp tục
phát triển thêm nhiều nghiên cứu tiếp theo trong lĩnh vực này. Hai đặc tính đầu
tiên của tiến trình xử lý hình ảnh là nhằm cải thiện chất lượng hình ảnh thơng
tin, và có những ứng dụng vào xử lý số.
Quá trình sẽ thu thập ảnh đầu vào (bất kì hình ảnh số có tương tự như
vậy) gửi tới máy tính. Ảnh sẽ được lưu cho q trình có thể xử lý tiếp theo. Phần
mềm có nhiệm vụ can thiệp vào thuật toán tương đương lên dữ liệu ảnh, các
cấu trúc của ảnh sao cho, ảnh được phù hơp với các mục đích khác nhau.
Xử lý cho việc ảnh được nhận dạng, tiếp tục quá trình này thao tác cho
ảnh đầu vào đưa ra kết quả như mong đợi. Đầu ra tại một quá trình xử lý ảnh
là kết quả một ảnh “chuẩn hơn” hoặc một kết quả nào đó.
Hình 1.1. Q trình ảnh được xử lý
Hình ảnh tại xử lý hình ảnh tơi có thể thích hình ảnh nhiều (n) chiều. vì
ảnh sẽ là tập hợp của các pixel. Trong đó, pixel giúp tơi xác định một số dấu
hiệu có trong một vị trí nhất định xác định đối tượng của khơng gian, vì thế có
thể là một hàm của n có biến là P (c1, c2..., cn).
Sơ đồ tổng quát xử lý ảnh của một hệ thống:
3
Hình 1.2. Các bước của một hệ thống xử lý ảnh cơ bản
1.1.2. XU HƯỚNG TRA CỨU VÀ CHÚ Ý TRONG TRUY VẤN
ẢNH
Giai đoạn xử lý đầu tiên: Tiền xử lý hình ảnh kỹ thuật số điến phần tiếp
theo đó của giai đoạn này, các giai đoạn khác nhau sẽ được thực hiện như: nâng
cấp, khơi phục hình ảnh, điều chỉnh hình học, giảm nhiễu, v.v.
Đặc điểm của tra cứu ảnh:
- Thơng tin hồn tồn số hóa
- Hình thức biểu hiện: pixel
- có thể được đọc và tải xuống qua Internet.
- Nội dung truyền tải bằng văn bản, bằng hình ảnh.
- Hệ thống đa truy cập: Về tính lý thuyết, một sản phẩm có thể sử dụng nhiều
điểm có truy cập nhiều lần (Dựa trên tài nguyên điện tử có sẵn 24) giờ /ngày, 7
ngày / tuần). Mọi người có thể cùng một lúc sử dụng.
- Tốc độ: Tìm kiếm, thu thập, tóm tắt thơng tin chính vào những hỉnh ảnh khác,
tìm kiếm và tham chiếu chéo giữa nhiều hình ảnh khác nhau.
- Chức năng: hình ảnh cho phép người dùng xem và và đối sánh nội dung đó
bằng những phương pháp khác nhau.
- Nội dung: Hình ảnh có thể chứa một ý nghĩa.
Chú ý để sử dụng ảnh dạng là một đặc trưng mà hình ảnh có, bước cơ bản
là phân đoạn hình ảnh để có thể tìm đối tượng. Ở các phương pháp, Gom cụm
4
với điểm ảnh thuộc về các vùng liên thông dựa trên màu sắc và cấu trúc. Bài báo
tiếp cận phân đoạn hình ảnh sao cho mỗi hình ảnh được phân đoạn thành các ra
các đặc trưng để từ đó làm cơ sở xây dựng chữ ký nhị phân và mô tả nội dung
hình ảnh. Ảnh phân đoạn được tạo ra từ việc nhóm các điểm ảnh sẽ trở thành
một vùng tương tự. Tiếp cận phương pháp phân đoạn ảnh và tự động dựa vào
các thông tin cấp thấp gồm màu sắc, vị trí và kết cấu của các điểm ảnh.
1.1.2.1. MỘT SỐ HỆ THỐNG TRUY VẤN ẢNH VÀ HÌNH THÁI
TRUY VẤN
*
Trích chọn ra đặc điểm
Những đặc điểm thuộc đối tượng xuất phụ thuộc vào mục tiêu nhận dạng
có được ở tiến trình có thể xử lý hình ảnh. Khai thác các tính năng giúp xác định
chính xác các đối tượng hình ảnh, với tốc độ cao trong điều chỉnh và tối ưu lưu
trữ dung lượng.
Có thể xác định một khu vực bằng cách áp dụng nó cho các hình ảnh
khác. Ghi lại tọa độ và có thể áp dụng cho các hình ảnh khác.
Có thể cố gắng xác định cường độ đặc trưng của vùng giá trị mệnh giá trong
hình ảnh, chọn và thao tác với vùng giá trị của nó.
*
Đối sánh, nhận dạng
Nhận dạng tự động, miêu tả đối tượng, tra cứu và gộp các mẫu là các vấn
đề rất quan trọng, lĩnh vực thị thị giác máy, ngày nay áp dụng ở cho các nghiên
cứu khoa học khác nữa. Mẫu có thể là hình ảnh vân tay.
bức ảnh cho một đối tượng được chụp ảnh, một từ được viết, một khuôn mặt
của con người, một biểu đồ của tín hiệu lời nói. Để có một mẫu, xác định hoặc
tra cứu nó.
Hoặc một tra cứu được giám sát, chẳng hạn như các phân biệt, phân tích,
Ở đó, mẫu của đầu vào cho xác định là của 1 phần nào đó của 1 lớp đã được nêu
ra và xác định. Hoặc tra cứu hoặc phân cụm không giám sát, những mẫu này sẽ
5
được định nghĩa bởi các class khác nhau dựa theo một chuẩn tương tự. Các lớp
này cho đến ngày tra cứu là không xác định hoặc không xác định.
Hệ thống định dạng auto bao gồm 3 giai đoạn tương xứng với ba giai đoạn
liệt kê như sau:
• Tiền xử lý, và thu thập dữ liệu.
• Miêu tả của dữ liệu
• Xác định và đưa quyết định
4 cách khác nhau tiếp cận đối với nhận dạng qua lý thuyết là:
• Mẫu phù hợp dựa trên những tính năng được chọn.
• Tra cứu số liệu thống kê.
• Kết cấu phù hợp.
• Tra cứu dựa trên mạng lưới thần kinh do con người tạo ra.
Những ứng dụng không thể sử dụng tiếp cận cách duy nhất để tra cứu "tối
ưu" vì vậy cần phải sử dụng các phương pháp có cách tiếp cận khác nhau cùng
một lúc. Vì thế, các phương pháp tra cứu tổ hợp thường sử dụng để nhận dạng và
hiện nay có kết quả đầy hứa hẹn vào trên thiết kế hệ thống hệ thống lai.
Giải quyết các vấn đề nhận dạng các ứng dụng mới phát sinh ở cuộc sống,
tạo ra các thách thức của thuật tốn mà cịn tạo ra các yêu cầu.
Đặc điểm của tất cả các ứng dụng là chúng thường là các tính năng thiết
yếu không thể được đề xuất bởi một chuyên gia, nhưng được trích xuất dựa vào
các quy trình phân tích các dữ liệu.
*
Ảnh xám được chuyển từ ảnh màu:
Đơn vị ô của một hình ảnh kỹ thuật số được tính bằng pixel. Tùy thuộc
vào màu sắc hoặc định dạng hình ảnh màu xám, mỗi pixel có các chỉ số khơng
giống nhau. Với mỗi màu pixel của hình ảnh, sẽ có ba màu của thơng tin chính
6
để tạo ra các màu có thể nhìn thấy: Đỏ (R), Màu Xanh lục (G) và màu Xanh lam
(B) Tại mỗi pixel một hình ảnh màu, Các màu chính R, G và B được sắp xếp
gần nhau và có sẽ cường độ ánh sáng sẽ khác nhau. Như bình thường, mỗi loại
màu chính được biểu thị tương ứng tám bit tương ứng với 256 các cấp độ màu
khác nhau. Vì thế mỗi pixel sẽ có 28x3 màu (gần bằng 17.0 00 .0 00 màu). Với
hình ảnh trong thang độ xám, thì một pixel sẽ có thơng tin 256 mức độ xám
(tương đương với 8 bit) để hình ảnh thang độ xám có thể tái tạo hồn tồn cấu
trúc của hình ảnh trong đó màu có được qua mặt phẳng dựa theo mức xám.
Hầu hết xử lý trong hình ảnh, Việc chủ yếu lưu ý đến cấu trúc và hình ảnh
có thể bỏ qua các ảnh hưởng trực tiếp của màu sắc. Vì thế, hình ảnh màu sang
hình ảnh thang độ xám là một bước phổ biến để xử lý hình ảnh, làm cải thệm tốc
độ có thể xử lý và độ phức tạp của thuật tốn trên hình ảnh sẽ giảm.
*
Lược đồ Histogram mức xám của ảnh
Hình ảnh kỹ thuật số có lược đồ màu xám những mức màu xám ở phạm vi
[0, L−1] là 1 hàm có thuộ tính rời rạc có p(rk) = nk/n. Ở đó nk xác định số có
pixel với mức xám là rk, n định nghĩa là tổng của số pixel tại ảnh và k =
0;1;2....L−1. Vì thế P(rk) sẽ diễn ra xác suất xấp xỉ mức xám rk.
Vẽ ra hàm với những giá trị k sẽ cho một cái nhìn tổng quan về việc xuất
hiện của các mức độ xám một hình ảnh. Có thể hiển thị sơ đồ có mức xám của
hình ảnh qua tần số của từng mức xám xuất hiện thông qua hệ tọa độ xoy. Trục
hoành sẽ là trục biểu thị số lượng của mức xám trong khoảng 0 đến N (Tổng bit
hình ảnh màu xám). Biểu thị pixel cho mức xám trục hồnh.
Hình 1.3. Hình ảnh được biểu diễn thông qua lược đồ xám
7
1.1.2.2.
MỘT SỐ ỨNG DỤNG TRUY VẤN ẢNH
Như đã được đề cập tới, thì các kỹ thuật hình ảnh được xử lý sẽ được
dùng cải thiện chất lượng của ảnh, nói cách khác là gây ra được cảm quan cả
thiện chất lượng của hình ảnh trong mắt của người nhìn. Hiện nay, áp dụng vào
xử lý hình ảnh đã mở rộng liên tục, có thể nói rằng, hiện nay nghành khoa học
chưa áp dụng được nhiều thành công của việc xử lý của ảnh kỹ thuật số.
Trong xử lý hình ảnh y học chuyển ảnh cho phép được sinh ra từ những
nguồn có tia X tạo ra bức xạ, hoặc từ siêu âm với bức xạ chuyển đổi sang hình
ảnh dạng quang học chiếu X quang, có thể chiếu ngay trên màn hình. buổi trình
diển tranh ảnh. Hình ảnh của các bộ phận cơ thể tiếp theo sau có thể được tiếp
tục có xử lý để tăng độ tương phản tốt, lọc và phân tách những thành phần được
cần thực hiện, cấu thành hình ảnh thể hiện tại khơng gian có 3 chiều.
Trong địa chất học, các ảnh thu được từ những vệ tinh sẽ được xử lý và
xác định được bề mặt của cấu trúc trái đất. Cải thiện hình ảnh và phục hồi hình
ảnh từ đó cải thiện chất lượng của hình ảnh vệ tinh, địa hình xuất ra được chính
xác 3 chiều.
Nghành khí tượng học, hình ảnh thu từ các vệ tinh, dự báo thời tiết sẽ xử
lý được, cải thiện và lắp ráp để tạo ra hình ảnh trên một khu vực rộng lớn bề mặt
của trái đất, có thể được thực hiện.
8
Việc chinh xác từ dự báo thời tiết. Hình ảnh được phân tích của vệ tinh tại
những khu dân cư tập trung sinh sống, cũng có thể ước tính tăng trưởng dân số,
tỷ lệ gây môi trường trở lên ô nhiễm và một số yếu tố gây ảnh hưởng. Có thể thu
được hình ảnh từ các vệ tinh qua thiết bị quay video cảm nhận ánh sáng của
quang học.( 520 450 nm), từ tia hồng ngoại ( 900 760 nm).
Hình 1.4: thu được hình ảnh của bề mặt trái đất đã nhận bởi hai ống ghi
âm nói trên, dễ dàng nhận ra có khác biệt dễ dàng nhận biết giữa hai hình ảnh.
1.5a
1.5b
Hình 1.5 – Hình ảnh bề mặt của trái đất thu được qua 2 camera
Xử lý hình ảnh trong các hệ thống sẽ dùng kiểm soát chất lượng và số
lượng trong các dây chuyền tự động, chẳng hạn thống phân như tích hình ảnh,
có thể phát hiện là bọt khí bên trong vật đúc nhựa, để các thành phần khơng
nhận được từ hình ảnh Camera.
Xử lý hình ảnh cũng áp dụng sử dụng nhiều trong lĩnh vực hệ thống hình
sự và an ninh: xử lý hình ảnh cho mục tiêu nhận dạng. Có khăng năng xét thấy
xử lý hình ảnh như hình ảnh chuyển động như nhận dạng tự động, mục đích
qn sự và hệ thống tầm nhìn công nghiệp. tự động, nén ảnh tĩnh, v.v. Tiếp theo
đề cập tới Deep Learning và Machine Learning là 2 vấn đề được chú ý và được
quan tâm trong công nghệ 4.0 hiện nay. Từ các thành tựu trong Computer
Vision, NLP (natural language processing), áp dụng vào cho các lĩnh vực cụ thể
9
về y khoa, y sinh, xe tự hành, v..v ... Mỗi bài tốn đều có các cách xử lí dữ liệu
và mơ hình riêng, nhưng nhìn chung đều hướng tới 1 mục đích: cải thiện đời
sống và giúp ích cho xã hội nói chung và hỗ trợ cho các doanh nghiệp, startup, ..
nói riêng.
Với tiêu chí: "Learn by doing", đề cập tới mơ phỏng 1 hệ truy vấn (tìm
kiếm) hình ảnh, tương tự như Google Image Search vậy. Nếu các bạn nào đã
từng sử dụng qua các dịch vụ hay mạng xã hội như: Flickr hay Pinterest sẽ thấy
2 mạng xã hội này có các chức năng tìm kiếm liên quan đến ảnh sẽ khá thú vị và
độc đáo. Lấy ví dụ với Pinterest, sẽ thấy một trong những mạng xã hội về ảnh
lớn nhất hiện nay, có 1 chức năng vơ cùng hay ho là cắt và tìm kiếm ảnh trực
tiếp ngay trên nền ứng dụng. Trong số ảnh được truy vấn ra đều tương đồng với
phần ảnh bị cắt, sau đó theo đó là những từ khóa (tag) liên quan tới phần ảnh
được cắt ra.
1.1.2.3. KHÁI NIỆM TRA CỨU FRAME ẢNH TRONG CAMERA[3]
*
Khung hình ảnh (Frame ảnh)
Một video bao gồm một số hình ảnh tĩnh, được liên tiếp có thể đặt, tạo ra
sự chuyển động tại video. Ví dụ là một hình ảnh tĩnh:
K/h i
K/h i+1
Hình 1.6. khung hình liên tiếp
Nếu 24 giây trở lên được phát trong một giây, việc phân biệt giữa các
khung hình sẽ khó, chỉ có các cảnh được kết nối với nhau. Thật vậy. Hệ thống
video có tốc độ ghi khơng giống nhau, chẳng hạn như NTSC: 30 khung hình
10
mỗi giây, PAL: 24 khung hình mỗi giây, SECAM: 29,99 khung hình mỗi giây.
* Khơng gian màu
Khơng gian màu là không gian biểu thị cho màu dựa trên giá trị của độ
sáng, khơng gian màu sẽ có thể đo được lượng thơng tin của màu. Xác định một
khơng gian có thể có nhiều chiều, cịn được gọi là các đại diện các giá trị có độ
chói. Một phần của màu cũng được tính là kênh màu. Mỗi pixel được thể hiện,
Không gian của màu thường được sử cho đến hiện tại. Dưới đây, các không gian
của màu mà phổ biến ở ngày nay.
-
Không gian mức xám
Không gian mức xám sẽ có được cấu thành bởi 1 phần, đi từ đen tới trắng.
Thang độ xám chủ yếu được sử dụng cho màn hình đen trắng và in màu xám.
Hình 1.7. Hình ảnh khơng gian màu xám
Hình 1.7. Khơng gian hiển thị ảnh màu RGB.
Khơng gian RGB phổ biến ở việc có hiển thị của ảnh. Không gian màu
RGB xuất phát từ cách nhìn của con người. Nó có các thụ thể để thấy ba màu
không giống nhau: Đỏ, lục và màu lam. Bao gồm ba thành phần màu: Đỏ, Xanh
lục và lam. Các yếu tố này được gọi là màu cơ bản, bởi vì màu sinh ra bởi cách
bổ sung các điểm ảnh có màu đen.
11
Hình 1.9. Khơng gian R
Hình 1.10. Biểu diễn Khơng gian màu RGB
* Không gian CMY
Sử dụng nhiều trong nghành in ấn. Tên viết tắt của Cyan, Magenta,
Yellow (Lam, đỏ và vàng). Chúng là màu chính để trừ, bởi khi một màu trong kg
CMY sinh ra thông qua hấp thụ được độ sáng. Cyan sẽ có thể hấp thụ ánh sáng
red, Magenta sẽ hấp thụ được green, Yellow sẽ hấp thụ màu blue..
12
Hình 1.11. Mơ phỏng CMY
Cơng thức thể hiện tương quan RGB và CMY:
C = 1- R | M = 1 – G | Y = 1 - B
*. Không gian HSV (HSB) [7]:
HSV sẽ xác định một không gian màu bao gồm ba thành phần:
Các loại màu (như đỏ, vàng, xanh) sẽ giá trị trong khoảng 0 - 2đ; 0 - 360
Saturation.
Giá trị nằm trong khoảng từ 0 - 100%, sẽ chuyển thành 0 - 1. Độ tinh
khiết của màu nhỏ, màu càng xám và màu càng mờ.
Giá trị độ sáng:
Nằm trong khoảng 0 - 100%, sẽ được chuyển hóa thành 0 - 1.
Về HSV, năm 1978 do Alvy Ray Smith tạo ra. Phép biến của RGB.
Thơng qua đó, HSV sẽ phân tích, tách độ sang và màu, sao cho nhận thức đó
con người có thể hiểu được.
1.1.2.4.
LƯỢC ĐỒ MÀU VÀ TƯƠNG QUAN MÀU
* Khái niệm Lược đồ màu (Color Histogram)[10]
Bảng màu của hình ảnh cho thấy màu sắc phân bổ trong hình ảnh.
13
Thấy rằng:
Có i định nghĩa là một bin màu, ta có i có giá trị từ 0 -255, cịn là ảnh
màu mơ hình RGB.
i [0,224-1]
n[i]: Pixel i
n: Số Pixel tổng
14
Để cải thiện sự hợp lý, màu sắc ở trong HVS tính bởi bảng màu sẽ được ước
lượng. Trong số các cách đó là:
Hue có vùng phân ra là 18
Saturation có vùng phân ra là 3
Value có vùng phân ra là 3
Trong đó, số màu là Hx Sx I thu được 162 màu, lưu trữ và chi phí cho tính
tốn giảm đáng kể và bảng màu này rất phù hợp để theo dõi thơng tin hình ảnh.
15
*
Lược đồ màu có ý nghĩa:
Việc xác định ci, Hci(I) cho thấy số Pixcel có màu ci ở ảnh i. Ở một khía
cạnh khác thì với một pixcel tại ảnh I, Hci(I) khả năng cho thấy Pixcel đó sẽ có
giá trị là ci. Thông tin mang về cho HSV.
*
Đánh giá về ưu, nhược điểm;
*
Ưu điểm:
- Lược đồ màu được tính giản đơn, nhanh gọn, giảm thiểu chi phí.
- Biểu đồ màu khơng thay đổi ma thuật như đối với hình học biến đổi.
Ví dụ các biến đổi dưới dạng: xoay , tịnh tiến, co dãn…
*
Nhược điểm:
Xem xét phân phối tổng thể màu, hình ảnh mà chưa tính đến các ảnh hưởng
địa phương của mối quan hệ giữa không gian màu. Làm mất thơng tin, thì Điều
16
này có thể dẫn đến hình ảnh có tơng màu giống nhau nhưng khác nhau.
*
Ứng dụng:
Áp dụng vào phân đoạn video, theo dõi thơng tin hình ảnh, tìm kiếm thơng
tin ảnh thị giác.
* Lược đồ của tương quan màu (Color Correlogram):
Khái niệm:
Quan sát rằng cách phân phối khiến thiếu thông tin của màu theo khơng
gian, một tính năng sẽ được định nghĩa là có tương quan màu của lược đồ. Hứa
hẹn đây không chỉ mô tả sự phân bố màu của Pixceles mà còn cả tương quan của
các cặp màu khơng liên quan.
*
Cơng thức tính lược đồ màu:
Sơ đồ màu được xác định bằng một nhóm các bin, trong đó mỗi bin biểu thị
xác suất của các pixel trong ảnh. Một sơ đồ màu H của một ảnh đã cho được xác
định bởi véc tơ:
H={H[0], H[1], H[2], ..., H[i],... H[N]},
Có i biểu diễn một màu trong sơ đồ màu và tương ứng với một khối con
trong không gian màu RGB, H[i] là số các pixel có màu i trong ảnh,có N là số
các bin trong lược đồ màu.
Mỗi pixel trong ảnh sẽ thuộc về một bin của lược đồ màu của ảnh, nên đối
với lược đồ màu của một ảnh, giá trị của mỗi bin là số các pixel có cùng màu.
Để so sánh kích cỡ các ảnh, ta chuẩn hóa các lược đồ màu. Lược đồ màu chuẩn
hóa H’ được xác định bằng:
H’={H’[0], H’[1], H’[2], ..., H’[i],... H’[N]},
Ở đây H '[i]
H [i]
, P là tổng số các pixel trong ảnh.
p
* Lược đồ tự tương quan màu:
Xem xét tất cả những cặp màu kết hợp, thì kích thước của lược đồ sẽ lớn,
17
hơn thế là, tính tốn với thời gian sẽ dài hơn. Do đó, Sơ đồ này chỉ đánh giá mối
trong không gian mỗi tương quan giữa các màu các màu và từ đó làm số lượng
kích thước và giảm thiểu sức lực và tiền bạc.
* Ứng dụng
-
Úng dụng trong video, có thể phân đoạn
-
Tạo các mục và đối sánh với hình ảnh.
-
Xác định được đối tượng từ đó dõi theo đối tượng.
Lược đồ tự tương quan màu sẽ có thể trả kết quả theo dõi tốt hơn với bảng
màu hơn nhưng tiêu tốn chi phí cao hơn.
1.1.2.5. ĐẶC ĐIỂM CỦA SỰ VẬN ĐỘNG TRONG VIDEO VÀ XỬ
LÝ VẬN ĐỘNG
*Giới thiệu
Điểm chuyển động của dữ liệu hình ảnh trong video. Là một tính năng
xác định được của video mà đối với ảnh trạng thái tĩnh sẽ chưa có. Chuyển động
sẽ ứng dụng trong nghiên cứu thực tiễn, như việc cài đặt các phầm mềm xử lý
video kỹ thuật số hiện nay.
Hình 1.15. Chuyển động và đặc điểm của chuyển động
18
* Lược đồ của chuyển động:
Nếu bảng màu đại diện cho màu trong hình ảnh, sơ đồ hiển thị có chuyển
động liên tiếp theo những khung hình. Việc này xem như cách biểu diễn ở dạng
góc di chuyển.
- Thuật tốn:
Khung hình được phân ra n khối Pixcel, và có hướng theo góc giá trị 0 cho
tới 360 độ chia làm 8 độ: 0-44, 45-89, 90-135, … , 315-359
Bước 1: bước khởi động theo những góc xác định : H [i]0 , xác định giá trị i từ 0
cho đến 7;
Bước 2: Ta thấy Pixel bắt đầu từ khung hình i ở hiện tại, ta sẽ tính được
khoảng di chuyển như sau: khung hình kế tiếp, xác định nó và xem xét với khối
đã được xác định, và sự sai khác này sẽ phải bé hơn 1 chỉ số đã quy định từ
trước. Mục tiêu để có thể xác định xem khối này đã di chuyển tới được như thế
nào. Nếu chưa thể thấy thay đổi thì c o i như khối điểm ảnh này đã chưa di
chuyển.
Bước 3 : Khi đã tính được chuyển động, từ đó có thể tính được góc dịch chuyển
thực hiện đưa gói đó về gần với giá trị a, và a có gía trị từ 0 cho đến 7;
Bước 4 : Xác định giá trị điểm H[a] và H[a1]. Sau đó trở lại bước số hai tới khi
cho được ra khối Pixcel trong khung hình.
Hình ảnh Pixcel tại vị trí đang xem xét. Tiếp tục lặp bước số 2 tới khi tất
cả các Pixcel trong khung đã được tính.
Sau đó Pixel của khung hình được tính tốn, ta nhận được hai hình khung hình
có chuyển động sang 2 hướng.
- Ý nghĩa thuật toán:
Ảnh chuyển động sẽ cho biết được góc chuyển động 2 hướng của pixel
trong khung hình. Ở chuyển động của ảnh đó sẽ có giá trị cao thì pixcel đó sẽ
19
