Ứng dụng camera 3d trong việc phân loại sản phẩm theo hình dạng và kích thước
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.66 MB, 83 trang )
BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------
ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:
ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI
SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC
GVHD: ThS. Ngô Bá Việt
SVTH: Lê Văn Thái
MSSV: 14141289
Tp. Hồ Chí Minh - 07/2019
BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------
ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:
ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI
SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC
GVHD: ThS. Ngô Bá Việt
SVTH: Lê Văn Thái
MSSV: 14141289
Tp. Hồ Chí Minh - 07/2019
TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
KHOA ĐIỆN-ĐIỆN TỬ
ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
----o0o---Tp. HCM, ngày 05 tháng 06 năm 2019
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:
Lê Văn Thái
MSSV: 14141289
Chuyên ngành:
Kỹ thuật Điện - Điện tử
Mã ngành:
01
Hệ đào tạo:
Đại học chính quy
Mã hệ:
1
Khóa:
2014
Lớp:
14141DT1A
I. TÊN ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN
PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC
II. NHIỆM VỤ
1. Các số liệu ban đầu:
Các tài liệu về Python và thƣ viện OpenCV, Giáo trình Xử lý ảnh.
Các ví dụ về nhận dạng hình học cơ bản.
2. Nội dung thực hiện:
Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm.
Tổng quan về xử lý ảnh.
Tìm hiểu Camera 3D và các Module liên quan.
Viết chƣơng trình trên Python.
Hoàn thành mô hình.
Đánh giá kết quả thực hiện.
III. NGÀY GIAO NHIỆM VỤ:
26/03/2019
IV. NGÀY HOÀN THÀNH NHIỆM VỤ:
05/06/2019
V. HỌ VÀ TÊN CÁN BỘ HƢỚNG DẪN:
ThS. Ngô Bá Việt
CÁN BỘ HƢỚNG DẪN
BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
TRƢỜNG ĐH SPKT TP. HỒ CHÍ MINH
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
KHOA ĐIỆN-ĐIỆN TỬ
ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
----o0o----
Tp. HCM, ngày 05 tháng 06 năm 2019
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên: Lê Văn Thái
Lớp: 14141DT1A - MSSV: 14141289
Tên đề tài:
Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc
Tuần/ngày
Nội dung
16-20/3
Chọn đề tài
21-25/3
Viết đề cƣơng chi tiết
26/3-05/4
Tìm hiểu phƣơng pháp nhận dạng hình cơ bản
06/-09/4
Tìm hiểu thuật toán dán nhãn
10-17/4
Tìm hiểu camera 3D
18-21/4
Tìm hiểu thuật toán tính khoảng cách
22-28/4
Tìm hiểu thuật toán tính kích thƣớc
29/5-04/5
Tìm hiểu về python
05-06/5
Thực hiện viết code python trên window
07-08/5
Làm các hình khối (sản phẩm) và chạy thử
Xác nhận
GVHD
13-20/5
Hoàn thành mô hình
21-29/5
Viết báo cáo
GV HƢỚNG DẪN
ThS. Ngô Bá Việt
LỜI CAM ĐOAN
Đề tài này là tôi tự thực hiện dựa vào một số tài liệu trƣớc đó và không sao chép
từ tài liệu hay công trình đã có trƣớc đó.
Ngƣời thực hiện đề tài
Lê Văn Thái
LỜI CẢM ƠN
Đầu tiên tôi xin đƣợc cám ơn chân thành tới Thầy Ngô Bá Việt, Thầy đã tận tình
hƣớng dẫn tôi để có thể hoàn thành tốt đề tài.
Tôi xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo
những điều kiện tốt nhất cho tôi hoàn thành đề tài. Những kiến thức bổ ích mà các
Thầy Cô dạy, nó đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp rất nhiều, từ những kiến
thức nhỏ nhặt cho tới những bài học lớn. Một lần nữa tôi xin đƣợc gửi lời cám ơn đến
tất cả Thầy Cô, nếu không có Thầy Cô thì chắc giờ này tôi sẽ khó có thể hoàn thành đề
tài này.
Tiếp theo tôi cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinh viên
đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan tới đề tài cho tới những kinh
nghiệm sống thực tế. Nhờ họ mà tôi mới có thể phát triển đƣợc.
Tôi cũng gửi lời đồng cảm ơn đến các bạn lớp 14141DT1A đã chia sẻ trao đổi
kiến thức cũng nhƣ những kinh nghiệm quý báu trong thời gian thực hiện đề tài, và
cũng là lớp học có nhiều kí ức nhất thời sinh viên của tôi.
Cuối cùng là gửi lời cảm ơn đến Cha, Mẹ nếu không có hai đấng sinh thành thì
ngày hôm nay cũng không có ai hiện diện ở đây để thực hiện những việc mình muốn,
họ đã tạo mọi điều kiện để giúp con của mình hƣớng tới một tƣơng lai tốt đẹp.
Một lần cuối xin chân thành cảm ơn!
Ngƣời thực hiện đề tài
Lê Văn Thái
MỤC LỤC
Trang bìa .................................................................................................................... i
Nhiệm vụ đồ án ......................................................................................................... ii
Lịch trình ................................................................................................................ iii
Cam đoan ................................................................................................................ iv
Lời cảm ơn ................................................................................................................ v
Mục lục .................................................................................................................... vi
Liệt kê hình vẽ ......................................................................................................... ix
Liệt kê bảng vẽ ......................................................................................................... xi
Tóm tắt ................................................................................................................... xii
CHƢƠNG 1: TỔNG QUAN ........................................................................................1
1.1
ĐẶT VẤN ĐỀ ................................................................................................1
1.2
MỤC TIÊU .....................................................................................................1
1.3
NỘI DUNG NGHIÊN CỨU ............................................................................1
1.4
GIỚI HẠN ......................................................................................................2
1.5
BỐ CỤC..........................................................................................................2
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................4
2.1
TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN ............4
2.1.1
Giới thiệu xử lý ảnh. .................................................................................4
2.1.2
Những vấn đề trong xử lý ảnh...................................................................4
2.2
PHƢƠNG PHÁP PHÂN LOẠI SẢN PHẨM THEO HÌNH DẠNG .............. 11
2.2.1
Các hình dạng cơ bản của sản phẩm........................................................ 11
2.2.2
Phƣơng pháp nhận dạng sản phẩm theo hình dạng .................................. 11
2.2.3
Các bƣớc thực hiện phân loại sản phẩm theo hình dạng .......................... 14
2.3
ÁP DỤNG KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ĐỂ TÍNH KÍCH
THƢỚC SẢN PHẨM ............................................................................................. 18
2.3.1
GIỚI THIỆU KỸ THUẬT HIỆU CHỈNH STEREO CAMERA ............. 18
2.3.2
STEREO CAMERA ............................................................................... 19
2.3.3
PHƢƠNG PHÁP HIỆU CHỈNH CHUẨN .............................................. 23
2.4
NGÔN NGỮ PYTHON ................................................................................ 25
2.5
GIỚI THIỆU PHẦN CỨNG ......................................................................... 28
CHƢƠNG 3:
TÍNH TOÁN VÀ THIẾT KẾ ........................................................... 29
3.1
GIỚI THIỆU ................................................................................................. 29
3.2
THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................ 29
3.2.1
Khối xử lý............................................................................................... 30
3.2.2
Khối thu tín hiệu ..................................................................................... 30
3.2.3
Khối hiển thị ........................................................................................... 32
3.2.4
Khối giao tiếp và điều khiển ................................................................... 32
3.2.5
Khối nguồn ............................................................................................. 32
3.3
CÁC TÍNH TOÁN TRONG NHẬN DẠNG ................................................. 33
3.3.1
Giới thiệu đặc điểm của hình dạng .......................................................... 33
3.3.2
Phƣơng pháp tính toán các đặc điểm ....................................................... 33
CHƢƠNG 4:
THI CÔNG HỆ THỐNG .................................................................. 36
4.1
GIỚI THIỆU ................................................................................................. 36
4.2
THI CÔNG HỆ THỐNG ............................................................................... 36
4.2.1
Các linh kiện và model cần thiết cho mô hình ......................................... 36
4.2.2
Kết nối, lắp ráp và kiểm tra mô hình ....................................................... 36
4.3
THI CÔNG MÔ HÌNH.................................................................................. 37
4.4
LẬP TRÌNH HỆ THỐNG ............................................................................. 38
4.4.1
Lƣu đồ giải thuật..................................................................................... 38
4.4.2
Lập trình với ngôn ngữ Python cùng thƣ viện OpenCV .......................... 44
4.5
MÔ PHỎNG ................................................................................................. 45
4.5.1
Lƣu đồ .................................................................................................... 45
4.5.2
Xử lý tín hiệu hay hình ảnh..................................................................... 46
4.6
VIẾT TÀI LIỆU HƢỚNG DẪN SỬ DỤNG, THAO TÁC ............................ 48
4.6.1
Viết tài liệu hƣớng dẫn sử dụng .............................................................. 48
4.6.2
Quy trình thao tác ................................................................................... 50
CHƢƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ................................................. 52
5.1
CAMERA 3D................................................................................................ 52
5.2
XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM................................................... 52
5.3
NHẬN DẠNG VÀ TÍNH KÍCH THƢỚC SẢN PHẨM ................................ 54
5.4
PHÂN LOẠI SẢN PHẨM ............................................................................ 58
CHƢƠNG 6:
6.1
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ........................................ 60
KẾT LUẬN................................................................................................... 60
6.1.1
Kết quả đạt đƣợc..................................................................................... 60
6.1.2
Những mặt hạn chế ................................................................................. 60
6.2
HƢỚNG PHÁT TRIỂN ................................................................................ 60
LIỆT KÊ HÌNH VẼ
Hình
Trang
Hình 2.1: Lân cận 4 và lân cận 8...................................................................................6
Hình 2.2: Hình tách biên...............................................................................................8
Hình 2.3: Bộ lọc Gaussian ............................................................................................9
Hình 2.4: Đặc điểm hình chữ nhật .............................................................................. 12
Hình 2.5: Đặc điểm hình vuông .................................................................................. 13
Hình 2.6: Đặc điểm hình tam giác .............................................................................. 13
Hình 2.7: Sơ đồ các bƣớc thực hiện phân loại sản phẩm ............................................. 14
Hình 2.8: Xác định biên.............................................................................................. 16
Hình 2.9: Nhận dạng đƣờng biên ................................................................................ 17
Hình 2.10: Cấu hình chuẩn của hệ thống 2 camera ..................................................... 19
Hình 2.11: Hệ thống tọa độ của một stereo camera ..................................................... 19
Hình 2.12: Thuật toán SAD phân vùng ....................................................................... 22
Hình 2.13: Qui tắc tam giác đồng dạng ....................................................................... 23
Hình 2.14: Mô hình các thông số của camera ............................................................. 24
Hình 2.15: Sơ đồ khối của camera .............................................................................. 28
Hình 3.1: Sơ đồ khối................................................................................................... 30
Hình 3.2: Khối thu tín hiệu ......................................................................................... 31
Hình 3.3: Synchronization USB Stereo Webcam Dual lens camera OV9750 960P
MJPEG 2560x960 with No distortion lens 3D usb camera module ............................. 31
Hình 3.4: Laptop ........................................................................................................ 32
Hình 3.5: Đỉnh của hình ............................................................................................. 33
Hình 3.6: Đoạn Ramer-Douglas-Peucker .................................................................... 34
Hình 3.7: Đƣờng xấp xỉ .............................................................................................. 34
Hình 3.8: Độ dài cạnh................................................................................................. 34
Hình 4.1: Kết nối Camera ........................................................................................... 37
Hình 4.2: Các khối hộp (Hình dạng sản phẩm) ........................................................... 38
Hình 4.3: Lƣu đồ giải thuật chính ............................................................................... 39
Hình 4.4: Ma trận không gian màu BGR .................................................................... 40
Hình 4.5: Sơ đồ khối chƣơng trình con tách biên và lấp đầy biên................................ 41
Hình 4.6: Lƣu đồ con nhận dạng sản phẩm ................................................................. 43
Hình 4.7: Tìm kiếm Python ........................................................................................ 44
Hình 4.8: Tạo project mới........................................................................................... 45
Hình 4.9: Lƣu đồ mô phỏng........................................................................................ 45
Hình 4.10: Kiểm tra các bƣớc thực hiện...................................................................... 46
Hình 4.11: Ảnh xám ................................................................................................... 47
Hình 4.12: Tách biên .................................................................................................. 47
Hình 4.13: Lấp đầy biên ............................................................................................. 48
Hình 4.14: Kết quả nhận dạng phân loại sản phẩm. .................................................... 48
Hình 4.15: Kiểm tra thƣ viện ...................................................................................... 49
Hình 4.16: Kết quả sau khi bấm chạy chƣơng trình .................................................... 49
Hình 4.17: Quy trình vận hành ................................................................................... 50
Hình 5.1: Kết quả ảnh đầu vào từ camera ................................................................... 52
Hình 5.2: Kết quả nhận dạng màu sắc sản phẩm của camera....................................... 53
Hình 5.3: Nhận dạng và tính kích thƣớc sản phẩm hình chữ nhật................................ 54
Hình 5.4: Nhận dạng và tính kích thƣớc sản phẩm hình vuông ................................... 54
Hình 5.5: Nhận dạng và tính kích thƣớc sản phẩm hình tam giác ................................ 55
Hình 5.6: Camera chƣa thể nhận dạng cùng lúc nhiều sản phẩm ................................. 57
Hình 5.7: Phân loại theo kích sản phẩm hình chữ nhật................................................ 58
Hình 5.8: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 58
Hình 5.9: Phân loại theo kích thƣớc sản phẩm hình tam giác ...................................... 59
LIỆT KÊ BẢNG
Bảng
Trang
Bảng 2.1: Đặc điểm hình dạng sản phẩm .................................................................... 14
Bảng 4.1: Danh sách các model và linh kiện liên quan................................................ 36
Bảng 5.1: Thống kê kết quả nhận dạng màu sắc sản phẩm .......................................... 53
Bảng 5.2: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình vuông............. 55
Bảng 5.3: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình chữ nhật ......... 55
Bảng 5.4: Kết quả khảo sát nhận dạng và tính kích thƣớc đối với hình tam giác ......... 57
TÓM TẮT
Hiện nay, nền Công nghiệp đang hƣớng tới Công nghiệp 4.0, là sự kết hợp các
Công nghệ lại với nhau, làm mờ ranh giới giữa Vật lý, Kỹ thuật số và Sinh học. Từ đó,
các thiết bị điện tử thông minh đang ngày càng xuất hiện phổ biến. Không những nó
giúp ích cho cá nhân hay gia đình, mà còn ứng dụng cả trong Chính trị, Y tế, Giáo
dục...Điển hình là trong lĩnh sản xuất, vấn đề phân loại sản phẩm trong sản xuất là
không thể thiếu ở khâu đóng gói. Chính vì vậy, nhóm đã chọn đề tài “Ứng dụng
camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc”
Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và
kích thước” là phân loại sản phẩm theo hình dạng (hình tròn, hình vuông, hình chữ
nhật, hình tam giác) và kích thƣớc dựa trên ngôn ngữ Python với thƣ viện chính là
OpenCV. Ở đây sử dụng các đặc điểm riêng biệt của từng hình dạng để đi nhận dạng
và sau đó phân loại từng sản phẩm. Kết quả thực hiện của đề tài đã nhận dạng đƣợc
những sản phẩm có hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác)
cùng với việc biết đƣợc kích thƣớc của từng sản phẩm.
CHƢƠNG 1: TỔNG QUAN
CHƢƠNG 1: TỔNG QUAN
ĐẶT VẤN ĐỀ
1.1
Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài
thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tƣơng đối mới mẻ so với
nhiều ngành khoa học khác nhƣng hiện nay đang là một trong những lĩnh vực phát
triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các
trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò
quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng nhƣ trong cuộc
sống thƣờng ngày nhƣ: sản xuất và kiểm tra chất lƣợng, sự di chuyển của Robot,
các phƣơng tiện đi lại tự trị, công cụ hƣớng dẫn cho ngƣời mù, an ninh và giám sát,
nhận dạng đối tƣợng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu
chỉnh video.
Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học
kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tƣợng, tƣơng tự mắt con
ngƣời. Dựa trên các nghiên cứu trƣớc đây nhƣ “Phân loại sản phẩm dùng Kit
Raspberry” [3] là một ứng dụng sử dụng các thuật toán xử lý ảnh [4] trên nền tảng
Python kết hợp với phần cứng là Raspberry [5] để phân loại sản phẩm dựa trên hình
dạng. Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và
kích thƣớc” đƣơc lựa chọn thực hiện để có thể phân loại theo hình dạng sản phẩm và
phân loại theo kích thƣớc sản phẩm dựa trên các thông tin từ camera 3D.
MỤC TIÊU
1.2
1.3
-
Tìm hiểu về camera 3D và ngôn ngữ lập trình python với thƣ viện OpenCV.
-
Phân loại sản phẩm theo hình dạng và kích thƣớc.
NỘI DUNG NGHIÊN CỨU
Để tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và
kích thƣớc” Có những nội dung sau:
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
1
CHƢƠNG 1: TỔNG QUAN
NỘI DUNG 1: Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm theo
hình dạng và kích thƣớc.
NỘI DUNG 2: Tổng quan về xử lý ảnh.
NỘI DUNG 3: Tìm hiểu camera 3D và các module liên quan.
NỘI DUNG 4: Viết chƣơng trình trên python.
NỘI DUNG 5: Hoàn thành mô hình.
NỘI DUNG 6: Đánh giá kết quả thực hiện
GIỚI HẠN
1.4
Với đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng
và kích thƣớc” thì các giới hạn bao gồm:
-
Thiết kế mô hình sử dụng camera 3D để phân loại sản phẩm theo hình dạng,
kích thƣớc.
1.5
-
Sử dụng ngôn ngữ lập trình python.
-
Mô hình hoạt động trong điều kiện lý tƣởng, đủ độ sáng.
BỐ CỤC
Chƣơng 1: Tổng quan
Chƣơng này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung
nghiên cứu, các giới hạn thông số và bố cục đồ án.
Chƣơng 2: Cơ sở lý thuyết
Chƣơng này sẽ trình bày cơ bản về xử lý ảnh, phƣơng pháp cơ bản để nhận dạng
và phân loại ảnh, tính kích thƣớc sản phẩm, giới thiệu cơ bản về camera 3D và thƣ viện
liên quan.
Chƣơng 3: Thiết kế và tính toán
Chƣơng này sẽ đi tìm hiểu kỹ các thuật toán nhận dạng sản phẩm theo hình
dạng, thuật toán tính kích thƣớc và thiết kế mô hình sản phẩm.
Chƣơng 4: Thi công hệ thống
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
2
CHƢƠNG 1: TỔNG QUAN
Nội dụng chƣơng này là quá trình thi công cùng với việc chạy chƣơng trình về
phân loại sản phẩm cũng nhƣ tính kích thƣớc sản phẩm.
Chƣơng 4: Kết quả nhận xét và đánh giá
Nội dụng chƣơng này là tổng hợp các kết quả đạt đƣợc sau khi thi công mô hình
và kết quả đạt đƣợc khi phân loại sản phẩm.
Chƣơng 5: Kết luận và hƣớng phát triển
Kết quả nhận đƣợc khi hoàn thiện đề tài, đƣa ra các hƣớng phát triển hoàn thiện.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
3
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
2.1
TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN
2.1.1 Giới thiệu xử lý ảnh
Xử lý ảnh không còn là đề tài quá mới, nó đƣợc áp dụng từ trong các hoạt động
thƣờng ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn
ứng dụng cả trong Chính trị, Y tế, Giáo dục…
Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học.
Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về
lƣu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm
truyền dẫn tín hiệu, âm thanh hoặc giọng nói, hình ảnh, và các tín hiệu khác…
Trong số các phƣơng pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín
hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra đƣợc thực
hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể đƣợc chia thành
xử lý hình ảnh tƣơng tự và xử lý hình ảnh kỹ thuật số.
Để có 1 bức ảnh số ta có quá trình thực hiện nhƣ sau: Chụp ảnh từ một máy ảnh là
một quá trình vật lý. Ánh sáng mặt trời sử dụng nhƣ một nguồn năng lƣợng. Một dãy cảm
biến đƣợc sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên
ngƣời đối tƣợng, sau đó số lƣợng ánh sáng phản xạ của đối tƣợng đƣợc cảm nhận từ các
cảm biến, và một tín hiệu điện áp liên tục đƣợc tạo ra bởi số lƣợng dữ liệu cảm biến đó. Để
tạo ra một hình ảnh kỹ thuật số, chúng ta cần phải chuyển đổi dữ liệu này thành một dạng kỹ
thuật số. Điều này liên quan đến việc lấy mẫu và lƣợng tử hóa. Kết quả của việc lấy mẫu và
lƣợng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số.
2.1.2 Những vấn đề trong xử lý ảnh
Điểm ảnh
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
4
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Là đơn vị cơ bản nhất để tạo nên một bức ảnh kỹ thuật số, địa chỉ của điểm ảnh đƣợc
xem nhƣ là một tọa độ (x,y) nào đó. Một bức ảnh kỹ thuật số - có thể đƣợc tạo ra bằng cách
chụp hoặc bằng một phƣơng pháp đồ họa nào khác - đƣợc tạo nên từ hàng ngàn hoặc hàng
triệu pixel riêng lẻ. Bức ảnh càng chứa nhiều pixel thì càng chi tiết. Một triệu pixel thì
tƣơng đƣơng với 1 megapixel.
Ảnh số
Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh
gần với ảnh thật. Số điểm ảnh xác định độ phân giải của ảnh. Ảnh có độ phân giải càng cao
thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc
nét hơn. Một hình ảnh là một tín hiệu hai chiều. Nó đƣợc xác định bởi hàm toán học f(x, y)
trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc. Các giá trị của f(x, y) tại bất kỳ
điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh.
Phân loại ảnh
Mức xám của điểm ảnh là cƣờng độ sáng, gán bằng một giá trị tại điểm đó. Các mức
ảnh xám thông thƣờng: 16, 32, 64, 128, 256. Mức đƣợc sử dụng thông dụng nhất là 256, tức
là dùng 1byte để biểu diễn mức xám.
Ảnh nhị phân: Là ảnh có 2 mức trắng và đen. Chỉ có 2 giá trị 0 và 1 và chỉ sử dụng 1
bit dữ liệu trên 1 điểm ảnh.
Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở
các điểm ảnh có thể khác nhau.
Ảnh màu: Là ảnh kết hợp của 3 màu cơ bản lại với nhau để tạo ra một thế giới màu
sinh động. Ngƣời ta thƣờng dùng 3byte để mô tả mức màu, tức là có khoảng 16,7 triệu mức
màu.
Quan hệ giữa các điểm ảnh
Lân cận điểm ảnh: đƣợc nói một cách hài hƣớc nhƣ là hàng xóm của các điểm ảnh.
Có 2 loại lân cận cơ bản là lân cận 4 và lân cận 8.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
5
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Điểm
xét
Điểm
xét
Lân cận 4 hàng cột
Lân cận 4 chéo
Điểm
xét
Lân cận 8
Hình 2.1: Lân cận 4 và lân cận 8
Bốn điểm ảnh lân cận 4 theo cột và hàng với tọa độ lần lƣợt là (x+1, y), (x-1, y),
(x,y+1), (x, y-1) ký hiệu là tập N4(p).
Bốn điểm ảnh lân cận 4 theo đƣờng chéo có tọa độ lần lƣợt là (x+1, y+1), (x+1, y+1),
(x-1, y+1), (x-1, y-1) ký hiệu là tập ND(p).
Tập 8 điểm ảnh lân cận 8 là hợp của 2 tập trên: N8(p) = N4(p) + ND(p).
Liên kết ảnh [3][4]: Các mối liên kết của ảnh đƣợc xem nhƣ là mối liên kiết của 2
điểm ảnh gần nhau, có 3 loại liên kết: liên kết 4, liên kết 8, lên kết m(liên kết hỗn hợp).
Trong ảnh đa mức xám, ta có thể đặt V chứa nhiều giá trị nhƣ V={tập con}. Cho p có
tọa độ (x, y).
Liên kết 4: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 4 của
nhau nếu q thuộc về tập N4(p).
Liên kết 8: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là liên kết 8 của
nhau nếu q thuộc về tập N8(p).
Liên kết m: hai điểm ảnh p và q có giá trị thuộc về tập V đƣợc gọi là Liên kết M của
nhau nếu thõa 1 trong 2 điều kiện sau: q thuộc về tập N4(p). q thuộc về tập ND(p) và giao
của hai tập N4(p), N4(q) không chứa điểm ảnh nào có giá trị thuộc V.
Lọc nhiễu
Ảnh thu nhận đƣợc thƣờng sẽ bị nhiễu nên cần phải loại bỏ nhiễu. Các toán tử không
gian dùng trong kỹ thuật tăng cƣờng ảnh đƣợc phân nhóm theo công dụng: làm trơn nhiễu,
nổi biên. Để làm trơn nhiễu hay tách nhiễu [3-4], ngƣời ta sử dụng các bộ lọc tuyến tính (lọc
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
6
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
trung bình, thông thấp) hoặc lọc phi tuyến (trung vị, giả trung vị, lọc đồng hình). Từ bản
chất của nhiễu (thƣờng tƣơng ứng với tần số cao) và từ cơ sở lý thuyết lọc là: bộ lọc chỉ cho
tín hiệu có tần số nào đó thông qua, để lọc nhiễu ngƣời ta thƣờng dùng lọc thông thấp (theo
quan điểm tần số không gian) hay lấy tổ hợp tuyến tính để san bằng (lọc trung bình). Để làm
nổi cạnh (ứng với tần số cao), ngƣời ta dùng các bộ lọc thông cao, lọc Laplace.
Phƣơng pháp lọc nhiễu. Chia làm 2 loại: lọc tuyến tính, lọc phi tuyến.
Làm trơn nhiễu bằng lọc tuyến tính
Khi chụp ảnh có thể xuất hiện nhiều loại nhiễu vào quá trình xử lý ảnh, nên ta cần
phải lọc nhiễu [4]. Gồm các phƣơng pháp cơ bản lọc trung bình, lọc thông thấp…
Lọc trung bình: Với lọc trung bình, mỗi điểm ảnh đƣợc thay thế bằng trung bình
trọng số của các điểm lân cận. Lọc trung bình có trọng số chính là thực hiện chập ảnh đầu
vào với nhân chập H. Nhân chập H có dạng:
1 1 1
1
H 1 1 1
9
1 1 1
(2.1)
Lọc thông thấp: Lọc thông thấp thƣờng đƣợc sử dụng để làm trơn nhiễu. Về nguyên
lý của bộ lọc thông thấp giống nhƣ đã trình bày trên.
0 1 0
1
H 1 2 1
8
0 1 0
(2.2)
Làm trơn nhiễu bằng lọc phi tuyến
Các bộ lọc phi tuyến cũng hay đƣợc dùng trong kỹ thuật tăng cƣờng ảnh. Một số
phƣơng pháp lọc cơ bản bộ lọc trung vị, lọc ngoài… Với lọc trung vị, điểm ảnh đầu vào sẽ
đƣợc thay thế bởi trung vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của hai
giá trị “trung vị” (trung bình cộng của max và min).
Lọc trung vị: Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ
tự tăng hay giảm dần so với giá trị trung vị. Kích thƣớc cửa số thƣờng đƣợc chọn sao cho số
điểm ảnh trong cửa sổ là lẻ.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
7
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Phƣơng pháp phát hiện biên
Biên là một trong những vấn đền ta cần quan tâm trong xử lý ảnh. Vì ở giai đoạn
phân đoạn ảnh chủ yếu dựa vào biên [4].
Hình 2.2: Hình tách biên
Điểm biên: Một điểm ảnh đƣợc coi là điểm biên nếu có sự thay đổi nhanh hoặc đột
ngột về mức xám. Ví dụ trong ảnh nhị phân, điểm đen gọi là điểm biên nếu lân cận nó có ít
nhất một điểm trắng.
Đƣờng biên: tập hợp các điểm biên liên tiếp tạo thành một đƣờng biên.
Ý nghĩa của đƣờng biên trong xử lý: ý nghĩa đầu tiên của đƣờng biên là một loại đặc
trƣng cục bộ tiêu biểu trong phân tích, nhận dạng ảnh. Thứ hai, ngƣời ta sử dụng biên làm
phân cách các vùng xám cách biệt. Ngƣợc lại, ngƣời ta cũng sử dụng các vùng ảnh để tìm
đƣờng phân cách. Tầm quan trọng của biên: để thấy rõ tầm quan trọng của biên, xét ví dụ
sau: khi ngƣời họa sỹ muốn vẽ một danh nhân, họa sỹ chỉ cần vẽ vài đƣờng nứt tốc họa mà
không cần vẽ một cách đầy đủ.
Nhƣ vậy, phát hiện biên một cách lý tƣởng là phát hiện đƣợc tất cả các đƣờng biên
trong các đối tƣợng. Định nghĩa toán học của biên ở trên là cơ sở cho các kỹ thuật phát hiện
biên. Điều quan trọng là sự biến thiên giữa các điểm ảnh thƣờng nhỏ, trong khi đó biến
thiên độ sáng của điểm biên thƣờng là khá lớn khi qua biên. Xuất phát cơ sở này ngƣời ta
thƣờng sử dụng hai phƣơng pháp phát hiện biên nhƣ sau:
Tách biên theo đạo hàm bậc một [4]: Có 2 phƣơng pháp cơ bản là: một là tạo
gradient của hai hƣớng và trực giao trong ảnh, hai là dùng tập đạo hàm có hƣớng.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
8
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Tách biên theo đạo hàm bậc hai [4]: đƣợc thực hiện trên một số dạng vi phân bậc 2
để làm xuất hiện biên. Có hai dạng của phƣơng pháp đạo hàm bậc hai đã đƣợc nghiên cứu
là: phƣơng pháp Lapplace và đạo hàm trực tiếp.
Bộ tách biên Canny [4]: phƣơng pháp phát hiện này đƣợc sử dụng phổ biến vì nó có
nhiều ƣu điểm hơn các phƣơng pháp khác.
Các bƣớc thực hiện:
Làm phẳng dùng bộ lọc Gauss.
Hình 2.3: Bộ lọc Gaussian
Sau đó, Gradient cục bộ của biên độ và hƣớng đƣợc tính. Tìm điểm ảnh có biên độ
lớn nhất dùng kỹ thuật nonmaximal suppression.
Các điểm ảnh đỉnh tìm đƣợc chia làm hai ngƣỡng T1 và T2, T1 < T2. Các điểm ảnh
đỉnh có giá trị lớn hơn T2 đƣợc gọi là Strong và nằm trong khoảng T1 và T2 đƣợc gọi là
Weak. Liên kiết các điểm ảnh Weak có 8 kết nối đến điểm ảnh Strong.
Phƣơng pháp gradient: Gradient là một vector có các thành phần biểu thị tốc độ thay
đổi giá trị của điểm ảnh theo 2 hƣớng x và y, hay có thể nói là nó đại diện cho sự thay đổi về
hƣớng và độ lớn của một vùng ảnh. Ảnh đƣợc làm mịn sau đó đƣợc lọc bằng hạt nhân Sobel
theo cả hƣớng ngang và dọc để lấy đạo hàm đầu tiên theo hƣớng nằm ngang (Gx) và hƣớng
dọc (Gy). Từ hai hình ảnh này, chúng ta có thể tìm gradient và hƣớng cạnh cho mỗi pixel
nhƣ sau:
Edge _ Gradient (G) Gx2 G y2
(2.3)
Gy
Angle ( ) tan 1
Gx
(2.4)
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
9
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Phân đoạn ảnh
Phân đoạn ảnh là bƣớc then chốt trong xử lý ảnh. Giai đoạn này nhằm phân tích ảnh
thành các vùng có cùng tính chất nào đó dựa theo biên hay các vùng liên thông. Tiêu chuẩn
để xác định các vùng liên thông có thể là cùng mức xám, cùng màu hay cùng độ nhóm.
Quá trình phân đoạn ảnh nhằm tách đối tƣợng cần khảo sát ra khỏi phần nội dung
còn lại của ảnh, hay phân chia các đối tƣợng trong ảnh thành những đối tƣợng riêng biệt,
nhƣ vậy quá trình phân đoạn ảnh là quá trình giảm bớt số lƣợng thông tin trong ảnh và chỉ
giữ lại những thông tin cần thiết cho ứng dụng. Do đó phân đoạn ảnh là quá trình loại bỏ các
đối tƣợng không quan tâm trong ảnh.
Có nhiều phƣơng pháp phân đoạn ảnh khác nhau. Trong đó quá trình phân đoạn ảnh
sử dụng một ngƣỡng giá trị xám để phân đoạn ảnh ra thành các đối tƣợng và nền là phƣơng
pháp đơn giản nhất. Lúc này các điểm ở bên dƣới ngƣỡng giá trị xám thuộc về nền còn
những điểm ảnh ở bên trên ngƣỡng giá trị xám thuộc về đối tƣợng. Phƣơng pháp phân đoạn
ảnh này hiệu quả lớn đối với ảnh nhị phân, văn bản in hay đồ họa...
Dựa vào đặc tính vật lý của vùng ảnh, các kỹ thuật phân đoạn vùng có thể đƣợc chia
làm 3 loại:
Các kỹ thuật cục bộ: dựa trên các đặc tính cục bộ của các điểm ảnh và các lân cận
của nó.
Các kỹ thuật tổng thể: phân đoạn một ảnh dựa trên cơ sở của thông tin lấy từ tổng thể
nhƣ sử dụng biểu đồ mức xám histogram.
Các kỹ thuật chia, nối và phát triển: dựa trên các khái niệm tƣơng đồng về hình dạng
và tính đồng nhất. Hai vùng có thể đƣợc nối lại với nhau và liền kề bên nhau. Các vùng
không đồng nhất có thể đƣợc chia thành các vùng nhỏ. Một vùng có thể đƣợc phát triển
bằng các nối các điểm ảnh sao cho nó đồng nhất với nhau.
Các phần mềm hỗ trợ xử lý ảnh
Hiện nay xử lý ảnh đƣợc giảng dạy trƣờng đại học và ứng dụng vào thực tế rất nhiều
nhƣ các phần mềm chỉnh sửa hình ảnh hay nhận biết khuôn mặt. Chính vì thế có rất nhiều
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
10
