Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh phân loại sản phẩm cho robot công nghiệp nachi MC20 01

LỜI CAM ĐOAN
Tôi xin cam đoan các số liệu và kết quả nêu trong Luận văn là trung thực và
chưa được ai công bố trong bất kỳ một công trình nào khác. Trừ các phần
tham khảo đã được nêu rõ trong Luận văn.

Tác giả

Khổng Minh

1


LỜI CẢM ƠN
Tác giả xin chân thành cảm ơn các thầy cô trong Viện Cơ khí Trƣờng Đại
học Bách Khoa Hà Nội cũng nhƣ các thầy cô đã tham gia giảng dạy cao học
lớp cao học CĐT2013B đã tận tình giúp đỡ cho tác giả trong suốt thời gian
vừa qua.
Tác giả xin chân thành cảm ơn bạn bè đồng nghiệp bộ môn Cơ điện tử, các
thầy trong Ban chủ nhiệm khoa Cơ khí Trƣờng Đại học Công nghiệp Hà Nội
đã tạo điều kiện, giúp đỡ tác giả trong quá trình vừa học vừa công tác.
Tác giả xin chân thành cảm ơn gia đình, các bạn sinh viên luôn là động
lực, nguồn cảm hứng cho tác giả trong suốt quá trình công tác và học tập.
Đặc biệt tác giả xin chân thành cảm ơn PGS.TS Tạ Duy Liêm đã trực tiếp
hƣớng dẫn tác giả hoàn thành luận văn này. PGS.TS Tạ Duy Liêm đã trực tiếp
định hƣớng, giúp đỡ cho tác giả trong suốt quá trình học tập Đại học cũng
nhƣ Cao học tại Trƣờng Đại học Bách Khoa Hà Nội. Thầy không chỉ là ngƣời
thầy mà còn là một nhà khoa học, một đồng nghiệp mà suốt đời tác giả biết
ơn và ngƣỡng mộ.
Tác giả

Khổng Minh

2


MỤC LỤC
LỜI CAM ĐOAN ............................................................................................. 1
LỜI CẢM ƠN ................................................................................................... 2
MỤC LỤC ......................................................................................................... 3
HỆ THỐNG DANH MỤC BẢNG BIỂU ......................................................... 6
HỆ THỐNG DANH MỤC HÌNH VẼ .............................................................. 7
MỞ ĐẦU ......................................................................................................... 10
1. Lý do chọn đề tài ......................................................................................... 10
2. Lịch sử nghiên cứu ...................................................................................... 11
3. Mục đích, đối tƣợng và phạm vi nghiên cứu của luận văn ......................... 11
3.1 Mục đích nghiên cứu ................................................................................. 11
3.2 Đối tƣợng và phạm vi nghiên cứu............................................................. 11
4. Tóm tắt những luận điểm cơ bản và đóng góp mới của tác giả .................. 12
4.1 Những luận điểm cơ bản ........................................................................... 12
4.2 Đóng góp mới của tác giả ......................................................................... 12
5. Phƣơng pháp nghiên cứu............................................................................. 13
CHƢƠNG I: TỔNG QUAN ......................................................................... 14
1.1 Tổng quan cơ sở lý thuyết ......................................................................... 14
1.1.1 Tổng quan lý thuyết xử lý ảnh ........................................................... 14
1.1.2 Thƣ viện OpenCV .............................................................................. 22
1.1.3 Robot công nghiệp Nachi MC20-01 .................................................. 25
1.2 Tình hình nghiên cứu trong và ngoài nƣớc ............................................... 28
1.2.1 Tình hình nghiên cứu trong nƣớc....................................................... 28
1.2.2 Tình hình nghiên cứu ở nƣớc ngoài ................................................... 29
CHƢƠNG II: THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG ............................... 30
2.1 Xác định yêu cầu hệ thống, giới hạn các điều kiện biên........................... 30

2.1.1 Yêu cầu hệ thống................................................................................ 30
2.1.2 Các điều kiện biên .............................................................................. 30
2.2 Thiết kế và chế tạo hệ thống ..................................................................... 31
2.2.1 Thiết kế tổng thể ................................................................................ 31
3


2.2.2 Thiết kế phần mềm xử lý ảnh............................................................. 33
2.2.3 Thiết kế và thi công mạch điều khiển ................................................ 36
CHƢƠNG III: TÍCH HỢP HỆ THỐNG ........................................................ 49
3.1 Ghép nối bộ xử lý ảnh với robot công nghiệp Nachi MC 20 ................... 49
3.2 Mô hình hóa và mô phỏng hệ thống bằng phần mềm AX on Desk.......... 52
3.2.1 Mô hình hóa không gian làm việc...................................................... 52
3.2.2 Viết chƣơng trình hoạt động cho robot trên phần mềm AX on Desk 54
3.2.3 Mô phỏng quá trình hoạt động của hệ thống ..................................... 58
CHƢƠNG IV:

ẾT QUẢ Đ NH GI ........................................................ 61

4.1 Kết quả của luận văn ................................................................................. 61
4.1.1 Kết quả phần mềm xử lý ảnh ............................................................. 61
4.1.2 Kết quả của bộ phần cứng xử lý ảnh.................................................. 65
4.2 Phân tích, đánh giá độ chính xác, mức độ đạt đƣợc của kết quả nghiên
cứu, thực nghiệm ............................................................................................. 69
4.2.1 Các thí nghiệm kiểm tra chất lƣợng hệ thống .................................... 69
4.2.2 Đánh giá kết quả thí nghiệm .............................................................. 72
KẾT LUẬN ..................................................................................................... 73
PHỤ LỤC…………………………………………………………………....73
CODE CHƢƠNG TRÌNH………………………………………………..….73
PHẦN BÀI TẬP THỰC HÀNH ..................................................................... 84

BÀI 1: THIẾT KẾ KHÔNG GIAN LÀM VIỆC CHO ROBOT .................... 84
CÔNG NGHIỆP NACHI MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH ........... 84
1. Mục tiêu của bài thực hành: ........................................................................ 84
2. Nội dung thực hành: .................................................................................... 84
2.1 Xây dựng không gian làm việc cho robot công nghiệp Nachi MC20-01
bằng phần mềm Solidwork ............................................................................. 84
2.1.1 Xây dựng các bàn gá .............................................................................. 85
2.1.2 Xây dựng các khay chứa phôi ............................................................ 85
2.1.3 Xây dựng hộp chứa sản phẩm ............................................................ 86
2.1.4 Xây dựng băng tải .............................................................................. 86

4


2.1.5 Xây dựng bệ robot .............................................................................. 87
2.2 Thiết lập bản vẽ lắp không gian làm việc của robot ................................. 87
2.3 Xây dựng không gian làm việc cho robot công nghiệp trên phần mềm AX
on Desk ............................................................................................................ 88
2.3.1 Thiết lập không gian làm việc ............................................................ 88
2.3.2 Lựa chọn robot ................................................................................... 90
BÀI 2: MÔ PHỎNG HOẠT ĐỘNG CỦA ROBOT CÔNG NGHIỆP NACHI
MC20-01 VỚI HỆ THỐNG XỬ LÝ ẢNH
BẰNG PHẦN MỀM AX ON DESK .............................................................. 92
1. Mục tiêu của bài thực hành: ........................................................................ 92
2. Nội dung thực hành: .................................................................................... 92
2.2 Viết chƣơng trình chính ............................................................................ 92
2.3 Viết các chƣơng trình con ......................................................................... 92
2.4 Giả lập tín hiệu đầu vào ............................................................................ 93
2.5 Chạy chƣơng trình mô phỏng.................................................................... 94
BÀI 3: VẬN HÀNH HỆ THỐNG XỬ LÝ ẢNH CHO ROBOT CÔNG

NGHIỆP NACHI MC20-01………………………………………………..96
1. Mục tiêu của bài thực hành: ........................................................................ 96
2. Nội dung thực hành: .................................................................................... 96
2.1 Kiểm tra hệ thống trƣớc khi vận hành ...................................................... 96
2.1.1 Kiểm tra robot trƣớc khi bật nguồn điện chính.................................. 96
2.1.2 Kiểm tra vị trí của các công tắc, các nút điều khiển ......................... 96
2.1.3 Kiểm tra máy nén khí và máy biến áp ............................................... 97
2.1.4 Kiểm tra băng tải ................................................................................ 98
2.1.5 Kiểm tra phần mềm xử lý ảnh và bộ thu phát RF .............................. 99
2.2 Viết chƣơng trình chính và chƣơng trình con bằng bảng dạy học........ 99
2.2.1 Kết nối mạch RF với tủ điều khiển AX ............................................. 99
2.2.2 Viết chƣơng trình chính và chƣơng trình con bằng bảng dạy học..... 99
Tài liệu tham khảo ......................................................................................... 103

5


HỆ THỐNG DANH MỤC BẢNG BIỂU

Bảng 1.1 Thông số kỹ thuật của Robot Nachi MC20-01 ........................ 26
Bảng 2.1 Các linh kiện chính trong mạch phát RF ................................ 42
Bảng 2.2 Các linh kiện chính trong mạch thu RF................................... 48
Bảng 3.1 Danh sách các chân tín hiệu đầu vàocủa bộ điều khiển AX .. 50
Bảng 3.2 Yêu cầu kỹ thuật tín hiệu I/O của bộ điều khiển AX ................ 51
Bảng 4.1 Kết quả thí nghiệm bộ XLA với khoảng thu phát 2m .............. 70
Bảng 4.2 Kết quả thí nghiệm bộ XLA với khoảng thu phát 10m ............ 71

6

HỆ THỐNG DANH MỤC HÌNH VẼ
Hình 1.1 Quá trình xử lý ảnh....................................................................... 14
Hình 1.2 Các bước trong xử lý ảnh ............................................................. 14
Hình 1.3 Ảnh liên tục và ảnh số .................................................................. 16
Hình 1.4 Hiện tượng vỡ hạt .......................................................................... 17
Hình 1.5 Độ phân giải của ảnh .................................................................... 17
Hình 1.6 Mức xám của ảnh .......................................................................... 18
Hình 1.7 Độ nhạy sáng ................................................................................. 18
Hình 1.8 Ảnh nhị phân và ảnh đen trắng ..................................................... 18
Hình 1.9 Lược đồ mức xám của ảnh ............................................................ 19
Hình 1.10 Không gian màu RGB .................................................................. 20
Hình 1.11 Không gian màu YUV .................................................................. 21
Hình 1.12 Không gian màu YCbCr .............................................................. 21
Hình 1.13 Không gian màu HSV .................................................................. 22
Hình 1.14 Kết nối tủ điều khiển với robot .................................................... 27
Hình 1.15 Kết nối bảng điều khiển bằng tay với tủ điều khiển ................... 27
Hình 1.16 Robot SCARA xử lý ảnh ĐHCN Hà Nội ..................................... 28
Hình 1.17 Mobile Robot xử lý ảnh .............................................................. 28
ĐH Lạc Hồng................................................................................................ 28
Hình 1.18 Công nghệ xử lý ảnh ...................................................................... ..
áp dụng trong công nghiệp thực phẩm ......................................................... 29
Hình 1.19 Áp dụng công nghệ xử lý ảnh và robot công nghiệp ..................... ..
trong phân loại rác ....................................................................................... 29
Hình 1.20 Công nghệ xử lý ảnh trong phân loại sản phẩm ......................... 29
Hình 1.21 Công nghệ xử lý ảnh trong sản xuất rượu bia ............................ 29
Hình 2.1 Sơ đồ khối hệ thống ....................................................................... 32
Hình 2.2 Giao diện phần mềm xử lý ảnh ...................................................... 34

7

Hình 2.3 Quá trình lấy ngưỡng màu ............................................................ 35
Hình 2.4 Mạch nguyên lý của mạch phát sóng RF ...................................... 37
Hình 2.5 Vi điều khiển ATmega8.................................................................. 38
Hình 2.6 Khối reset và nạp ISP .................................................................... 39
Hình 2.7 Khối PL2303 ................................................................................. 39
Hình 2.8 Khối giao tiếp với module RF ...................................................... 40
Hình 2.9 Khối nguồn ................................................................................... 41
Hình 2.10 Mạch in mạch phát sóng RF........................................................ 41
Hình 2.11 Mạch phát sóng RF ..................................................................... 42
Hình 2.12 Mạch nguyên lý của mạch thu sóng RF ...................................... 43
Hình 2.13 Khối ghi dịch 74HC595 ............................................................... 44
Hình 2.14 Khối ULN2803............................................................................. 45
Hình 2.15 Khối kết nối tín hiệu vào của robot ............................................. 46
Hình 2.16 Mạch in mạch thu sóng RF.......................................................... 46
Hình 2.17 Mạch thu sóng RF ....................................................................... 47
Hình 3.1 Vị trí các cổng I/O ......................................................................... 49
Hình 3.2 Các chân I/O................................................................................. 50
Hình 3.3 Kết nối với cổng tín hiệu vào và lấy nguồn từ bộ điều khiển ....... 52
Hình 3.4 Hình chiếu cạnh của không gian làm việc ................................... 53
Hình 3.5 Hình chiếu đứng của không gian làm việc ................................... 53
Hình 3.6 Hình chiếu trục đo của không gian làm việc................................ 54
Hình 3.7 Cửa sổ Visual Program ................................................................ 55
Hình 3.8 Cửa sổ Visual Robot ..................................................................... 56
Hình 3.9 Cửa sổ Visual I/O .......................................................................... 57
Hình 3.10 Cửa sổ Visual TP ......................................................................... 58
Hình 3.11 Vị trí ban đầu của robot .............................................................. 59
Hình 3.12 Robot tại vị trí chờ gắp phôi đã phân loại .................................. 59

8

Hình 3.13 Robot gắp phôi đã nhận diện ...................................................... 60
Hình 3.14 Robot thả phôi vào khay tương ứng ............................................ 60
Hình 4.1 Nhận diện phôi tam giác vàng ....................................................... 62
Hình 4.2 Nhận diện phôi tròn đỏ .................................................................. 62
Hình 4.3 Nhận diện phôi tròn trắng ............................................................. 63
Hình 4.4 Nhận diện phôi tròn vàng .............................................................. 63
Hình 4.5 Nhận diện phôi vuông đỏ............................................................... 64
Hình 4.6 Các chế độ lựa chọn phôi .............................................................. 64
Hình 4.7 Lấy các thông số màu sắc của phôi với các điều kiện ánh sáng
khác nhau ...................................................................................................... 65
Hình 4.8 Mạch nhận và phát tín hiệu RF trên máy tính............................... 66
Hình 4.9 Mặt trước của mạch nhận và xử lý tín hiệu trên tủ điều khiển ..... 67
Hình 4.10 Mặt sau của mạch nhận và xử lý tín hiệu trên tủ điều khiển ...... 67
Hình 4.11 Bảng thao tác trên băng tải ......................................................... 68

9


MỞ ĐẦU
1. Lý do chọn đề tài
Năm 1969, lần đầu tiên khái niệm cơ điện tử đƣợc sử dụng tại Nhật Bản.
So với các ngành khoa học kỹ thuật khác cơ điện tử còn rất non trẻ. Tuy vẫn
còn nhiều tranh cãi về khái niệm cơ điện tử nhƣng nhìn chung cơ điện tử là
một ngành khoa học đƣợc tổ hợp chính từ ba lĩnh vực: cơ khí, điện tử và công
nghệ thông tin. Cùng với sự phát triển của các lĩnh vực này, cũng nhƣ những
ƣu việt của mình, cơ điện tử ngày này đã phát triển mạnh mẽ. Các sản phẩm
của ngành cơ điện tử có ở khắp nơi từ thực tiễn đời sống nhƣ: máy ảnh kỹ
thuật số, máy giặt, tủ lạnh, phƣơng tiện giao thông… cho đến các loại máy

móc phục vụ trong công nghiệp nhƣ: máy CNC, robot công nghiệp, hệ thống
FMS và CIM…
Năm 2013, đƣợc đơn vị cử đi học cao học tại Đại học Bách Khoa Hà Nội
chuyên ngành cơ điện tử, tác giả cũng rất băn khoăn trong việc chọn đề tài tốt
nghiệp. Bởi cơ điện tử là một ngành khoa học với kiến thức rất tổng hợp, sản
phẩm rất đa dạng.
Tuy nhiên kết hợp giữa chuyên môn của bản thân, sự định hƣớng phát
triển của nhà trƣờng đặc biệt là tƣ vấn của PGS.TS Tạ Duy Liêm tác giả đã
chọn đề tài “Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh phân loại sản phẩm
cho robot công nghiệp Nachi MC20-01” làm đề tài tốt nghiệp của mình.
Đề tài không những đáp ứng đƣợc định hƣớng nghiên cứu của bản thân tác
giả mà còn xây dựng đƣợc cơ sở vật chất phục vụ đào tạo, nghiên cứu cho
phòng thực hành cơ điện tử 3, trƣờng Đại học Công nghiệp Hà Nội, nơi tác
giả đang công tác.

10


2. Lịch sử nghiên cứu
Trƣớc khi thực hiện đề tài “Nghiên cứu thiết kế và chế tạo bộ xử lý ảnh
phân loại sản phẩm cho robot công nghiệp Nachi MC20-01”, tác giả đã có
thời gian phụ trách phòng thực hành robot công nghiệp từ năm 2010.
Quá trình phụ trách phòng thực hành, ngoài việc hƣớng dẫn sinh viên vận
hành sử dụng những khả năng sẵn có của robot, tác giả đã nghiên cứu theo
hƣớng tích hợp các hệ thống ngoại vị cho của robot, nhằm mở rộng khả năng
làm việc của nó.
Xử lý ảnh là một hƣớng nghiên cứu khá thú vị. Từ năm 2011, tác giả đã
nghiên cứu hệ thống xử lý ảnh, bƣớc đầu thiết kế và chế tạo thành công, xây
dựng đƣợc mô hình học cụ là: Robot công nghiệp SCARA ba bậc tự do, phân
loại sản phẩm theo màu sắc. Đề tài là sản phẩm xử lý ảnh thứ hai tác giả

nghiên cứu, thiết kế và chế tạo, với đề tài này tác giả thiên nhiều hơn theo
hƣớng tích hợp hệ thống trong công nghiệp và xây dựng các bài thực hành, thí
nghiệm phục vụ giảng dạy.
3. Mục đích, đối tƣợng và phạm vi nghiên cứu của luận văn
3.1 Mục đích nghiên cứu
Luận văn nghiên cứu hai nội dung chính là công nghệ xử lý ảnh và khả
năng tích hợp công nghệ xử lý ảnh trên robot công nghiệp Nachi MC 20 – 01.
Trên cơ sở đó nhằm thiết kế, chế tạo bộ xử lý ảnh, tích hợp trên robot công
nghiệp, thử nghiệm, đánh giá và xây dựng các bài thực hành, thí nghiệm
tƣơng ứng.
3.2 Đối tƣợng và phạm vi nghiên cứu
Lý thuyết chung về công nghệ xử lý ảnh, các hàm, thuật toán của xử lý ảnh
trong thƣ viện Open CV.
Robot công nghiệp Nachi MC 20 – 01 các chuẩn giao tiếp và khả năng tích
hợp hệ thống.

11


4. Tóm tắt những luận điểm cơ bản và đóng góp mới của tác giả
4.1 Những luận điểm cơ bản
Thông qua quá trình thực hiện đề tài, tác giả tổng hợp đƣợc căn bản ý
nghĩa của các hàm và thuật toán xử lý ảnh có trong thƣ viện Open CV.
Tác giả cũng đã xây dựng đƣợc cơ bản phƣơng pháp ứng dụng các hàm,
thuật toán Open CV để xây dựng bộ phần mềm và phần cứng xử lý ảnh.
4.2 Đóng góp mới của tác giả
Quá trình thực hiện luận văn tác giả đã nghiên cứu tƣơng đối đầy đủ về lý
thuyết xử lý ảnh, thƣ viện Open CV, các chuẩn giao tiếp trong công nghiệp,
các phƣơng pháp tích hợp hệ thống. Trên cơ sở đó tác giả đã xây dựng trình
tự từ lý thuyết đến việc xây dựng phần cứng, tích hợp hệ thống, đánh giá kiểm

nghiệm và đƣa vào thực tiễn sử dụng.
Luận văn sẽ là một tài liệu tham khảo có ích cho sinh viên, cán bộ kỹ
thuật, nghiên cứu theo hƣớng tích hợp hệ thống cho tay máy robot công
nghiệp có sẵn.
Thông qua quá trình làm luận văn tác giả cũng đã xây dựng đƣợc bộ xử lý
ảnh cơ bản tƣơng đối hoàn trỉnh bao gồm: phần mềm xử lý ảnh, phần cứng xử
lý ảnh, bài thực hành phục vụ giảng dạy.
Bộ xử lý ảnh tích hợp trên robot công nghiệp nếu mua từ nƣớc ngoài, có
giá thành từ vài ngàn đến hàng chục ngàn USD, khả năng nâng cấp, can thiệp
sâu vào các hệ thống có sẵn này rất hạn chế. Tác giả đã chế tạo thành công hệ
thống xử lý ảnh với giá thành rẻ, có khả năng mở rộng, nâng cấp góp phần
trong việc đáp ứng nhu cầu học tập và nghiên cứu trƣớc mắt cũng nhƣ mở ra
hƣớng phát triển sau này.

12


5. Phƣơng pháp nghiên cứu
Đây là một đề tài mang tính ứng dụng cao, khối lƣợng kiến thức lớn ở
nhiều lĩnh vực. Do đó tác giả kết hợp giữa hai phƣơng pháp nghiên cứu lý
thuyết và thực nghiệm.
Về nghiên cứu lý thuyết:
- Nghiên cứu lý thuyết chung về xử lý ảnh
- Nghiên cứu các hàm, thuật toán trong thƣ viên Open CV
- Nghiên cứu về các chuẩn giao tiếp trên robot công nghiệp
Về thực nghiệm:
- Kết hợp các hàm, thuật toán khác nhau có trong Open CV, xây dựng
phần mềm xử lý ảnh phân loại đƣợc các đối tƣợng nhƣ mong muốn; kiểm thử,
lựa chọn các hàm, thuật toán thích hợp nhất.
- Xây dựng phần cứng, thử nghiệm với các loại phôi có hình dáng, màu

sắc khác nhau, trong các điều kiện ánh sáng khác nhau, trên cơ sở đó đánh giá
ảnh hƣởng của các tham số của hàm, thuật toán có sẵn trên Open CV. Từ đó
lựa chọn ra bộ tham số phù hợp nhất với điều kiện ánh sang cũng nhƣ thiết bị
phần cứng của mình.

13


CHƢƠNG I: TỔNG QUAN
1.1 Tổng quan cơ sở lý thuyết
1.1.1 Tổng quan lý thuyết xử lý ảnh
a. Khái niệm xử lý ảnh
Từ những năm 20 của thế kỷ trƣớc, những ứng dụng đầu tiên của công
nghệ xử lý ảnh ra đời. Cùng với sự phát triển mạnh mẽ của khoa học kỹ thuật,
đặc biệt là khoa học máy tính, các ứng dụng của xử lý ảnh ngày càng đa dạng,
phong phú.
Có thể kể ở đây một số những ứng dụng điển hình của xử lý ảnh: dự báo thời
tiết, y tế, phân loại sản phẩm, nhận dạng trong an ninh, quân sự… Để thực hiện
các ứng dụng đó thì hai nhiệm vụ cơ bản của xử lý ảnh là: nâng cao chất lƣợng
thông tin hình ảnh và xử lý số liệu cung cấp cho các quá trình khác.
b. Các bƣớc xử lý ảnh
Thực chất của quá trình xử lý ảnh là quá trình tác động vào ảnh đầu vào để
đầu ra là ảnh tốt hơn, hoặc đƣa ra các kết luận.

Hình 1.1 Quá trình xử lý ảnh
Hình 1.1 mô tả quá trình xử lý ảnh một cách đơn giản. Để có đƣợc chất
lƣợng ảnh tốt hơn hay đƣa ra kết luận về ảnh đầu vào, quá trình xử lý ảnh phải
thực hiện qua các bƣớc sau đây:

Hình 1.2 Các bước trong xử lý ảnh

14


Hình 1.2 mô tả các bƣớc trong quá trình xử lý ảnh. Cơ bản quá trình xử lý
ảnh thực hiện qua năm bƣớc: thu nhận ảnh, tiền xử lý ảnh, phân đoạn ảnh,
biểu diễn và mô tả, cuối cùng là nhận dạng và nội suy, theo tài liệu [2].
Thu nhận ảnh: Quá trình tiếp nhận thông tin từ vật thể thông qua camera
màu hoặc trắng đen, ảnh thu nhận đƣợc có thể là ảnh tƣơng tự hoặc ảnh số.
Tiền xử lý ảnh: Sau bộ thu nhận, ảnh có thể nhiễu, độ tƣơng phản thấp…
chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tƣơng phản để làm
ảnh rõ hơn, nét hơn.
Phân đoạn ảnh: Là tách một ảnh đầu vào thành các vùng thành phần để phân
tích, nhận dạng ảnh.
Biểu diễn ảnh: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh
cộng với mã liên kết với các vùng lận cận. Biểu diễn ảnh thực chất là việc
biến đổi các số liệu này thành dạng thích hợp cho quá trình xử lý tiếp theo.
Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh. Quá
trình này thƣờng thu đƣợc bằng cách so sánh với mẫu chuẩn. Nội suy là phán
đoán theo ý nghĩa trên cơ sở nhận dạng.
c. Những khái niệm cơ bản của ảnh
Ảnh và điểm ảnh (pixel): Ảnh gốc là ảnh liên tục về không gian và độ sáng.
Để xử lý bằng máy tính, ảnh cần phải đƣợc số hoá. Số hoá ảnh là sự biến đổi
gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí
và độ sáng.

15


Hình 1.3 Ảnh liên tục và ảnh số
Mỗi một điểm nhƣ vậy gọi là điểm ảnh và ảnh đƣợc xem nhƣ là 1 tập hợp các

điểm ảnh (Pixel). Các pixel đƣợc tạo ra bằng cách phân chia hình ảnh thành nhiều
ô vuông nhỏ. Hình 1.3 so sánh giữa hai bức ảnh liên tục và ảnh số, trong khi ảnh
liên tục “mịn” hơn, thì ảnh số lại đƣợc chia thành nhiều ô vuông nhỏ.
Với hình ảnh đƣợc chụp bằng máy ảnh số hoặc đã đƣợc số hóa, quan sát ở
độ phóng đại đủ lớn sẽ thấy rõ các pixel. Hiện tƣợng này gọi là vỡ hạt
(pixelization). Hình 1.4 biểu diễn phóng đại hiện tƣợng vỡ hạt của một bức
ảnh số. Những ảnh càng có độ phân giải cao thì hiện tƣợng vỡ hạt càng ít và
ngƣợc lại.

16


Hình 1.4 Hiện tượng vỡ hạt
Độ phân giải của ảnh (Resolution):

Hình 1.5 Độ phân giải của ảnh
Độ phân giải ảnh là mật độ điểm ảnh đƣợc ấn định trên một ảnh số đƣợc
hiển thị. Số lƣợng điểm ảnh càng nhiều và càng nhỏ thì độ nét và chi tiết ảnh
sẽ càng cao. Có 3 cách để biểu thị độ phân giải ảnh:
- Biểu thị bằng số lƣợng điểm ảnh theo chiều dọc và chiều ngang của ảnh
(800x1200).
- Biểu thị bằng tổng số điểm ảnh trên một tấm ảnh (960.000 pixel).
- Biểu thị bằng số lƣợng điểm ảnh có trên 1 inch.
Mức xám của ảnh (Grey level): Mức xám của điểm ảnh là cƣờng độ sáng
của điểm ảnh đó đƣợc gán bằng các giá trị số. Giá trị mức xám thông thƣờng:

17


16, 32, 64, 128, 256. Giá trị của mức sáng càng cao thì ảnh càng sáng. Hình

1.6 mô tả ba bức ảnh số và mức sáng tƣơng ứng của mỗi bức ảnh.

Hình 1.6 Mức xám của ảnh
Độ nhạy sáng: Là khả năng thu đƣợc thông tin về mức xám của cảm biến ánh
sáng. Độ nhạy sáng cao thì có thể chụp đƣợc ảnh trong điều kiện ánh sáng
thấp và tốc độ chuyển động nhanh.

Hình 1.7 Độ nhạy sáng
Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với
mức xám ở các điểm ảnh có thể khác nhau.
Ảnh nhị phân: Là ảnh chỉ có 2 mức đen trắng phân biệt, mỗi điểm ảnh của
ảnh nhị phân chỉ có thể là 0 hoặc 1 về mức xám.

Hình 1.8 Ảnh nhị phân và ảnh đen trắng
18


Nhƣ vậy, về mặt thông tin, ảnh đen trắng cho nhiều thông tin hơn ảnh nhị
phân. Với ảnh nhị phân, ở mỗi một điểm ảnh, mức xám chỉ có hai mức 0
(đen), 1(trắng, với ảnh đen trắng ở mỗi điểm ảnh, mức xám có thể có nhiều
hơn hai mức.
Lƣợc đồ mức xám (Histogram): Lƣợc đồ mức xám của một bức ảnh biểu thị
tần suất xuất hiện các mức xám tính theo đơn vị điểm ảnh. Trục hoành là mức
xám còn trục tung số điểm ảnh.

Hình 1.9 Lược đồ mức xám của ảnh
Khi một ảnh đƣợc cô đọng thành lƣợc đồ mức xám thì tất cả các thông tin
về không gian đều bị loại bỏ. Nó chỉ rõ số điểm ảnh có trong mỗi mức xám
nhƣng không có thông tin nào về vị trí của điểm ảnh có trong bức ảnh đó.
d. Không gian màu trong xử lý ảnh

Không gian màu RGB: RGB là viết tắt của ba từ tiếng Anh: Red (màu đỏ),
Green (màu xanh lá), Blue (màu xanh dƣơng).

19


Hình 1.10 Không gian màu RGB
Tại mỗi điểm ảnh, để phân biệt về màu sắc của điểm ảnh này với điểm ảnh
khác, ba màu cơ bản trên đƣợc chia ra làm nhiều mức khác nhau trên ba trục
tọa độ.
Ví dụ, với ảnh RGB 8 bit, màu đen có giá trị là (0,0,0) màu trắng có giá trì
là (255,255,255), màu đỏ có giá trị là (255,0,0)…
Không gian màu YUV: Mô hình YUV qui định một không gian màu đƣợc
tạo bởi một độ sáng và hai thành phần màu. YUV đƣợc sử dụng trong hệ
thống phát sóng truyền hình theo chuẩn PAL, đây là chuẩn ở phần lớn
các nƣớc.
Mô hình YUV giúp tạo ra màu đúng với nhận thức của con ngƣời hơn
chuẩn RGB, là loại đƣợc dùng trong các thiết bị đồ hoạ máy tính. Y đại diện
cho thành phần độ sáng, U và V là đại diện cho các thành phần màu. Các giá
trị YUV đều xuất phát từ các nguồn RGB.
Y = 0.299R + 0.587G + 0.114B
U = 0,492(B-Y)
V = 0,877(R-Y)
Hay dùng cách tính ma trận sau :

20


 Y   0,299 0,587 0,114   R 
 U  = -0,147 -0,289 0,436  G 

  
 
 V   0,615 -0,515 -0,100  B 

Hình 1.11 Không gian màu YUV
Không gian màu Y Cb Cr (JPEG)
Y = 0.299R + 0.587G + 0.114B
Cb = U/2 + 0,5
Cr = V/1,6 + 0,5

Hình 1.12 Không gian màu YCbCr
Không gian màu HSV (Hue-Saturation-Value)
Không gian màu HSV dựa trên các đặc tính: họ màu, độ thuần khiết, và độ sáng.

21


Hình 1.13 Không gian màu HSV
Giá trị họ màu (Hue) chạy từ 0 đến 360°
Độ bão hòa màu (Saturation) là mức độ của thuần khiết của màu, có thể
hiểu là có bao nhiêu màu trắng đƣợc thêm vào màu thuần khiết này. Giá trị của
S nằm trong đoạn [0, 1], trong đó S = 1 là màu tinh khiết nhất, hoàn toàn không
pha trắng. Nói cách khác, S càng lớn thì màu càng tinh khiết, nguyên chất.
Độ sáng của màu (Value): có giá trị dao động trong đoạn [0, 1], trong đó
V = 0 là hoàn toàn tối (đen), V = 1 là hoàn toàn sáng. Nói cách khác, V càng
lớn thì màu càng sáng.
1.1.2 Thƣ viện OpenCV
Với việc xác định mục tiêu và nội dụng nghiên cứu của luận văn, cũng nhƣ
dựa vào chuyên môn của tác giả, tác giả không tập trung nghiên cứu quá sâu về
lý thuyết hay các giải thuật xử lý ảnh, mà tập trung nghiên cứu vào hƣớng ứng

dụng. Có nghĩa là lựa chọn, sử dụng các thƣ viện, các giải thuật sẵn có, tích hợp
chúng để giải quyết bài toán cụ thể. Với mục tiêu cuối cùng là: thiết kế phần

22


mềm xử ý ảnh, xây dựng mạch phần cứng, tích hợp vào robot Nachi MC20-01.
Do đó tác giả lựa chọn việc sử dụng thƣ viện mã nguồn mở OpenCV.
Đây là một thƣ viện xử lý ảnh đƣợc rất nhiều ngƣời sử dụng vào các mục
đích khác nhau, thƣ viện cũng không đòi hỏi bản quyền và các thuật toán
cũng đã ít nhiều đƣợc kiểm tra bởi các ngƣời dùng trƣớc đó.
a. Tổng quan
OpenCV là một thƣ viện độc lập hỗ trợ đa nền tảng: C++, C, Pytho, Java,
Matlab… và hỗ trợ cho các hệ điều hành Windows, Linux , Android…
Thƣ viện OpenCV có 500 thuật toán và 5000 hàm hỗ trợ các thuật toán xử
lý ảnh, đƣợc xây dựng một cách tối ƣu thành các thƣ viện xử lý và module
khác nhau bằng ngôn ngữ C/C++.
Để sử dụng đƣợc các thƣ viện của OpenCV thì ta cần các phần mềm hỗ
trợ, phần mềm thông dụng là Microsoft Visual Studio. OpenCV không yêu
cầu phần cứng (PC) cao về mặt cấu hình, chỉ yêu cầu về không gian bộ nhớ
để lƣu trữ dữ liệu của thƣ viện và có video card.
b. Thƣ viện xử lý ảnh của OpenCV
OpenCV đƣợc chia làm nhiều thƣ viện con hay module với các chức năng và
các hàm xử lý tƣơng ứng. Chức năng của một số module trong thƣ viện OpenCV,
tham khảo trong tài liệu [6]:
Core: Là một module xác định cấu trúc dữ liệu cơ bản, bao gồm các mảng ma
trận đa chiều và các hàm cơ bản đƣợc sử dụng bởi tất cả các module khác.
Chứa các khối xây dựng cơ bản của thƣ viện: ma trận điểm ảnh, quét ảnh, tìm
các bảng và tính toán thời gian, vẽ các hình học cơ bản: đƣờng tròn, đƣờng
thẳng, elip,.. màu sắc, xuất file, các xử lý cơ bản với một ảnh 2D nhƣ lọc, trộn

và biến đổi ảnh ảnh, biểu đồ, PCA, K-meas, XML và YAML I/O…
Improc: Là một module chứa các hàm xử lý ảnh nhƣ: làm mịn, kéo giãn và
làm mờ, biến đổi hình thái học, lấy ngƣỡng…

23


- Các hàm làm mờ: GaussianBlur(), medianBlur(),…
- Các hàm biến đổi ảnh: cvResize, cvRemap, cv2DRotationMatrix,
cvWarpAffine, cvCvtColor, cvDistTransform…
- Các hàm lọc: BaseFilter, BaseColumn/RowFilter, getLinearFilter()…
- Các hàm mô tả hình dạng và phân tích cấu trúc : cvFindContours,
cvFitEllipse2, cvFitline…
- Các hàm vẽ biểu đồ: cvCreateHist, cvCalcBackProject, cvCalcHist...
- Các hàm phát hiện đặc điểm đối tƣợng: cvCanny, cvCornerHarris,
cvGoodFeaturesToTrack, cvHoughLines2, cvHoughcircles, cvCanny…
Highgui: Là module chứa các hàm xử lý giao diện ngƣời dùng và truyền thông
nhƣ: Tạo các cửa sổ hiện thị hình ảnh và ghi nhớ nội dung của chúng, thêm các
thanh cuộn vào cửa sổ, điểu khiển các sự kiện cỏn trỏ cũng nhƣ các lệnh từ bàn
phím, đọc và ghi ảnh vào/ra đĩa hoặc bộ nhớ, đọc video từ camera hoặc thƣ
mục và ghi video vào một thƣ mục, kiểm tra các ảnh tƣơng tự nhau bằng PSNR
và SSIM, tạo video và các thuật toán xử lý video: tạo, lấy kênh màu…
-

Các

hàm xử

lý

giao

diện

ngƣời

dùng:

cvNamedWindow,

cvCreateTrackbar, cvSetMouseCallback, cvWaitKey…
- Các hàm xử lý với cửa sổ hiển thị: cvShowImage(), cvNameWindow(),
createTrackbar(), cvDestroyAllWindows(), cvWaitKey()…
- Đọc và ghi ảnh, video: cvDecodeImage(), imread(), cvLoadImage(),
cvSaveImage(), CvCapture, cvVideoWriter(), cvCaptureFromCAM…
Video: Là module phân tích video bao gồm: Ƣớc tính chuyển động, trừ nền,
và các thuật toán bám đối tƣợng, sử dụng phƣơng pháp alman để lọc và bám
đối tƣợng…
Objdetect: Là module chứa các hàm và thuật toán phát hiện đối tƣợng trong
ảnh hoặc video.
Hàm CvObjectDetection()...

24


Contrib: Là module chứa các thuật toán xử lý ảnh và video với mô hình bộ
lọc võng mạc cho sự tăng cƣờng các chi tiết, loại bỏ nhiễu, điều chỉnh độ sáng
và sự phát hiện các sự kiện, có các hàm nhƣ: StereoVar(), operator(),
inputSize(), outputSize()…
Photo: Là module tính toán ảnh, khôi phục vùng đƣợc chọn trên ảnh sử dụng

vùng lân cận, chứa các thuật toán và hàm xử lý trên ảnh. Sử dụng hàm:
cvInpaint()…
Stiching:Nối các ảnh, biến đổi ảnh, phát hiện các đặc điểm và kết nối các ảnh
chứa các đặc điểm đó, kéo và xoay ảnh, tự động hiệu chỉnh, bù, trộn ảnh…
Sử dụng các hàm: ImageFeatures, FeaturesFinder, RotationWarper...
Nonfree: Chứa các thuật toán phát hiện và mô tả đặc điểm đối tƣợng. Sử
dụng các hàm: Sift(), operator(), Surft()…
1.1.3 Robot công nghiệp Nachi MC20-01
a. Giới thiệu chung về robot Nachi MC20-01
Nachi MC20-01 thuộc loại robot có cấu trúc động học hở, gồm 6 bậc tự
do, điều khiển bằng các động cơ AC Servo.
Sau đây là bảng thông số kỹ thuật của robot Nachi MC 20-01:
Tên robot

Nachi MC20-01

Loại robot

Robot cấu trúc động học hở

Số bậc tự do

6

Loại động cơ

AC servo
J1 -180~+1800

Giới hạn phạm vi hoạt động

J2 +60~-1450
J3 +242~-1630
J4 -180~1800

25