Thiết kế máy kiểm tra ngoại quan sản phẩm

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ – BỘ MƠN CƠ ĐIỆN TỬ

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC

MÁY KIỂM TRA NGOẠI QUAN SẢN PHẨM

SVTH: T*** M*** Chiến
MSSV: 21300382
GVHD: **************

TP.HCM, 2017


LỜI CẢM ƠN

i


TĨM TẮT LUẬN VĂN
Luận văn trình bày thiết kế hệ thống kiểm tra ngoại quan sản phẩm dùng camera
sử dụng cho linh kiện điện tử. Quá trình kiểm tra sẽ phát hiện các lỗi cơ bản thường
gặp của linh kiện chíp điện tử trên khay chuyên dụng như: mất nhãn, mờ nhãn, sai
nhãn, mất chân, sai hướng…
Để nhận dạng và kiểm tra ngoại quan sản phẩm ta ứng dụng phương pháp xử lý
ảnh và quá trình thực hiện. Phần mềm xử lý ảnh dùng trong đề tài là Visual Studio trên
ngôn ngữ C# với các thư viện EmguCV và OpenCV. Các thuật tốn được áp dụng như
sobel (tìm biên ảnh), OCR, so sánh …
Nội dung chính gồm các chương:
Chương 1: Tìm hiểu tổng quan.

Chương 2: Lựa chọn phương án.
Chương 3: Tính tốn, thiết kế cơ khí.
Chương 4: Thiết kế mạch điện, điều khiển.
Chương 5: Giải thuật điều khiển và xử lý hình ảnh.
Chương 6: Thực nghiệm.
Chương 7: Tổng kết và hướng phát triển.

ii


MỤC LỤC
LỜI CẢM ƠN.................................................................................................................... i
TÓM TẮT LUẬN VĂN...................................................................................................ii
MỤC LỤC....................................................................................................................... iii
DANH SÁCH HÌNH ẢNH............................................................................................ vii
DANH SÁCH BẢNG BIỂU............................................................................................ x
CHƯƠNG 1: TỔNG QUAN............................................................................................ 1
1.1. Giới thiệu chung.................................................................................................... 1
1.2. Kiểm tra ngoại quan sản phẩm linh kiện điện tử.................................................. 4
1.2.1. Khái niệm kiểm tra ngoại quan...................................................................... 4
1.2.2. Các lỗi điển hình khi kiểm tra ngoại quan linh kiện điện tử..........................5
1.2.3. Cấu tạo của máy kiểm tra ngoại quan tự động...............................................7
1.3. Một số máy kiểm tra ngoại quan tự động trên thị trường................................... 12
1.3.1. Bộ kiểm tra đa dụng MVI-250 - ASV Software.......................................... 12
1.3.2. Hệ thống kiểm tra ngoại quan tự động - VISIONx INC..............................14
1.3.3. Sprint CNC 300 – RAM Optical Instrumentation....................................... 15
1.3.4. BUSCH 3-Axis Systems - BUSCH Microsystems Consult........................ 16
1.3.5. Nguyên lý hoạt động chung của máy kiểm tra ngoại quan..........................17
1.4. Mục tiêu, nhiệm vụ và phạm vi đề tài................................................................. 18
1.4.1. Mục tiêu........................................................................................................ 18

1.4.2. Nhiệm vụ.......................................................................................................18
1.4.3. Phạm vi đề tài............................................................................................... 19
CHƯƠNG 2: LỰA CHỌN PHƯƠNG ÁN THIẾT KẾ................................................. 21
2.1. Lựa chọn dạng kết cấu máy.................................................................................21
2.2. Lựa chọn phương án truyền động - dẫn động..................................................... 21
iii


2.3. Lựa chọn động cơ truyền động cho 2 trục...........................................................22
2.4. Chọn cơng tắc hành trình.....................................................................................23
2.5. Chọn phương án điều khiển.................................................................................23
2.6. Chọn bơ xử lý hình ảnh....................................................................................... 24
2.7. Chọn camera........................................................................................................ 26
2.8. Sơ đồ lựa chọn phương án................................................................................... 27
CHƯƠNG 3: TÍNH TỐN THIẾT KẾ CƠ KHÍ.......................................................... 28
3.1 Yêu cầu thiết kế và ngun lý truyền động..........................................................28
3.1 Tính tốn và chọn trục trượt, ổ bi trượt................................................................ 29
3.1.1 Tính chọn trục trượt, ổ trượt trục X (Cụm camera)...................................... 29
3.1.2 Tính chọn trục trượt, ổ trượt trục Y (Bàn máy)............................................ 30
3.2 Tính chọn bộ truyền ví me – đai ốc......................................................................31
3.2.1 Tính chọn bộ truyền ví me – đai ốc trục X (Cụm camera)........................... 31
3.2.2 Tính chọn bộ truyền ví me – đai ốc trục Y (Bàn máy)................................. 33
3.3 Tính tốn và chọn ổ lăn cho trục vitme................................................................ 34
3.4 Tính tốn và chọn động cơ truyền động cho 2 trục..............................................35
3.5. Mơ hình sau khi thiết kế...................................................................................... 36
CHƯƠNG 4: THIẾT KẾ MẠCH ĐIỆN VÀ BỘ ĐIỀU KHIỂN.................................. 38
4.1 Thiết kế sơ bộ hệ thống điều khiển...................................................................... 38
4.2 Lựa chọn vi điều khiển......................................................................................... 40
4.2.1 Giới thiệu vi điều khiển PIC16F877A.......................................................... 41
4.2.2 Giao tiếp giữa vi điều khiển với máy tính.....................................................41

4.3 Các thành phần khác của hệ thống điện............................................................... 42
4.3.1 Mạch điều khiển (driver) cho động cơ bước.................................................42
4.3.2 Công tắc giới hạn hành trình (Endstop)........................................................ 44
iv


4.4 Sơ đồ mạch điện....................................................................................................45
4.5. Lập trình bộ điều khiển trên vi điều khiển PIC16F877A................................... 47
4.5.1. Bộ điều khiển trên vi điều khiển (MCU)..................................................... 47
4.5.2. Giao thức truyền nhận dữ liệu bằng RS-232................................................49
CHƯƠNG 5: THIẾT KẾ GIẢI THUẬT XỬ LÝ HÌNH ẢNH VÀ CHƯƠNG TRÌNH
ĐIỀU KHIỂN..................................................................................................................50
5.1. Phương pháp xử lý ảnh........................................................................................ 50
5.1.1 Các bước xử lý ảnh........................................................................................ 50
5.1.2. Phương pháp thực hiện................................................................................. 51
5.2. Thuật toán PCA nhận dạng khuyết tật sản phẩm................................................ 52
5.2.1. Tập ảnh huấn luyện.......................................................................................52
5.2.2. Tiền xử lý......................................................................................................54
5.2.3. Trích đặc trưng ảnh huấn luyện....................................................................57
5.2.4. Nhận dạng..................................................................................................... 59
5.3 Chương trình điều khiển và lưu đồ gải thuật........................................................60
5.3.1. Giải thuật hoạt động của hệ thống................................................................60
5.3.2. Giải thuật hoạt động chế độ Manual............................................................ 61
5.3.3. Giải thuật hoạt động chế độ Auto.................................................................62
5.3.4. Giao diện chương trình.................................................................................63
Chương 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ............................................... 65
6.1. Giới thiệu mơ hình thực nghiệm..........................................................................65
6.2. Thực nghiệm vận hành và phát hiện lỗi sản phẩm..............................................66
6.2.1. Thực nghiệm nhận dạng lỗi “Sai hướng”.....................................................66
6.2.2. Thực nghiệm nhận dạng lỗi “Sai, khuyết mark”..........................................67

6.2.3. Thực nghiệm nhận dạng lỗi “Thiếu chân”................................................... 68
v


6.2.4. Thực nghiệm kiểm tra tự động trên khay chứ sản phẩm ngẫu nhiên.......... 69
6.3. Đánh giá kết quả và kết luận............................................................................... 70
Chương 7: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI.....................................71
7.1. Kết quả đạt được.................................................................................................. 71
7.2. Hạn chế của luận văn...........................................................................................71
7.3. Hướng phát triển đề tài........................................................................................ 71
TÀI LIỆU THAM KHẢO.............................................................................................. 72

vi


DANH SÁCH HÌNH ẢNH
Hình 1.1 Ứng dụng kiểm tra hình ảnh trên sản phẩm..................................................... 2
Hình 1.2 Ứng dụng đọc barcode...................................................................................... 2
Hình 1.3 Ứng dụng OCR................................................................................................. 3
Hình 1.4 Ứng dụng để định vị..........................................................................................3
Hình 1.5 Ứng dụng đo kích thước................................................................................... 3
Hình 1.6 Công nghệ xử lý ảnh dùng trong kiểm tra ngoại quan sản phẩm.....................4
Hình 1.7 Các khuyết tật bề mặt........................................................................................5
Hình 1.8 Các khuyết tật bề mặt dưới linh kiện QFN/VSP/SON.....................................6
Hình 1.9 Các khuyết tật bề mặt dưới linh kiện BGA/CSP/LGA.................................... 6
Hình 1.10 Các lỗi, khuyết tật trên board mạch................................................................7
Hình 1.11 Một shể kiểm tra thủ công, dịch chuyển bàn máy, chụp lấy mẫu bằng Camera, nhập
thông số sản phẩm. Trong quá trình này khi khi nhấn nút Start Inspection, thiết bị sẽ tự
bật chương trình kiểm tra tự động – chế độ Auto (Hình 5.17) đến khi hồn tất, sau đó
tự trở về chế độ Manual để chờ lệnh tiếp theo.

Hình 5.15 Lưu đồ giải thuật chương trình chính.

60


CHƯƠNG 5: THIẾT KẾ GIẢI THUẬT XỬ LÝ ẢNH, CHƯƠNG TRÌNH ĐIỀU KHIỂN

5.3.2. Giải thuật hoạt động chế độ Manual

Hình 5.16 Lưu đồ giải thuật chế độ Manual.

61


CHƯƠNG 5: THIẾT KẾ GIẢI THUẬT XỬ LÝ ẢNH, CHƯƠNG TRÌNH ĐIỀU KHIỂN

Chế độ Manual là chế độ mặc định cảu hệ thống khi khởi động. Trong chế độ này
ta có thể tự do di chuyển camera đến các vị trí thích hợp để chụp và xử lý các vị trí
mong muốn, chụp ảnh mẫu, hiệu chỉnh camera.
5.3.3. Giải thuật hoạt động chế độ Auto

Hình 5.17 Lưu đồ giải thuật chế độ Auto

62


CHƯƠNG 5: THIẾT KẾ GIẢI THUẬT XỬ LÝ ẢNH, CHƯƠNG TRÌNH ĐIỀU KHIỂN

Ở chế độ Auto, hệ thống hoạt động tự động theo các thơng số vị trí bắt đầu và

khoảng các giữa các sản phẩm được cài đặt sẵn. Trong quá trình kiểm tra chương trình
tự động lưu lại kết quả kiểm tra và hình ảnh sản phẩm vào thư mục dữ liệu trên máy
tính.
5.3.4. Giao diện chương trình
Chương trình được viết trên phần mềm Visual Studio 2013 bằng ngơn ngữ C# có
sử dụng một số thư viện miễn phí như EmguCV, DirectShowLib … và các thư viện có
sẵn của Microsoft. Giao diện chương trình như sau:

Hình 5.18 Giao diện chương trình điều khiển và xử lý ảnh.
Quy trình vận hành chương trình bao gồm:
 Khởi động máy kiểm tra.
 Khởi động chương trình điều khiển.
 Chọn và kết nối Camera, kết nối cỗng Serialport.
 Nhấn nút Start Machine để bắt đầu.
 Đặt khay chứa linh kiện vào vị trí trên bàn máy kiểm tra.
 Nhấn nút Start Inspection để bắt đầu kiểm tra tự động hoặc sử dụng các nút
chức năng di chuyển bàn máy và chọn Manual để kiểm tra từng vị trí.

63


CHƯƠNG 5: THIẾT KẾ GIẢI THUẬT XỬ LÝ ẢNH, CHƯƠNG TRÌNH ĐIỀU KHIỂN

 Kết quả sẽ được lưu vào một tập tin Excel trong một thư mục định sẵn.

64


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

Chương 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ
Tóm tắt chương 6: Sau hồn thành q trình thiết kế cơ khí, điện - điều khiển và
giải thuật xử lý ảnh, ta sẽ tiến hành thực nghiệm để xác định khả năng vận hành, phát
hiện lỗi của hệ thống. Sau đó, đánh giá kết quả thu được và rút ra kết luận chung về
mơ hình máy đã chế tạo. Nội dung chương này gồm có các phần sau: Giới thiệu mơ
hình thiết kế và chế tạo; Thực nghiệm vận hành và phát hiện lỗi sản phẩm; Đánh giá
kết quả và rút ra kết.
6.1. Giới thiệu mơ hình thực nghiệm
Như đã trình bày ở chương 2, khung máy sẽ được lắp ráp từ nhôm định hình để
đảm bảo độ kết cấu cứng vũng và chính xác. Do đây là mơ hình thử nghiệm, nên một
số bộ phận sẽ được sử dụng mica và nhựa in 3D thay vì sử dụng nhơm CNC để ưu tiên
cho việc giảm thiểu chi phí, dễ dàng thay thế và cải tiến trước đi đưa vào sử dụng thực
tế. Hạn chế của việc thay thế này là không đảm bảo tốt độ chính xác cơ khí do đó dẫn
đến việc giảm tốc độ vận hành làm tăng thời gian kiểm tra so với tính tốn.
Dưới đây là một số hình ảnh thực tế về máy kiểm tra đã lắp ráp:

Hình 6.1 Hình ảnh thực tế của hệ thống thực nghiệm.

65


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

6.2. Thực nghiệm vận hành và phát hiện lỗi sản phẩm.
Quá trình thực nghiệm được tiến hành trong mơi trường có độ sáng ổn định, gần
giống với các tập dữ liệu huấn luyện để đảm bảo độ chính xác cho q trình kiểm tra.
6.2.1. Thực nghiệm nhận dạng lỗi “Sai hướng”

a) Không lỗi

b) Sai hướng 900

c) Sai hướng -900

e) Ngược hướng

Hình 6.2 Các trường hợp lỗi “Sai hướng”.
Bảng 6.1 Kết quả nhận dạng lỗi “Sai hướng”:
STT

Lỗi nhận dạng

Kết quả

Thời gian (s)

1

Sai hướng

Đúng

3.2

2

Sai hướng

Đúng

2.6

3

Sai hướng

Đúng

2.7

4

Sai hướng

Đúng

2.9

5

Không lỗi

Sai

3.1

6

Sai mark

Sai

3.2

7

Sai hướng

Đúng

3.1

8

Sai hướng

Đúng

2.7

9

Sai hướng

Đúng

2.8

10

Lỗi chân

Sai

3.1

Tỉ lệ nhận dạng đúng là 7/10.
Thời gian kiểm tra trung bình: 2.9 s/sản phẩm.

66


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

6.2.2. Thực nghiệm nhận dạng lỗi “Sai, khuyết mark”

a) Không lỗi

b) Sai mark

c) Khuyết mark

Hình 6.3 Các trường hợp lỗi “Sai, khuyết mark”.
Bảng 6.2 Kết quả nhận dạng lỗi “Sai, khuyết mark”:
STT

Lỗi nhận dạng

Kết quả

Thời gian (s)

1

Sai, khuyết mark

Đúng

3.5

2

Không lỗi

Sai

3.1

3

Sai, khuyết mark

Đúng

2.9

4

Sai, khuyết mark

Đúng

3.0

5

Sai, khuyết mark

Đúng

3.2

6

Không lỗi

Sai

3.2

7

Sai, khuyết mark

Đúng

3.2

8

Không lỗi

Sai

3.1

9

Không lỗi

Sai

2.9

10

Sai, khuyết mark

Đúng

2.9

Tỉ lệ nhận dạng đúng là 6/10.
Thời gian kiểm tra trung bình: 3.1 s/sản phẩm.

67


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

6.2.3. Thực nghiệm nhận dạng lỗi “Thiếu chân”

a) Khơng lỗi

b) Thiếu chân
Hình 6.4 Các trường hợp lỗi “Thiếu chân”.

Bảng 6.3 Kết quả nhận dạng lỗi “Thiếu chân”:
STT

Lỗi nhận dạng

Kết quả

Thời gian (s)

1

Không lỗi

Sai

3.5

2

Thiếu chân

Đúng

3.2

3

Không lỗi

Sai

3.1

4

Không lỗi

Sai

3.2

5

Thiếu chân

Đúng

3.1

6

Không lỗi

Sai

3.2

7

Không lỗi

Sai

3.3

8

Thiếu chân

Đúng

3.1

9

Thiếu chân

Đúng

3.2

10

Thiếu chân

Đúng

3.1

Tỉ lệ nhận dạng đúng là 5/10.
Thời gian kiểm tra trung bình: 3.2 s/sản phẩm.

68


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

6.2.4. Thực nghiệm kiểm tra tự động trên khay chứ sản phẩm ngẫu nhiên.
Thực nghiệm kiểm tra tự động trên khay 10 sản phẩm đc đảo thứ tự ngẫu nhiên.
Trong đó có 5 sản phẩm OK, 1 sản phẩm lỗi “Sai hướng”, 2 sản phẩm lỗi “Sai, khuyết
mark”, 2 sản phẩm lỗi “Thiếu chân”.
Bảng 6.4 Kết quả kiểm tra tự động trên khay sản phẩm ngẫu nhiên:
Sai, khuyết

Sản phẩm

Thời gian

không lỗi

(s)

1

5

55

2

1

6

51

1

2

2

5

49

4

1

2

0

6

49

5

1

3

1

5

51

6

1

2

2

5

50

7

1

2

2

5

51

8

1

3

0

6

52

9

1

2

1

6

49

10

1

3

0

5

50

STT

Sai hướng

1

1

3

2

1

3

mrk

Thiếu chân

Thời gian kiểm tra trung bình: 50 s
Nhận xét:
 Với loại lỗi “Sai hướng” kết quả nhận dạng luôn đúng.
 Với loại lỗi “Thiếu chân” tí lệ nhận dạng chính xác cịn thấp, cịn bỏ sót.
 Với loại lỗi “Sai, khuyết mark” tí lệ nhận dạng chính xác chưa tốt, đưa về kết
quả sản phẩm không lỗi.

69


CHƯƠNG 6: THỰC NGHIỆM – ĐÁNH GIÁ KẾT QUẢ

6.3. Đánh giá kết quả và kết luận
Kết luận:
 Tỉ lệ nhận dạng thành cơng trung bình cịn thấp khoảng 65 %, thời gian trung
bình là 3s/sản phẩm (khơng tính thời gian di chuyển bàn máy).
 Khả năng phát hiện được sản phẩm “không lỗi” tương đối cao trong điều kiện
môi trường được cố định, ánh sáng tốt, gần với điều kiện lấy mẫu.
 Độ chính xác của phương pháp nhận dạng cũng phụ thuộc vào bước tiền xử lý
ảnh và sai số giữa ảnh huấn luyện và ảnh kiểm tra và số lượng ảnh huấn luyện.
 Quá trình di chuyển đến các vị trí chụp lấy ảnh cịn chậm, làm tăng thời gian
của quá trình kiểm tra.

70


CHƯƠNG 7: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI

Chương 7: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
7.1. Kết quả đạt được
Luận văn đã thực hiện được các nhiệm vụ:
 Tìm hiểu các yêu cầu của hệ thống kiểm tra ngoại sản phẩm dùng camera.
 Tìm hiểu phương pháp kiểm tra ngoại quan, xử lý ảnh, điều khiển cơ cấu chấp
hành.
 Tính tốn, thiết kế và chế tạo mơ hình cho máy kiểm tra ngoại quan sản phẩm
tự động.
 Xây dựng giải thuật và lập trình điều khiển bàn máy, giao tiếp với máy tính
trên vi điều khiển PIC.
 Xây dựng giải thuật và lập trình xử lý ảnh để nhận dạng 3 lỗi phổ biến: sai
hướng, sai - khuyết mark, thiếu chân.
 Thiết kế giao diện chương trình điều khiển máy kiểm tra và nhận dạng kiểm
tra sản phẩm tự động.
 Tiến hành thực nghiệm, đánh giá kết quả.
7.2. Hạn chế của luận văn
Bên cạnh những kết quả đạt được luận văn còn tồn tại nhiều mặt hạn chế:
 Tỉ lệ nhận dạng sản phẩm lỗi chưa cao.
 Thành phần kết cấu cơ khí chưa đúng tiêu chuẩn nên làm chậm tốc độ vận
hành.
 Chưa đạt được mục tiêu về năng suất kiểm tra 20 khay sản phẩm/giờ.
7.3. Hướng phát triển đề tài
Các hướng phát triển của đề tài:
 Chụp và kiểm tra cùng lúc nhiều sản phẩm để giảm bước dịch chuyển bàn máy.
 Tối ưu giải thuật giảm thời gian xử lý.

 Phát triển giải thuật để kiểm tra thêm các lỗi khác trên sản phẩm.

71


TÀI LIỆU THAM KHẢO
[1]. PGS.TS Nguyễn Hữu Lộc (2013). Cơ sở thiết kế máy. NXB Đại Học Quốc Gia
Tp.HCM.
[2]. PGS.TS Trịnh Chất - TS. Lê Văn Uyển (2006). Tính tốn thiết kế hệ dẫn động cơ
khí. NXB Khoa học và Kĩ thuật Tp.HCM.
[3] Lindasay I. Smith (2002), A tutorial on Principal Components Analysis. John
Wiley & Sons Inc.
[4] Lục Anh Tuấn (2016). Máy kiểm tra ngoại quan sản phẩm. Luận văn đại học, Đại
Học Bách Khoa TP.HCM.
[5] Trương Trường Giang (2017). Thiết kế hệ thống kiểm tra máy đọc mã vạch. Luận
văn đại học, Đại Học Bách Khoa TP.HCM.
[6] Nguyễn Kế Nhựt (2017). Thiết kế máy phay rập tự động cho ngành may. Luận văn
đại học, Đại Học Bách Khoa TP.HCM.
[7] Alper Yildirim (2003). CNC printed circuit board drilling machine. Final Project
Report, Hacettepe University.
[8] Vũ Mạnh Hùng (2013). Nhận dạng mặt người sử dụng đặc trưng PCA. Luận văn
đại học, Học viện Cơng Nghệ Bưu Chính Viễn Thơng.
[9] Từ Minh Hiển - Trần Thị Khánh Hịa, (2012). Nhận dạng khn mặt người bằng
mạng nơron và phương pháp phân tích thành phần chính. Trong kỷ yếu hội nghị
Nghiên cứu Khoa Học Trẻ lần 8 Đại học Đà Nẵng, pp. 6.
[10] Murat Firat (2007). Image Recognition with Neural Networks. Code Project.
[11] C. Johnson (2014). EMGU Multiple Face Recognition using PCA and Parallel
Optimisation. Code Project.
[12] Amit Dhital (2017). Face Recognition using PCA. Github.
[13] Hệ thống kiểm tra ngoại quan tự động MVI250. ASV Software.

[14] Phát hiện lỗi sản phẩm dùng camera. Công ty TNHH KT-CN Minh Long.

72