ứng dụng công nghệ xử lý ảnh để kiểm tra mức dịch chiết và bọt trên bề mặt dịch chiết trong lọ yến sau khi thành phẩm

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.69 MB, 101 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

<b>TRƯỜNG ĐẠI HỌC BÁCH KHOA </b>

NGUYỄN VIẾT HỒNG

<b>ỨNG DỤNG CƠNG NGHỆ XỬ LÝ ẢNH ĐỂ KIỂM TRA MỨC DỊCH CHIẾT VÀ BỌT TRÊN BỀ MẶT DỊCH CHIẾT </b>

<b>TRONG LỌ YẾN SAU KHI THÀNH PHẨM </b>

<b>APPLICATION OF IMAGE PROCESSING TECHNOLOGY FOR INSPECTING EXTRACT LEVEL AND FOAM PRESENCE ON THE SURFACE OF SWIFTLET NEST </b>

<b>EXTRACT IN JARS AFTER PROCESSING </b>

<b>Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 8520114 </b>

LUẬN VĂN THẠC SĨ

<b>TP. HỒ CHÍ MINH, tháng 01 năm 2024 </b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

Cơng trình được hồn thành tại: <b>Trường Đại học Bách Khoa – ĐHQG-HCM</b>

Cán bộ hướng dẫn khoa học : PGS. TS. Ngô Hà Quang Thịnh ...

3. Phản biện 1: TS. Nguyễn Huy Hùng ....

4. Phản biện 2: PGS. TS. Đỗ Xuân Phú ...

5. Ủy viên: TS. Dương Văn Tú ...

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có).

<b>CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA CƠ KHÍ </b>

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

<b>NHIỆM VỤ LUẬN VĂN THẠC SĨ </b>

Họ tên học viên: NGUYỄN VIẾT HOÀNG ... MSHV: 2070303 Ngày, tháng, năm sinh: 20-02-1995 ... Nơi sinh: Khánh Hòa Chuyên ngành: Kỹ thuật Cơ Điện Tử ... Mã số : 8520114

<b>II. NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu phương án kiểm tra mức dịch chiết trong </b>

lọ yến, phương án phát hiện bọt trên bề mặt dịch chiết. Ứng dụng các phương án xử lý ảnh trên vào hình ảnh sản phẩm thực tế để kiểm tra tính khả thi của các phương án

<b>III. NGÀY GIAO NHIỆM VỤ : (Ghi theo trong QĐ giao đề tài) 06/02/2023 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo trong QĐ giao đề tài) </b>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

<b>LỜI CẢM ƠN </b>

Đầu tiên tôi xin gửi lời cảm chân thành tới thầy PGS.TS Ngô Hà Quang Thịnh đã nhiệt tình đốc thúc, hướng dẫn để tơi có thể hồn thành luận văn và củng cố thêm nhiều kỹ năng cho mình.

Tơi cũng xin cảm ơn tất cả các thầy cơ chun ngành cơ điện tử và chương trình PFIEV trường đại học bách khoa đã truyền đạt kiến thức cần thiết cho tôi trong những năm học ở trường.

Tôi xin gửi lời cảm ơn đến ban giám đốc, quản lý công ty cổ phần Sanest Khánh Hòa đã hỗ trợ tôi thực hiện luận văn.

Tôi xin gửi lời cảm ơn tới các bạn cùng khóa bảo vệ được thầy Ngơ Hà Quang Thịnh hướng dẫn đã nhiệt tình giúp đỡ tơi hồn thành luận văn.

Do hạn chế về thời gian tìm hiểu và thực hiện luận văn nên chắc chắn cịn nhiều thiếu sót, tơi rất mong nhận được góp ý từ các thầy để có cái nhìn sâu sắc hơn về đề tài luận văn này.

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

<b>TÓM TẮT LUẬN VĂN </b>

Luận văn ứng dụng phương pháp xử lý ảnh để kiểm tra chất lượng lọ yến bao gồm mức dịch chiết và kiểm tra sự xuất hiện của bọt trên bề mặt dịch chiết. Kết quả thu được trên hình ảnh tĩnh cho thấy việc sử dụng các phương pháp này là khả thi, có thể ứng dụng trên hình ảnh thực tế khi lọ yến chạy trên băng tải.

Kết quả đầu tiên là kiểm tra mức dịch chiết, ảnh lọ yến được chụp lại bằng camera. Sau đó lọ yến được định vị bằng cách sử dụng một đường quét nằm ngang đi qua nắp lọ. Các giá trị pixel thu được từ đường quét này được lấy ra để phân tích. Q trình phân tích dựa theo phương pháp phát hiện cạnh sử dụng đạo hàm bậc nhất, và đã áp dụng các kỹ thuật nội suy ảnh khác nhau để tăng cường độ chính xác trong q trình tìm các cạnh thực. Toán tử giảm nhiễu Gaussian cũng được sử dụng để loại bỏ các nhiễu gây ra cực trị sai lệch trong đạo hàm bậc nhất, thông số sigma của toán tử Gaussian đã được điều chỉnh để tối ưu hóa việc loại bỏ nhiễu mà vẫn giữ được thơng tin cần thiết về cạnh. Sau đó ngưỡng cực trị được áp dụng để xác định vị trí của các cạnh trên đường ngưỡng này, và sử dụng tiếp một ngưỡng khoảng cách kép để giảm bớt các cạnh không thật. Các điểm cực trị được xác định giúp định vị được các điểm trên nắp lọ yến. Sau đó phương pháp tương tự được sử dụng để xác định mức dịch yến, đó là sử dụng các đường quét dọc đi qua các điểm trên nắp lọ yến và cho các đường này đi qua mức dịch, sau đó phân tích tương tự như khi xác định vị trí nắp lọ yến để xác định mức dịch.

Kết quả thứ hai là kiểm tra sự hiện diện của bọt trên mức dịch chiết, sử dụng phân tích thống kê trong một vùng kiểm tra cụ thể được tạo ra xung quang điểm xác định mức dịch chiết. Các thống kê trong vùng này gồm giá trị pixel trung bình, giá trị độ lệch chuẩn pixel trung bình. Sau đó thử nghiệm trên các trường hợp lọ yến có bọt và khơng có bọt cho thấy các giá trị pixel này khác nhau, dựa vào đó chọn ngưỡng pixel phù hợp đối với dịch yến có bọt và dịch yến khơng có bọt.

Kết quả thứ ba là xét trong trường hợp có 2 lọ yến bị dính liền nhau khi chạy trên băng tải kiểm tra. Sử dụng phương pháp tương tự kết quả đầu tiên, nhưng tăng

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

độ dài đường quét ngang dài hơn để đi qua 2 nắp lọ yến. Ngoài ra có chọn ngưỡng kép khơng q lớn giữa các cực trị trên đường nằm ngang này để kẹp chiều dài vành sắt lọ yến nằm trong ngưỡng kép này.

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

This thesis deploys image processing techniques to evaluate the quality of jars of bird's nest, including checking both the level of extraction and the presence of air bubbles on the extraction surface. Static image analysis demonstrated the feasibility of using these methods, and confirmed that they can be effectively applied on real-life images when jars of bird's nest are transported through conveyor belts.

The first step in the testing process is to assess the level of extraction, with photographing the bird's nest jar with a camera. Next, the jars is located through the use of a line scanned across the jars cap. The pixel data collected from this scan line is then analyzed. This analysis is based on edge detection techniques using first derivatives, combined with multiple image interpolation techniques to enhance the accuracy in identifying true edges. Gaussian noise reduction is also applied to remove image noise that distorts the first derivative results, with adjusting the sigma parameter of the Gaussian filter to optimize noise removal while still preserving the necessary information about the edge. Extreme thresholding is then applied to determine the position of edges on the threshold line, along with the use of a distance threshold to minimize the appearance of unreal edges. The extreme points are determined thereby helping to locate the points on the jars lid. The same method is then applied to evaluate the level of extraction, using a vertical scan line passing through defined points on the cap and across the extraction level, with the same analytical process as when determining position of the cap to quantify the level of extraction.

The second outcome focuses on checking for the presence of air bubbles in the extract, through the use of statistical analysis in a test area established around the point where the extract level is determined. The statistical parameters considered include the mean value of the pixels and the standard deviation of the mean pixel value. Subsequent tests on foamed and non-foamed bird's nest jars showed a clear difference in these pixel values, from which an appropriate pixel threshold was selected for distinguishing between foamed and foamed bird's nest liquid. no foam.

The third result refers to the situation when two jars of bird's nest stick together during movement on the inspection conveyor belt. The method applied here is similar to that used for the first result, but with the length of the horizontal scanning line extended so that it can scan over both lids of the bird's nest jar. Besides, a double threshold that is not too high is set between the extreme points on this scan line, aiming to clamp the length of the iron rim of the bird's nest jar within the range of the double threshold.

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

<b>LỜI CAM ĐOAN CỦA TÁC GIẢ LUẬN VĂN </b>

Tơi xin cam đoan luận văn là cơng trình nghiên cứu được thực hiện bởi chính cá nhân mình, tơi đã đọc các thông tin nghiên cứu, dịch tài liệu khác nhau và tổng hợp các kiến thức trên các tài liệu, bài báo, trang web để hoàn thiện nên bài luận văn này.

Những lý thuyết, hình ảnh, cơng thức, tài liệu, bảng biểu phục vụ cho việc phân tích và dẫn dắt đề tài được trình bày trong luận văn đều được soạn thảo từ các tài liệu mà tơi đã tham khảo và được trích rõ ràng ở phần tài liệu tham khảo

Tất cả các kết quả số liệu trong luận văn dưới đây đảm bảo trung thực và chưa từng được công bố ở bất kỳ cơng trình nghiên cứu nào khác trước đây.

Học viên

<b> Nguyễn Viết Hoàng </b>

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

<b>MỤC LỤC </b>

CHƯƠNG 1: TỔNG QUAN ... 1

1.1 Giới thiệu chung và đặt vấn đề ... 1

1.1.1 Sự phát triển của công nghệ kiểm tra chất lượng sản phẩm ... 1

1.1.2 Các công ty và tổ chức nghiên cứu liên quan ... 2

1.2 Phạm vi của đề tài ... 10

1.3 Phương pháp thực hiện ... 11

1.4 Các cơng trình nghiên cứu liên quan ... 11

1.4.1 Các nghiên cứu về phát hiện bề mặt dịch chiết- khơng khí ... 12

1.4.2 Nghiên cứu về phát hiện bọt ... 18

1.5 Nhìn nhận vấn đề và mục tiêu đề tài... 20

1.5.1 Vấn đề cần giải quyết ... 20

1.5.2 Mục tiêu chính của đề tài ... 21

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ MƠ HÌNH HĨA CÁC NGHIÊN CỨU LIÊN QUAN ... 23

2.1 Giới thiệu phát hiện cạnh trong xử lý ảnh ... 23

2.2 Tác động của nhiễu ... 24

Phương pháp loại bỏ nhiễu trong hình ảnh: ... 25

2.3 Các phương pháp phát hiện cạnh thường gặp ... 27

2.2.1 Phương pháp phát hiện cạnh gradient bậc nhất ... 29

2.2.2 Các toán tử của phương pháp phát hiện cạnh gradient bậc nhất ... 31

2.2.3 Công thức phát hiện cạnh Laplacian of Gaussian ... 34

2.2.4 Công thức phát hiện cạnh Canny ... 38

2.2.5 Ứng dụng của phương pháp đạo hàm vào hình ảnh ... 44

2.2.6 Phương pháp phát hiện cạnh deep learning ... 46

2.2.7 Nội suy hồi quy quadratic ... 48

2.4 Tính mới của luận văn ... 50

CHƯƠNG 3: XÂY DỰNG PHƯƠNG ÁN KIỂM TRA MỰC NƯỚC TRONG LỌ YẾN ... 52

3.1 Quy trình thuật tốn xử lý hình ảnh ... 52

3.2 Phương pháp xác định mức dịch của lọ yến ... 52

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

3.3 Phương pháp xác định bọt trên bề mặt dịch chiết trong lọ yến ... 61

CHƯƠNG 4: KẾT QUẢ CỦA PHƯƠNG ÁN XỬ LÝ ẢNH KHI ÁP DỤNG LÊN SẢN PHẨM ... 63

4.1 Kết quả xác định mức dịch chiết ... 63

4.2 Kết quả kiểm tra sự hiện diện của bọt trên mức dịch chiết ... 73

4.3 Kết quả định vị trên hai lọ yến dính liền nhau ... 77

CHƯƠNG 5: KẾT LUẬN VÀ PHÁT TRIỂN ... 80

TÀI LIỆU THAM KHẢO ... 81

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

<b>DANH MỤC HÌNH ẢNH </b>

Hình 1. 1: Sơ đồ sản xuất sản phẩm lọ yến tại nhà máy Sanest Khánh Hịa ... 1

Hình 1. 2: Hệ thống phát hiện sản phẩm lỗi nắp chai, kiểm tra mã QR, kiểm tra lỗi sản phẩm [1] ... 2

Hình 1. 3: Hệ thống theo dõi băng tải có robot nhặt bánh mì [2] ... 3

Hình 1. 4: Hệ thống AI của Advantech phát hiện lỗi cho nhà máy sản xuất lọ giấy [3] ... 4

Hình 1. 5: Máy kiểm tra hình dạng bên ngồi chai lọ, bình, lon, hộp hũ của Cơng ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [4] ... 5

Hình 1. 6: Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [5] ... 6

Hình 1. 7: Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [6] ... 7

Hình 1. 8: Dây chuyền nhà máy sản xuất nước coca-cola [7] ... 8

Hình 1. 9: Hệ thống máy chiết rót của cơng ty nước giải khát Sanest Khánh Hòa [8] ... 10

Hình 1. 10: Hệ thống máy đóng block màng co của cơng ty nước giải khát Sanest Khánh Hịa [8] ... 10

Hình 1. 11: Hình ảnh gốc ban đầu của chai q đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) ... 12

Hình 1. 12: Hình ảnh thang đo màu xám của chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) ... 13

Hình 1. 13: Hình ảnh áp dụng thuật toán phát hiện cạnh lên chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) ... 13

Hình 1. 14: Hình ảnh tạo vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)... 13

Hình 1. 15: Hình ảnh các đường khoảng cách từ mực nước lên cạnh trên của vùng ROI trong chai q đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c) ... 14

Hình 1. 16: Hình ảnh gốc của chai nước ... 15

Hình 1. 17: Hình ảnh sau khi áp dụng phát hiện cạnh và xác định vùng kiểm tra(ROI) ... 16

Hình 1. 18: Hình ảnh với Box 1, Box 2, và đường tham chiếu ... 16

Hình 1. 19: Hình ảnh với các đường khoảng cách ... 17

Hình 1. 20: Hình ảnh với đường chuẩn để kiểm tra mức nước... 17

Hình 1. 21: Xử lý ảnh trong vùng kiểm tra để ước lượng bọt trong ly bia. ... 18

Hình 1. 22: Hình ảnh phóng to của hình 1.21 (c), (d) ... 19

Hình 2. 1: Đồ thị giá trị cường độ sáng (có những điểm nhiễu đáng kể) ... 24

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

Hình 2. 2: Đồ thị đạo hàm bậc nhất trước khi áp dụng toán tử Gaussian (có những

điểm nhiễu đáng kể) ... 25

Hình 2. 3: Kernel của toán tử Gaussian được lặp trên ảnh [18] ... 25

Hình 2. 4: Đồ thị giá trị cường độ sáng trước và sau khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể) ... 26

Hình 2. 5: Đồ thị giá trị đạo hàm bậc nhất trước và sau khi áp dụng toán tử Gaussian (có những điểm nhiễu đáng kể) ... 27

Hình 2. 6: Toán tử Gaussian áp dụng lên đường đi qua phân vùng khác nhau ... 28

Hình 2. 7: Ảnh hưởng của nhiễu trên đồ thị cường độ sáng và các đạo hàm (màu cam: đồ thị khơng có nhiễu, màu xanh: đồ thị có nhiễu) ... 28

Hình 2. 8: Mơ tả phương pháp tìm ra cạnh trong phương pháp sử dụng đạo hàm bậc hai [20] ... 35

Hình 2. 9: Hàm Laplacian ngược (dấu của hàm thay đổi) với <small>2</small>, trong không gian một chiều và hai chiều [20] ... 38

Hình 2. 10: Thuật tốn Non-maximum suppression [24] ... 40

Hình 2. 11: Khu vực pixel thực hiện Thuật tốn Non-maximum suppression [24] ... 41

Hình 2. 12: Khu vực pixel thực hiện thuật toán Non-maximum suppression [24] ... 41

Hình 2. 13: Minh họa chuyển đổi cạnh [24] ... 43

Hình 2. 14: Đối tượng và đồ thị cường độ sáng theo một cường thẳng lấy mẫu [25] ... 44

Hình 2. 15: Đồ thị cường độ sáng (intensity profile), đạo hàm bậc nhất (first derivative), đạo hàm bậc hai (second derivative) trên đoạn lấy mẫu [25] ... 45

Hình 2. 16: Minh họa các đối tượng bất thường trong phương pháp deep learning [27] ... 46

Hình 2. 17: Minh họa kết quả phát hiện tính năng trong phương pháp deep learning về phân đoạn hình ảnh [28] ... 47

Hình 2. 18: Minh họa kết quả các đối tượng được phát hiện trong phương pháp deep learning về phân loại đối tượng [29] ... 47

Hình 2. 19: Minh họa kết quả các đối tượng được phát hiện trong phương pháp deep learning về phân đoạn đối tượng [30] ... 48

Hình 2. 20:Nội suy hồi quy quadratic bậc 2 [32] ... 49

Hình 2. 21: Kết quả của nội suy quadratic bậc 2 được sử dụng để khớp qua 11 điểm dữ liệu của hàm Runge [32] ... 50

Hình 3. 1: Quy trình xử lý hình ảnh cho hệ thống kiểm tra lọ yến ... 52

Hình 3. 2: Lưu đồ thuật toán xác định mức dịch chiết trong lọ yến ... 53

Hình 3. 3: Hình ảnh lọ yến mẫu kèm vùng lấy giá trị pixel ... 54

Hình 3. 4: Minh họa giá trị điểm nội suy của neareast neighbor và bilinear [35] .... 55

Hình 3. 5: Sơ đồ minh họa cho cơng thức nội suy bilinear [36] ... 56

Hình 3. 6: So sánh Nội suy nearest neighbor và nội suy bilinear [37] ... 56

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

Hình 3. 7: Biểu đồ cường độ ảnh của đường thẳng đi qua đối tượng nằm trên nền ảnh

... 57

Hình 3. 8: Biểu đồ cường độ ảnh sau khi làm mịn bằng tốn tử Gaussian ... 57

Hình 3. 9: Biên dạng cạnh và đạo hàm ... 58

Hình 3. 10: Lắp một parabol vào ba điểm liên tiếp ... 58

Hình 3. 11: Giá trị lớn của đạo hàm chỉ ra sự thay đổi cường độ ảnh nhanh, giá trị gần 0 thể hiện sự thay đổi chậm hoặc không đổi. ... 59

Hình 3. 12: Đường y = 5 và y = -5 là ngưỡng được chọn để xác định những vùng có khả năng là cạnh ... 60

Hình 3. 13: Các trung điểm của các cặp cực trị còn giữ lại và vùng kiểm tra (ROI) đi qua điểm đó và mức dịch chiết ... 61

Hình 3. 14: Lưu đồ thuật toán kiểm tra bọt trên bề mặt dịch yến ... 61

Hình 4. 1: Đường thẳng lấy giá trị pixel ... 64

Hình 4. 2: Đồ thị cho từng kênh màu trước khi nội suy ... 65

Hình 4. 3: Đồ thị kết hợp ba kênh màu khi nội suy ... 65

Hình 4. 4: Áp dụng hàm giảm nhiễu Gaussian với các giá trị



khác nhau ... 66

Hình 4. 5: Đồ thị cường độ sau giảm nhiễu bằng toán tử Gaussian (



=5) ... 67

Hình 4. 6: Đạo hàm bậc nhất sau giảm nhiễu bằng toán tử Gaussian (



=5) ... 67

Hình 4. 7: Giao điểm của đạo hàm bậc 1 và y = 2, y = -2 ... 68

Hình 4. 8: Các cực trị tìm được từ ngưỡng kép y = 2 và y=-2 ... 68

Hình 4. 9: Các điểm cực trị còn giữ lại sau khi chọn ngưỡng khoảng cách tối thiểu và khoảng cách tối đa ... 69

Hình 4. 10: Các điểm cực trị còn giữ lại cho kiểm tra mực chất lỏng ... 69

Hình 4. 11: Vùng kiểm tra mức dịch chiết ... 69

Hình 4. 12: Vùng kiểm tra mức dịch chiết thứ 1... 70

Hình 4. 13: Trắc đồ nội suy trung bình của vùng kiểm tra mức dịch thứ 1 ... 70

Hình 4. 14: Áp dụng tốn tử Gaussian (



=5) lên vùng kiểm tra mức dịch thứ 1 ... 70

Hình 4. 15: Đạo hàm bậc 1 của vùng kiểm tra mức dịch thứ 1 ... 71

Hình 4. 16: Mức dịch chiết ở vùng kiểm tra thứ 1 ... 71

Hình 4. 17: Vùng kiểm tra mức dịch chiết thứ 1... 71

Hình 4. 18: Trắc đồ nội suy trung bình của vùng kiểm tra mức dịch thứ 2 ... 72

Hình 4. 19: Áp dụng toán tử Gaussian (



=5) lên vùng kiểm tra mức dịch thứ ... 72

Hình 4. 20: Áp dụng tốn tử Gaussian (



=5) lên vùng kiểm tra mức dịch thứ 1 ... 72

Hình 4. 21: Mức dịch chiết ở vùng kiểm tra thứ 1 ... 72

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

Hình 4. 26: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt ... 76

Hình 4. 27: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt ... 77

Hình 4. 28: Vùng ROI lấy giá trị thống kê pixel trên lọ yến có bọt ... 77

Hình 4. 29: Hình ảnh lấy mẫu của 2 lọ yến ... 78

Hình 4. 30: Đồ thị giá trị cường độ của vùng kiểm tra hai lọ yến ... 78

Hình 4. 31: Đồ thị áp dụng toán tử Gaussian (



=5) cho hai lọ yến ... 78

Hình 4. 32: Đồ thị giao điểm của đạo hàm và đường ngưỡng tìm cực trị ... 79

Hình 4. 33: Đồ thị các điểm cực trị còn giữ lại sau khi lọc qua ngưỡng ... 79

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

<b>DANH MỤC BẢNG </b>

Bảng 2. 1: Các toán tử phát hiện cạnh. ... 34

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

<b>CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu chung và đặt vấn đề </b>

<b>1.1.1 Sự phát triển của công nghệ kiểm tra chất lượng sản phẩm </b>

Trong bối cảnh các ngành công nghiệp đang ngày càng hướng tới sự tự động hóa trong dây chuyền sản xuất sản phẩm để nâng cao hiệu quả vận hành trong kinh doanh, việc áp dụng các công nghệ xử lý ảnh đã trở nên cần thiết hơn. Trong ngành sản xuất sản phẩm yến sào, chất lượng sản phẩm cần được đảm bảo khi lưu hành trong thị trường Việt Nam và quốc tế.

Nhiều hệ thống dây chuyền sản xuất lọ yến (hình 1. 1) hiện nay vẫn đang đối mặt với nhiều trở ngại và khó khăn. Một trong những trở ngại chính là khâu kiểm tra chất lượng vẫn cịn thực hiện thủ cơng, phương án này cịn tiềm ẩn khả năng sai xót trong kiểm tra chất lượng sản phẩm, làm ảnh hưởng đến hiệu quả sản xuất, giảm uy tín của cơng ty trên thị trường.

Hình 1. 1: Sơ đồ sản xuất sản phẩm lọ yến tại nhà máy Sanest Khánh Hòa

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

Để giải quyết trở ngại này, luận văn này tập trung vào ứng dụng xử lý ảnh để kiểm tra chất lượng sản phẩm lọ yến gồm mức dịch chiết và bọt trên bề mặt dịch chiết. Công nghệ này giúp giảm thiểu sự phụ thuộc vào người lao động, tăng năng suất sản xuất, kết quả kiểm tra chất lượng sản phẩm được nâng cao.

<b>1.1.2 Các công ty và tổ chức nghiên cứu liên quan </b>

Dưới đây là thông tin về các công ty và tổ chức có liên quan đến lĩnh vực kiểm tra chất lượng sản phẩm cơng nghiệp bằng xử lý hình ảnh.

<b>Công ty Omron Microscan </b>

Omron Microscan là một trong những nhà cung cấp hệ thống xử lý ảnh đa nhiệm hàng đầu trên thế giới. Hệ thống camera kiểm tra sản phẩm Omron Microscan bao gồm thiết kế phần cứng và các giải pháp phần mềm để phù hợp với nhiều ứng dụng của người dùng như đọc mã vạch 1D, 2D và OCR, đánh giá phân loại chất lượng của mã vạch 1D, 2D và OCV, kiểm tra lỗi sản phẩm như mức chiết rót, thiếu nắp, vênh nắp trên chai, lọ, giám sát vị trí dán nhãn, mất nhãn hay nhãn bị rách, nhận dạng sản phẩm, truy tìm nguồn gốc, phát hiện khiếm khuyết của sản phẩm, hướng dẫn

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

Adaptive Vision Studio là một công ty sản xuất phần mềm thị giác máy. Phần mềm hoạt động theo quy tắc luồng dữ liệu và kết hợp một loạt khối giải pháp để tạo thành sơ đồ phân tích hình ảnh. Các ứng dụng điển hình bao gồm kiểm tra chất lượng hình ảnh công nghiệp và hỗ trợ điều hướng cho robot [2].

Phần mềm đã được triển khai trong ngành công nghiệp sản xuất bánh mì, nơi một nhà máy đã chuyển từ quy trình kiểm tra và phân loại thủ cơng sang hệ thống tự động hóa cao cấp, nhằm tăng cường hiệu quả trong việc sắp xếp và xử lý các sản phẩm bánh mì với đặc điểm hình dạng, kích thước, và màu sắc khác nhau. Quy trình cũ của nhà máy là loại bỏ và ký gửi các gói bánh mì theo cách thủ cơng, một hệ thống dễ mắc lỗi và kém hiệu quả.

Kết quả áp dụng cho thấy sự cải tiến đáng kể trong sản xuất, bao gồm việc giảm 75% chi phí tổng thể so với việc sử dụng các phương pháp truyền thống, tỷ lệ lỗi được giảm đi và thông lượng sản phẩm tăng lên. Hệ thống gắp và đặt hiệu quả mà khơng làm hỏng bánh mì hoặc bao bì của sản phẩm

Hình 1. 3: Hệ thống theo dõi băng tải có robot nhặt bánh mì [2]

<b>Hệ thống phát hiện lỗi sử dụng cơng nghệ trí tuệ nhân tạo trong nhà máy sản xuất lọ giấy </b>

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

Phương pháp kiểm tra lỗi sản phẩm bằng thủ công không chỉ tốn nhiều nguồn nhân lực mà cịn chứa lượng rủi ro cao về việc bỏ xót lỗi sản phẩm, có thể dẫn đến hậu quả nghiêm trọng sau khi sản phẩm được đóng gói và giao đi. Sau khi sản phẩm được đóng gói và vận chuyển, nếu số lượng hàng hóa bị lỗi vượt quá khả năng cho phép của khách hàng, nhà sản xuất có thể bị phạt tài chính hoặc khấu trừ thanh toán. Trong trường hợp xấu nhất, các nhà cung cấp thậm chí có thể bị khách hàng đưa vào danh sách đen, điều này có thể gây nguy hiểm nghiêm trọng cho danh tiếng của công ty.

Trong bối cảnh trên, cơng ty Advantech đã phát triển hệ thống trí tuệ nhân tạo phát hiện lỗi cho một nhà máy sản xuất lọ giấy. So sánh với phương án cũ là cách kiểm tra bằng trực quan của con người mất khoảng 5 giây cho mỗi lọ giấy với tỷ lệ đánh giá sai là 5%, hệ thống trí tuệ nhân tạo mới được giới thiệu có khả năng thực hiện kiểm tra nhanh chóng với tốc độ xử lý video ở 33 khung hình/giây. Đồng thời khi vận hành hệ thống này, tỷ lệ kiểm tra chính xác vượt quá 98% [3].

Hình 1. 4: Hệ thống AI của Advantech phát hiện lỗi cho nhà máy sản xuất lọ giấy [3]

</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">

<b>Máy kiểm tra hình dạng bên ngồi chai lọ, bình, lon, hộp hũ bằng xử lý ảnh sử dụng camera của Công ty trách nhiệm hữu hạn cơng nghệ ABM Việt Nam </b>

Hình 1. 5: Máy kiểm tra hình dạng bên ngồi chai lọ, bình, lon, hộp hũ của Cơng ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [4]

Máy kiểm tra hình dạng bên ngồi chai lọ, bình, lon, hộp hũ sử dụng cơng nghệ xử lý ảnh qua camera có các đặc điểm nổi trội phù hợp với nhiều lĩnh vực sản xuất như thực phẩm, nước giải khát, hóa mỹ phẩm,…Hệ thống này được thiết kế để đáp ứng nhiều loại vật chứa trong suốt và không trong suốt, hệ thống có thể phát hiện nhiều loại vấn đề bao gồm [4]:

 Hình dạng khơng đạt u cầu  Tính tồn vẹn của hộp chứa  Lỗ hổng trên bề mặt

 Định vị mức sản phẩm

<b>Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam </b>

</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">

Hình 1. 6: Máy kiểm tra lon rỗng, chai lọ rỗng bằng xử lý ảnh công nghiệp sử dụng camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [5] Máy kiểm tra này áp dụng công nghệ xử lý ảnh giúp giảm khả năng phát sinh lỗi trong quá trình sản xuất

<b>Các chức năng chính của máy bao gồm: </b>

 Kiểm tra đáy lon và chai lọ để phát hiện dị vật, vật liệu lạ.  Kiểm tra sự biến dạng của mặt bích.

 Kiểm tra sự biến dạng của lon.

 Kiểm soát định hướng lon trong quá trình vận chuyển  Đảm bảo tính tồn vẹn và vệ sinh của bao bì.

 Giảm số lần dừng máy và chiết rót  Tăng hiệu quả sản xuất.

Máy kiểm tra lon và chai lọ rỗng này có thiết kế nhỏ gọn và đa năng, cho phép việc thay đổi kích thước dễ dàng, phù hợp để lắp đặt trong các dây chuyển đóng chai

</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">

khác nhau, giao diện người dùng của máy được thiết kế đơn giản và đầy đủ, giúp người vận hành dễ dàng thao tác và theo dõi quá trình kiểm tra [5].

<b>Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Cơng ty trách nhiệm hữu hạn cơng nghệ ABM Việt Nam </b>

Hình 1. 7: Hệ thống kiểm tra nắp, mức chiết rót, nhãn bằng hình ảnh, camera của Công ty trách nhiệm hữu hạn công nghệ ABM Việt Nam [6]

Hệ thống sử dụng camera công nghiệp cao cấp để kiểm tra nắp, mức chiết rót và nhãn. Hệ thống được thiết kế để ứng dụng trong ngành công nghiệp, thực phẩm, đồ uống, máy móc cơng nghiệp,…

Hệ thống kiểm tự động bao gồm các thành phần chính sau [6]:  Camera cơng nghiệp độ phân giải cao

 Đèn LED công nghiệp

 Máy tính cơng nghiệp hiệu suất cao  Màn hình cảm ứng cơng nghiệp 15”  Đèn báo và còi báo động

 Khả năng điều chỉnh độ cao bằng động cơ

</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">

 Hệ thống kiểm tra bằng hình ảnh Điểm nổi bật của hệ thống bao gồm:

 Kiểm tra các hộp nhựa và thủy tinh trong suốt có màu sắc và nắp khác nhau  Kiểm tra đóng nắp nhựa và kim loại

 Kiểm tra chất lỏng trong suốt, mờ đục và bọt

 Tích hợp linh hoạt vào dây chuyền sản xuất hiện có  Khơng u cầu khoảng cách giữa các hộp

 Không yêu cầu hệ thống làm mát

 Bao gồm đầu capper và quản lý van lọc, cùng với phân tích thống kê  Có khả năng loại bỏ tự động các hộp không đạt chuẩn.

 Hiệu suất hoạt động đạt 80.000 hộp/giờ

Hình 1. 8: Dây chuyền nhà máy sản xuất nước coca-cola [7]

Trong một nhà máy bình thường, tốc độ dây chuyền sẽ lên tới 1.200 chai mỗi phút

</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">

Một trong những đối tác cơng nghệ chính của Coca-Cola trong việc đảm bảo chất lượng sản phẩm là Industrial Dynamics. Công ty này cung cấp các giải pháp kiểm tra sản phẩm như:

 Máy kiểm tra chai rỗng Omnivision II  Hệ thống mã hóa laser Lasetec II  Máy kiểm tra mức chiết rót FT-50.

Máy kiểm tra chai rỗng Omnivision II là hệ thống duy nhất cung cấp chế độ xem 360 độ đầy đủ bên trong chai trước khi đổ đầy. Máy di chuyển chai dọc theo băng tải trong khi hệ thống camera công nghệ cao chụp ảnh bên trong mỗi chai, kiểm tra hư hỏng và các vật lạ như bụi bẩn và mảnh thủy tinh có thể ở bên trong chai. Nếu hệ thống camera phát hiện có hạt trong chai thì ngay lập tức nó sẽ bị loại khỏi dây chuyền. Hệ thống này cũng cung cấp khả năng kiểm tra 360 độ đầy đủ bên ngoài chai. Tiếp theo, các chai được chuyển sang hệ thống mã hóa laser lasetec II, nơi chai được niêm phong bằng tem phê duyệt. Quy trình này giúp xác minh ngày kiểm tra chai và thời gian sản xuất.

Cuối cùng, các chai được chuyển đến máy kiểm tra mức chiết rót FT-50, nơi đảm bảo mỗi chai xem có được đổ đầy hay thiếu và nắp đóng chắc chắn. Bất kỳ chai nào không đạt yêu cầu sẽ bị loại bỏ để đảm bảo chỉ những sản phẩm đạt tiêu chuẩn được lưu hành trên thị trường [7].

<b>Công ty cổ phần nước giải khát Sanest Khánh Hịa </b>

Cơng ty cổ phần nước giải khát Sanest Khánh Hòa đầu tư xây dựng xưởng sản xuất trên diện tích gần 5.000 mét vuông với dây chuyền sản xuất hiện đại, tự động hóa cao. Với cơng suất thiết kế 15.000 sản phẩm/giờ, dây chuyền được đầu tư hoàn chỉnh từ khâu kiểm tra bao bì, nguyên vật liệu đầu vào đến khâu phối chế, chiết rót, đóng nắp, tiệt trùng, dán nhãn, đóng gói sản phẩm và in đát. Máy móc thiết bị hiện đại, tự động với những tính năng cơng nghệ mới nhất có xuất xứ từ các nước Hoa Kỳ, Anh, Italia,… [8]

</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">

<b>Tuy nhiên, một trong những điểm hạn chế hiện tại của công ty là các phương </b>

pháp kiểm tra chất lượng sản phẩm chủ yếu được thực hiện bởi đội ngũ của nhà máy, điều này có thể ảnh hưởng đến hiệu quả của quá trình kiểm tra so với việc áp dụng các giải pháp kiểm tra tự động hóa.

Hình 1. 9: Hệ thống máy chiết rót của cơng ty nước giải khát Sanest Khánh

Hịa [8]

Hình 1. 10: Hệ thống máy đóng block màng co của cơng ty nước giải khát

Sanest Khánh Hịa [8]

<b>1.2 Phạm vi của đề tài </b>

Phạm vi của đề tài sẽ bao gồm:

 Loại sản phẩm: Lọ yến kích thước đường kính 6cm x chiều cao 7cm, màu sắc dịch yến trong lọ có các màu là xám trong, vàng đục.

 Các lỗi sản phẩm: Các lỗi sản phẩm thường gặp trong dây chuyền sản xuất lọ yến bao gồm:

- Lỗi mức dịch yến khơng đạt chuẩn - Lỗi dịch yến có chứa bọt

- Ngun nhân: Ngun liệu thơ, quy trình sản xuất, đóng gói, vận chuyển và bảo quản có tác động lớn đến độ ổn định của bọt, khi các yếu tố này gặp lỗi, sẽ dẫn đến sản phẩm không đạt tiêu chuẩn.

 Phương pháp xử lý ảnh: Phương pháp xử lý ảnh được sử dụng trong đề tài này là phương pháp phát hiện cạnh và phương pháp thống kê giá trị pixel. Phương pháp đầu tiên sẽ sử dụng thuật toán nhận dạng cạnh gradient để phát hiện lọ

</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">

yến và kiểm tra mức dịch yến trong lọ. Phương pháp thứ hai dùng thuật toán thống kê giá trị trung bình, giá trị độ lệch chuẩn của một vùng ảnh để kiểm tra có bọt trên bề mặt dịch yến.

<b>1.3 Phương pháp thực hiện </b>

Chụp hình ảnh lọ yến thực tế và sử dụng thư viện mã nguồn mở về xử lý ảnh trong ngơn ngữ lập trình Python để thử nghiệm các thuật toán. Các bước thực hiện như sau:

<b>Bước 1: Chuẩn bị các hình ảnh lọ yến bị lỗi/không bị lỗi để làm mẫu kiểm tra. Bước 2: Sử dụng một đường quét ngang để định vị nắp lọ yến trong ảnh. Tìm các </b>

cạnh chuyển giao giữa nắp lọ yến trên đường quét và nền để định vị lọ yến.

<b>Bước 3: Phân tích đường quét. Trên đường quét, dùng toán tử Gaussian để làm giảm </b>

nhiễu, và dùng các toán tử khác để tăng độ chính xác khi phát hiện cạnh.

<b>Bước 4: Tính đạo hàm bậc nhất của đường quét, chọn ngưỡng cho đạo hàm để tìm </b>

các cực trị. Chọn ngưỡng kép cho khoảng cách giữa những cặp cực trị tìm được để giữ lại các cực trị có ý nghĩa là các cạnh. Với mỗi cặp cực trị được giữ lại, chọn trung điểm để làm mốc cho đường quét dọc ở bước 5.

<b>Bước 5: Sau khi đã định vị được lọ yến, sử dụng đường quét dọc đi qua trung điểm </b>

ở bước 4, đường quét đi qua mức dịch yến và áp dụng lại các bước 3 và 4 một lần nữa để định vị mức dịch chiết trong lọ yến.

<b>Bước 6: Để phát hiện có bọt trong dịch chiết, sử dụng thuật toán thống kê ảnh gồm </b>

hai thơng số giá trị pixel trung bình và giá trị độ lệch chuẩn trung bình trong vùng kiểm tra (ROI) được xác định dựa theo điểm mức dịch yến được định vị ở bước 5.

<b>1.4 Các cơng trình nghiên cứu liên quan </b>

Các nghiên cứu liên quan dưới đây đã ứng dụng xử lý ảnh để giải quyết vấn đề kiểm tra mức chất lỏng trong sản phẩm chai và kiểm tra chiều cao bọt bia trong ly theo thời gian. Trong nghiên cứu kiểm tra mức chất lỏng, để phát hiện ra mức dịch trong chai, những thuật toán phát hiện cạnh đã được sử dụng. Trong nghiên cứu phát

</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">

hiện bọt, có sử dụng phương pháp phân tích vùng ROI bao quanh bọt và bia, sau đó dùng phân ngưỡng HSV để phát hiện bọt bia.

<b>1.4.1 Các nghiên cứu về phát hiện bề mặt dịch chiết- khơng khí </b>

<b>Nghiên cứu 1: Nghiên cứu [9] đề xuất một hệ thống gồm máy tính xử lý ảnh có trang </b>

bị camera được sử dụng để kiểm tra mức chất lỏng trong một chai.

Trong nghiên cứu, một chai thủy tinh màu hổ phách được đổ đầy nước để chụp ba bức ảnh tương ứng với các trường hợp: chai đổ đầy quá mức chuẩn, đổ đúng mức chuẩn và đổ không đủ mức chuẩn. Những bức ảnh này được chụp bằng camera CMOS có độ phân giải 4128x3096 của một điện thoại thông minh. Các ảnh được căn chỉnh vào phần dưới của nắp chai bằng nhôm và được cắt thành các ảnh kích thước 4x4 inch. Sự khác biệt về mức độ đổ đầy của chất lỏng trong các trường hợp - quá mức, đúng mức và không đủ mức - là đủ rõ ràng khi quan sát hình ảnh, do đó ảnh đủ tiêu chuẩn để hệ thống xử lý ảnh có thể phân biệt được.

Các bức ảnh được xử lý sử dụng thuật toán Pithadiya [10], kết hợp với các kỹ thuật tiền xử lý ảnh bổ sung [11][12], để xác định mức độ đổ đầy của nước trong chai dựa trên khoảng cách từ cạnh ngang ở trên của vùng kiểm tra (ROI) xuống mức chất lỏng. Thuật toán gồm các bước sau:

<b>Bước 1: Chụp ảnh chai đổ đầy nước ở ba mức khác nhau - quá mức chuẩn, đúng mức </b>

chuẩn và khơng đủ mức chuẩn như hình bên dưới.

</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">

Hình 1. 13: Hình ảnh áp dụng thuật toán phát hiện cạnh lên chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

ảnh, vùng này đi qua phần mức chất lỏng trong chai.

Hình 1. 14: Hình ảnh tạo vùng ROI trong chai quá đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">

<b>Bước 4: Xác định giá trị khoảng cách tối đa và tối thiểu cho phép của mức chất lỏng </b>

để làm giá trị ngưỡng kiểm tra cho mực chất lỏng trong chai ở bước 7. Đây là hai ngưỡng kẹp giữa bề mặt chất lỏng khi chất lỏng được đổ đúng mức chuẩn. Từ hai điểm ngưỡng này, tính khoảng cách ở hai điểm ngưỡng đến ranh giới trên cùng của vùng kiểm tra để tạo ra hai khoảng cách tối thiểu và khoảng cách tối đa

<b>Bước 5: Tìm các điểm tọa độ tạo nên cạnh trong vùng kiểm tra, có giá trị pixel là 1, </b>

những điểm này đại diện cho bề mặt chất lỏng trong chai.

<b>Bước 6: Tìm khoảng cách dọc giữa mỗi điểm tìm được và cạnh trên của vùng kiểm </b>

tra. Khoảng cách này được tìm cho mỗi điểm, như được minh họa trong các hình bên dưới

Hình 1. 15: Hình ảnh các đường khoảng cách từ mực nước lên cạnh trên của vùng ROI trong chai q đầy (a), chai có thể tích phù hợp (b), chai chưa đầy (c)

<b>Bước 7: Lấy giá trị trung bình của tất cả các đường khoảng cách. So sánh giá trị trung </b>

bình này với khoảng cách tối đa và tối thiểu cho phép ở bước 4.

 Nếu giá trị trung bình lớn hơn khoảng cách tối đa cho phép, chai được phân loại là không đổ đầy.

 Nếu giá trị trung bình nhỏ hơn khoảng cách tối thiểu cho phép, chai được xem là đổ vượt mức.

<b>Nghiên cứu 2: Trong nghiên cứu [13] đã đề xuất thuật toán kiểm tra mức chất lỏng </b>

trong chai gồm các bước sau:

</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">

cắt xén chỉ xử lý một phần ở phía trên chai để kiểm tra mức nước, như được thể hiện trong hình 1. 16.

Hình 1. 16: Hình ảnh gốc của chai nước

<b>Bước 2: Các kỹ thuật phát hiện cạnh khác nhau như phát hiện cạnh dựa trên mẫu </b>

khác nhau, Canny, Laplacian of Gaussian và kỹ thuật phát hiện cạnh ISEF được áp dụng. Các bước cần thiết cho mỗi thuật tốn phát hiện cạnh ở trên được trình bày chi tiết trong tài liệu [13].

<b>Bước 3: Sau khi áp dụng kỹ thuật phát hiện cạnh, một thuật toán được đề xuất để xác </b>

định mức độ đầy và không đầy của chai dựa trên khoảng cách của mức nước so với trung tâm của vùng kiểm tra (ROI).

<i>Thuật toán được đề xuất: Xác định một vùng kiểm tra (ROI), chọn vùng nơi mức chất </i>

lỏng dự kiến sẽ ở. Việc xác định ROI giúp thu hẹp phạm vi phân tích của q trình đánh giá mức đầy của chai. Sử dụng các bước tiếp theo để đo khoảng cách từ điểm tham chiếu trên cùng của chai (được xác định bởi hộp 1) đến mức chất lỏng thực tế bên trong chai (được xác định bởi hộp 2) (hộp 1 và hộp 2 được thể hiện trên hình 1. 18). Đo các khoảng cách này và tính trung bình

<i>d</i>

<i><small>avg</small></i> để xác định xem mức chất lỏng vượt quá mức chuẩn (đầy) hay thấp hơn mức chuẩn (không đầy).

<b>Bước 4: Xác định vùng kiểm tra, chọn một phần ngang của hình ảnh cần phân tích. </b>

Đây sẽ là vùng sẽ xác định xem chai có được đầy đúng mức hay khơng. Trong hình

</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31">

1. 17, vùng này được đánh dấu bằng một khung màu vàng ngang, bao quanh phần trung tâm của chai.

Hình 1. 17: Hình ảnh sau khi áp dụng phát hiện cạnh và xác định vùng kiểm tra(ROI)

<b>Bước 5: Đường cuối của nắp chai được lấy làm mốc tham chiếu (hình 1. 18) để đo </b>

mức chất lỏng trong chai. Trong hình bên dưới, đường cuối của nắp chai (được chú thích là reference line) được dùng làm mốc tham chiếu cho việc đo khoảng cách với mực nước.

Hình 1. 18: Hình ảnh với Box 1, Box 2, và đường tham chiếu

<b>Bước 6: Tìm mỗi pixel có giá trị 1 trong hộp 1 (hình 1. 18), sau đó tìm kiếm theo một </b>

đường thẳng dọc từ pixel này xuống dưới. Xác định pixel đầu tiên có giá trị 1 mà đường thẳng dọc này gặp phải trong hộp 2 dọc.

<b>Bước 7: Khi pixel tương ứng ở hộp 2 đã được tìm thấy, thuật tốn sẽ tính khoảng </b>

cách dọc từ pixel này đến pixel tương ứng ở hộp 1.

</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">

<b>Bước 8: Quá trình này được lặp lại cho tất cả các pixel có giá trị 1 trong hộp 1 để tạo </b>

ra một tập hợp các khoảng cách dọc. Kết quả được thể hiện như trong hình 1. 19 với các đường kẻ dọc.

Hình 1. 19: Hình ảnh với các đường khoảng cách

<b>Bước 9: Lấy trung bình của tất cả các đường khoảng cách </b>

<i>d</i>

<i><small>avg</small></i> để có được một giá trị đại diện cho mức độ chất lỏng trung bình của chai. So sánh giá trị của

<i>d</i>

<i><small>avg</small></i> với một khoảng cách chuẩn đã được xác định trước (đường màu đỏ trên hình 1. 20):

 Nếu

<i>d</i>

<i><small>avg</small></i> > khoảng cách chuẩn, mực nước trong chai quá mức chuẩn.  Nếu

<i>d</i>

<i><small>avg</small></i> < khoảng cách chuẩn, mực nước trong chai dưới mức chuẩn.

Hình 1. 20: Hình ảnh với đường chuẩn để kiểm tra mức nước

</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">

<b>1.4.2 Nghiên cứu về phát hiện bọt </b>

Nghiên cứu [14] cung cấp mô tả một quy trình phân tích hình ảnh chi tiết để đo lường chiều cao của bọt bia từ một video được ghi lại bằng camera màu RGB. Quy trình gồm các bước sau:

<b>Bước 1: Trong một khung hình cụ thể của video đã ghi, xác định một vùng kiểm tra </b>

(ROI) với chiều rộng (w) và chiều cao (l) trong hình ảnh, vùng kiểm tra này phải bao gồm toàn bộ chiều cao của bọt và một phần của bia như hình 2a. Tất cả các bước xử lý hình ảnh tiếp theo sẽ được thực hiện trên vùng kiểm tra này. Các bước này đều tập trung vào việc phân đoạn vùng bọt ra khỏi phần cịn lại của hình ảnh trong ROI.

Hình 1. 21: Xử lý ảnh trong vùng kiểm tra để ước lượng bọt trong ly bia. (a) Vùng kiểm tra (ROI) có chiều rộng (w) và chiều cao (l) được xác định cho hình ảnh. ROI được đánh dấu bằng màu xanh; (b) Áp dụng ngưỡng vào ROI trong không gian màu HSV, các pixel đạt ngưỡng được đánh dấu bằng màu đỏ; (c) Hình ảnh nhị phân của ROI sau khi áp dụng ngưỡng trong khơng gian màu HSV (hình ảnh phóng to là hình 1.22 (a)); (d) Thực hiện các phép tốn hình thái học gồm xói mịn và giãn nở để loại bỏ các điểm nhiễu không liên quan đến bọt khỏi ảnh (hình ảnh phóng to là hình 1.22 (b)); (e) Đường viền lớn nhất bọc phần bọt bia được đánh dấu bằng màu đỏ. Chiều cao ước lượng của bọt bia được tính bằng số pixel được xác định sử dụng phương trình (1.1).

</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">

(a) (b) Hình 1. 22: Hình ảnh phóng to của hình 1.21 (c), (d)

(a) Hình ảnh nhị phân ban đầu của ROI sau khi áp dụng ngưỡng trong không gian màu HSV với các điểm nhiễu không liên quan đến bọt; (b) Hình ảnh nhị phân cuối cùng của ROI sau khi áp dụng ngưỡng trong không gian màu HSV, các nhiễu không liên quan đến bọt đã được loại bỏ sau khi thực hiện các phép tốn hình thái học.

<b>Bước 2: Thực hiện phân đoạn màu sắc bằng cách lọc (ngưỡng) ROI trong không gian </b>

màu HSV bằng cách định nghĩa giá trị thấp và cao cho màu của bọt (hình 1. 22 (a)).

<b>Bước 3: Tạo ra một hình ảnh nhị phân của ROI đã được ngưỡng trong khơng gian </b>

màu HSV (hình 1. 21 (c) và hình 1. 22 (a)), bằng cách gán tất cả các pixel có giá trị nằm trong giới hạn được đánh dấu là pixel trắng (giá trị được đặt thành 255), trong khi các pixel còn lại được đánh dấu là đen (giá trị được đặt thành 0).

trên hình ảnh nhị phân (hình 1. 21 (d) và hình 1. 22 (b)). Các phép toán này dùng để loại bỏ nhiễu nhỏ hoặc các điểm, đốm khơng liên quan xuất hiện trong hình ảnh nhị phân.

<b>Bước 5: Xác định đường viền lớn nhất từ danh sách tất cả các đường viền trên hình </b>

ảnh nhị phân (hình 1. 21 (e)). Một đường viền là một đường cong nối tất cả các điểm liên tục (các điểm nằm cạnh nhau) hoặc các thành phần liên kết (khu vực trong ảnh mà các điểm có cùng màu sắc, cường độ) dọc theo ranh giới của đối tượng. Bước này cơ bản là phân đoạn hoặc đánh dấu ranh giới của bọt.

<b>Bước 6: Xác định diện tích (A) của vùng được bao quanh bởi đường viền lớn nhất. </b>

</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35">

<b>Bước 7: Tính chiều cao trung bình của bọt bia theo pixel sử dụng phương trình sau: </b>

chiều cao trung bình (h) được tính bằng cách chia diện tích của bọt bia (A) cho chiều rộng của ROI (w).

<b>1.5 Nhìn nhận vấn đề và mục tiêu đề tài 1.5.1 Vấn đề cần giải quyết </b>

Trong quá trình sản xuất lọ yến, vì cơng đoạn sản xuất là những quy trình phức tạp, có thể gây ra nhiễu lỗi sản phẩm bắt nguồn từ:

 Lỗi do nguyên liệu: Nguyên liệu đầu vào không đạt chất lượng, dẫn đến tạo ra nhiều bọt.

 Lỗi do quá trình sản xuất: Q trình sản xuất xảy ra sai sót như máy chiết rót sau một thời gian sử dụng độ chính xác trong chiết rót bị giảm khiết mức dịch chiết khơng đạt chuẩn, chưa đóng nắp lọ, chưa in nhãn, thương hiệu, hạn sử dụng.

</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">

 Lỗi do con người: Người lao động không cẩn thận kiểm tra xót sản phẩm Để kiểm tra lỗi sản phẩm trong dây chuyền sản xuất lọ yến, hiện nay các doanh nghiệp thường sử dụng phương pháp kiểm tra thủ cơng. Phương pháp này có một số hạn chế như:

 Độ chính xác khơng cao: Kiểm tra thủ công phụ thuộc vào kỹ năng và kinh nghiệm của người lao động, dễ dẫn đến sai sót.

 Tốn nguồn lực cơng nhân: Kiểm tra thủ cơng cần có nhiều nhân cơng, thời gian kiểm tra lâu, ảnh hưởng đến năng suất sản xuất.

Luận văn tập trung vào phát triển công nghệ xử lý ảnh để tự động hóa quy trình kiểm tra thành phẩm lọ yến, giải quyết vấn đề rủi ro bỏ xót sản phẩm lỗi do người lao động và tăng năng suất sản xuất. Công nghệ xử lý ảnh này bao gồm:

 Kiểm tra mức dịch chiết trong lọ yến  Kiểm tra có bọt trên bề mặt dịch chiết.

Các nghiên cứu liên quan [12][13][14] đã giải quyết hai vấn đề trên. Trong nghiên cứu kiểm tra mức dịch chiết, có sử dụng thuật tốn phát hiện cạnh để kiểm tra mức dịch chiết trong chai. Trong nghiên cứu phát hiện bọt, có sử dụng phương pháp phân tích vùng ROI để phát hiện bọt bia.

Dựa theo các nghiên cứu liên quan, luận văn đề xuất một thuật toán xử lý ảnh dựa theo phát hiện cạnh kết hợp các thêm các kỹ thuật xử lý ảnh bổ sung dùng để phát hiện mức dịch chiết và thống kê giá trị pixel trong vùng ROI đi qua bề mặt dịch chiết để kiểm tra sự hiện diện bọt trên bề mặt dịch chiết.

<b>1.5.2 Mục tiêu chính của đề tài </b>

Nghiên cứu phương án kiểm tra mức dịch chiết trong lọ yến. Mục tiêu đạt được độ tin cậy 100% trong xác định mức dịch chiết.

</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">

Nghiên cứu phương án phát hiện bọt trên bề mặt dịch chiết. Mục tiêu đạt được là khơng bỏ xót lọ yến có chứa bọt.

Mục tiêu xác định tính khả thi của phương án khi xử lý thực tế trên băng tải. Thực hiện bằng cách kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế và đánh giá kết quả trên ảnh tĩnh.

Lựa chọn các phương pháp xử lý ảnh truyền thống nhưng vẫn đảm bảo tính hiệu quả (phát hiện được mức dịch và bọt, thời gian xử lý ảnh thấp) thay vì phương pháp tốn nhiều thời gian xử lý, phần cứng đắt tiền như trí tuệ nhân tạo.

Kiểm tra trên hình ảnh tĩnh của sản phẩm thực tế để xác định tính khả thi của phương án.

</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38">

<b>CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ MƠ HÌNH HĨA CÁC NGHIÊN CỨU LIÊN QUAN </b>

<b>2.1 Giới thiệu phát hiện cạnh trong xử lý ảnh </b>

Phát hiện cạnh trong xử lý ảnh là phương pháp xác định ranh giới giữa hai vùng có cường độ sáng khác biệt, các ranh giới này được tạo ra bởi các đối tượng nằm trên các vùng có sự thay đổi giữa màu sắc, cường độ sáng, hoặc kết cấu khác nhau trong hình ảnh. Trong nhiều ứng dụng như phân đoạn hình ảnh, đối sánh hình ảnh, nhận dạng khn mặt, phát hiện chướng ngại vật, nhận dạng mục tiêu, và nén hình ảnh, phát hiện cạnh thường là bước khởi đầu trong các thuật toán thực hiện các ứng dụng trên [15].

Khi chọn phương pháp phát hiện cạnh, cần xem xét các yếu tố gồm hướng của cạnh (dọc, ngang, chéo), nhiễu từ mơi trường trong ảnh, cấu trúc của cạnh, sau đó chọn các toán tử phát hiện cạnh phù hợp. Các toán tử phát hiện cạnh phổ biến là Sobel, Prewitt, Canny,... Các tốn tử này sử dụng cơng thức tốn học khác nhau để tối ưu hóa khả năng nhận diện cạnh theo từng hướng cụ thể. Trong các môi trường có nhiễu, các nhiễu có thể tạo ra các thay đổi đột ngột, các thay đổi này tạo thành các cạnh giả, do đó khi phát hiện cạnh sẽ gặp vấn đề là ảnh có nhiễu sẽ làm giảm khả năng phân biệt giữa cạnh thực sự và nhiễu. Do đó cần phải lọc đi nhiễu, khi học nhiễu phải chọn phương pháp phù hợp để không làm mất đi thông tin về các cạnh thực sự [16].

Trong trường hợp cả nhiễu và cạnh đều chứa thông tin thể hiện sự thay đổi nhanh giữa các pixel, cần phải áp dụng các phương pháp tách biệt cạnh từ nhiễu mà không làm mất thông tin quan trọng (nhiễu này có thể tạo ra từ các biến đổi cường độ ảnh ngẫu nhiên, các biến đổi này không phản ánh đặc điểm nào của ảnh chụp). Một vấn đề khác là khi lọc nhiễu thì cần sử dụng tốn tử làm mịn ảnh, q trình này có thể làm cạnh thực sự bị mất đi độ sắc nét, các cạnh trở nên mờ [17].

</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39">

<b>2.2 Tác động của nhiễu </b>

Nhiễu trong ảnh tạo ra sự khác biệt lớn về độ sáng giữa các pixel và các toán tử đạo hàm gradient (chương 2. 2) rất nhạy cảm với nhiễu. Hình 2. 1 là đồ thị giá trị cường độ sáng rút ra từ một đường thẳng có độ dài 200 pixel đi qua ranh giới giữa hai vùng có giá trị cường độ sáng khác biệt, ranh giới (cạnh) của hai vùng này nằm ở vị trí 50 pixel của đường thẳng.

Hình 2. 1: Đồ thị giá trị cường độ sáng (có những điểm nhiễu đáng kể)

Hình 2. 2 là đạo hàm bậc nhất (chương 2. 2) của đồ thị hình 2. 1, có các điểm khác tạo ra các giá trị cực trị lớn, gần bằng cực trị tại điểm cạnh thật (cạnh thật ở vị trí 50

</div><span class="text_page_counter">Trang 40</span><div class="page_container" data-page="40">

pixel) gây ra các điểm cạnh giả. Điều này sẽ được giải thích kỹ hơn trong thuật tốn đề xuất ở chương 3.

Hình 2. 2: Đồ thị đạo hàm bậc nhất trước khi áp dụng tốn tử Gaussian (có những điểm nhiễu đáng kể)

<b>Phương pháp loại bỏ nhiễu trong hình ảnh: </b>

Tốn tử Gaussian được sử dụng để giảm nhiễu trong ảnh và các chi tiết của ảnh. Các bước liên quan đến việc triển khai toán tử Gaussian trên hình ảnh [18]:

thước hạt nhân (tốn tử Gaussian).

Trong hình 2. 3, hình ảnh bên trái biểu thị hình ảnh gốc với hộp màu đỏ làm kernel tính tốn giá trị từ tất cả chín pixel và chèn vào pixel trung tâm.

Hình 2. 3: Kernel của tốn tử Gaussian được lặp trên ảnh [18]

</div>