nghiên cứu mô phỏng kĩ thuật thị giác nổi và ứng dụng dùng phần mềm opencv

Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
……………………………………………………………………
Hưng Yên, ngày….tháng…năm 2013
Giáo viên hướng dẫn.
Đoàn Văn Tuấn.
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 1 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………

…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
……………………………………………………………………
Hưng Yên, ngày….tháng…năm 2013
Giáo viên phản biện.
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 2 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
LỜI MỞ ĐẦU
Xử lý ảnh bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ
thống nhân tạo có thể tiếp nhận thông tin từ các hình ảnh thu được hoặc các tập dữ liệu
đa chiều. Đối với mỗi người chúng ta, quá trình nhận thức bên ngoài là một điều dễ
dàng, quá trình nhận thức đó được học thông qua quá trình sống của mỗi người. Tuy
nhiên với các vật vô tri vô giác như máy tính, robot… thì điều đó quả thật là một bước
tiến gian nan. Các thiết bị ngày nay không chỉ nhận thông tin ở dạng tín hiệu đơn lẻ
mà còn có thể có cái nhìn thật với thế giới bên ngoài. Cái nhìn này qua quá trình phân
tích, kết hợp với các mô hình như máy học,mạng noron… sẽ giúp cho thiết bị tiến dần
tới một hệ thống nhân tạo có khả năng quyết định linh hoạt và đúng đắn hơn rất nhiều.
OpenCV là thư viện mã nguồn mở về xử lí ảnh của Intel nó đáp ứng đầy đủ các yêu
cầu đó của lĩnh vực xử lý ảnh.
Trên thế giới lĩnh vực công nghiệp, nghiên cứu đã ứng dụng xử lý ảnh phát triển vô
cùng mạnh mẽ và có được những bước tiến kinh ngạc. Ở Việt Nam lĩnh vực này còn

đang rất phát triển, tuy nhiên việc sử dụng xử lý ảnh trong công nghiệp còn rất mới mẻ
và non yếu do thiếu thiết bị hỗ trợ,tài liệu nghiên cứu. Vì vậy đây sẽ là một hướng
phát triển mới đầy hứa hẹn và cũng không ít thách thức. Với mong muốn tham gia vào
lĩnh vực còn mới này và góp phần vào sự phát triển xử lý ảnh ở Việt Nam, em thực
hiện đề tài “Nghiên cứu, mô phỏng kĩ thuật thị giác nổi và ứng dụng dùng phần
mềm OpenCV”.
LỜI CẢM ƠN
Khi bắt đầu nhận đề tài: Nghiên cứu,mô phỏng kĩ thuật thị giác nổi và ứng dụng
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 3 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
dùng OpenCV em cảm thấy lo lắng bởi xử lý ảnh là lĩnh vực mới mẻ ở Việt Nam và
bản thân cũng lần đầu tiên tiếp xúc với lĩnh vực này. Em rất vui vì cuối cùng đã hoàn
thành sơ lược được đề tài này.
Trước hết , em xin gửi lời cảm ơn trân thành tới thầy ĐOÀN VĂN TUẤN tuy
không có điều kiện làm việc trực tiếp với thầy nhiều nhưng qua những lần tiếp xúc
ngắn ngủi đó chính thầy đã cho chúng em những lời động viên, những lời khuyên quý
báu đã giúp chúng em rất nhiều.
Qua đây, em xin cảm ơn đến thầy cô giáo trong khoa ĐIỆN- ĐIỆN TỬ đã giúp
đỡ tạo điều kiện cho đồ án của chúng em, em xin trân thành cảm ơn!
MỤC LỤC
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 4 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.1 Cấu tạo hệ thống thị giác máy 12
Hình 2.2 Cấu hình chuẩn của hệ thống 2 camera 17

Hình 2.3 Ví dụ về thị giác 2 mắt của con người 17
Hình 2.4 Sơ đồ khối của hệ thống thị giác nổi 18
Hình 2.5 Các bước thực hiện hệ thống Stereo Vision 19
Hình 2.6 Mẫu bàn cờ 20
Hình 2.7 Ví dụ về hình ảnh bị méo 21
Hình 2.8 Hình ảnh bị méo và sau khi sửa méo 21
Hình 2.9 Âm mưu bóp méo xuyên tâm cho một ống kính đặc biệt 22
Hình 2.10 Các thông số nội tại của máy ảnh 22
Hình 2.11 Cặp âm thanh nổi (trên) và cặp sửa chữa (dưới). Những hình ảnh trên vẽ các
đường epipolar tương ứng với các điểm đánh dấu trong hình ảnh bên
dưới 23
Hình 2.12 Hình ảnh hình học Stereo 24
Hình 2.13 Bản đồ chiều sâu 26
Hình 2.14 Ví dụ về bản đồ chiều sâu 26
Hình 2.15 Bản đồ chiều sâu sử dụng thuật toán SAD 27
Hình 2.16 Bản đồ chiều sâu sử dụng thuật toán SSD 28
Hình 2.17 Bản đồ chiều sâu sử dụng thuật toán NCC 28
Hình 2.18 Quá trình đưa ra bản đồ độ sâu 29
Hình 2.19 Hệ thống robot phẫu thuật DaVinci trong y tế 30
Hình 2.20 Robot di động trong nhà 31
Hình 2.21 Xe không người lái 31
Hình 2.22 Kinect 32
Hình 2.23 Chơi game với Kinect 32
Hình 2.24 Quá trình phát triển của
OpenCV 33
Hình 2.25 Cấu trúc cơ sở của
OpenCV 34
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 5 -

Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.26 cấu trúc visual 2010 40
Hình 2.27 Thiết lập cấu hình 43
Hình 3.1: Sơ đồ tổng thể đo khoảng cách 47
Hình 3.2: Ví dụ phương pháp trừ nền 48
Hình 3.3: Sơ đồ hệ thống phát hiện đối tượng chuyển động 52
Hình 3.4: Ví dụ phương pháp trừ nền 53
Hình 3.6: Các phép liên thông 54
Hình 3.7: Ví dụ sự khác biệt các phép liên thông 54
Hình 3.8: Phép bóc tách các blob 55
Hình 3.9: Hình ảnh minh họa công thức 56
Hình 3.10 Tìm tiêu cự camera và hiệu chỉnh camera 57
Hình 3.11 Ví dụ về khử nhiễu 58
Hình 3.12: Kết quả thu được 59
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 6 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
CHƯƠNG 1: MỞ ĐẦU
1.1 Lý do chọn đề tài
Ứng dụng của xử lý ảnh đã được sử dụng để phân loại, nhận dạng hình ảnh,…trong
quá trình sản xuất và cuộc sống của chúng ta. Các tiến bộ trong khả năng tính toán,
phổ biến của các thiết bị lưu trữ dung lượng lớn, và sự ra đời của rất nhiều các phương
pháp và thuật toán được cải tiến để nâng cao hiệu quả và tốc độ tính toán đã mở đường
cho các ứng dụng này phát triển mạnh hơn.
Xuất phát từ đó, em quyết định chọn đề tài “Nghiên cứu,mô phỏng kĩ thuật thị giác nổi
và ứng dụng dùng OpenCV”. Mong muốn của em là được nghiên cứu, tìm hiểu những
kỹ thuật tiên tiến trong lĩnh vực thị giác nổi - ứng dụng trong hệ thống kiểm tra và đề

suất một số cải tiến mới nhằm góp phần làm cho lĩnh vực này trở nên phong phú và
phát triển hiệu quả với những ứng dụng thực tiễn hơn nữa.
1.2 Mục tiêu nghiên cứu
+ Nghiên cứu thị giác nổi và ứng dụng
+ Nghiên cứu phần mềm OpenCV
+ Mô phỏng đo khoảng cách từ camera đến vật
+ Đánh giá hiệu quả
1.3 Phương pháp nghiên cứu
+ Tìm hiểu kiến thức về xử lý ảnh thông qua các giáo trình Xử lý ảnh, các bài viết về
xử lý ảnh trên các diễn đàn – song song với việc tham khảo các tài liệu do giáo viên
hướng dẫn cung cấp.
+ Tham khảo các mã nguồn mở về xử lý ảnh, phát hiện chuyển động sourceforge.net,
github.com… Nhằm mục đích tìm hiểu quá trình cài đặt các thuật toán xử lý ảnh cơ
bản và nâng cao trên ngôn ngữ lập trình C/C++ và C#.
+ Nghiên cứu dựa trên các bài báo, tạp chí khoa học.
+ Từng bước nghiên cứu, đánh giá và đề xuất các kỹ thuật cải thiện cho nội dung
nghiên cứu.
Thực nghiệm dựa trên xây dựng ứng dụng và đánh giá các kết quả nghiên cứu.
1.4 Dự kiến kết quả nghiên cứu
+ Hoàn thiện quá trình nghiên cứu thị giác nổi, phần mềm OpenCV, đánh giá về các
kỹ thuật đo khoảng cách
+ Đề xuất một kỹ thuật cải tiến.
+ Đánh giá hiệu quả của đề xuất.
1.5 Điều kiện thực nghiệm
+ Phải có ít nhất 1 Laptop hoặc PC
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 7 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử

+ Các môi trường như: Nhà ở, phòng học, phòng thực hành,
+ Ánh sáng vừa đủ
+ Không có khói bụi nhiều
+ Yếu tố màu sắc
- Ảnh nền không có nhiều vật chuyển động mạnh như quạt trần
- Màu nền không có quá nhiều màu sắc và vùng màu
+ Thiết bị ghi hình hoặc file video
- Thiết bị ghi hình có độ phân giải 1,3Mp
- File video : Kích thước lớn hơn 320 x 320 pixel
+ Cấu hình máy tính
- CPU tối thiểu : Pentium 1.0 GHz
- RAM tối thiều : 512 Mb
( đó là điều kiện cài đặt .Net Framework 4.0 )
+ Khoảng cách thực nghiệm
Thiết bị ghi hình cách vật không quá 1m ( tùy thuộc vào thiết bị ghi hình)
( Khoảng cách đề nghị trên thông dụng cho các camera )
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 8 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1 Tìm hiểu về thị giác máy tính
Thị giác máy là một lĩnh vực đa dạng và đang rất phát triển. Khái niệm thị giác
máy (Computer vision) có liên quan tới rất nhiều ngành học và hướng nghiên cứu khác
nhau. Từ những năm 1970 khi mà năng lực tính toán của máy tính ngày càng trở nên
mạnh mẽ hơn, các máy tính lúc này có thể xử lý được những tập dữ liệu lớn như các
hình ảnh các đoạn phim thì khái niệm và kỹ thuật về thị giác máy ngày càng được
nhắc đến và nghiên cứu nhiều hơn cho tới ngày nay. Hiện nay lĩnh vực này được các
chuyên gia đánh giá là còn rất nhiều mới mẻ và có rất nhiều thay đổi trong thời gian

tới.
Lĩnh vực nghiên cứu của thị giác máy rất rộng, và đặc điểm chung là các bài
toán
về thị giác máy tính đều không có một đề bài chung và cách giải duy nhất.
Mỗi
giải
pháp giải quyết vấn đều được một kết quả nhất định cho những trường
hợp cụ thể.
Ta
có thể thấy sự tương quan giữa thị giác máy với các lĩnh
khác.
Kỹ thuật thị giác máy là một kỹ thuật mới xuất hiện đã và đang phát triển mạnh
mẽ trên thế giới hiện nay. Khái niệm về thị giác máy có liên quan tới nhiều ngành học
và có xu hướng nghiên cứu khác nhau. Kể từ những năm 70 của thế kỉ 20, khi mà khả
năng tính toán của máy tính trở lên mạnh mẽ, nó có thể giải quyết được những công
việc cần tới công nghệ cao như xử lý các tập ảnh hay các đoạn video thì thị giác máy
tính được nhắc đến, nghiên cứu và phát triển cho đến nay. Những năm gần đây thị
giác máy tính được nghiên cứu và ứng dụng khắp trong nhiều lĩnh vực như công
nghiệp, nông nghiệp, y học quân sự. Kỹ thuật thị giác máy tính được nghiên cứu ứng
dụng trong sản xuất nông nghiệp từ thập kỷ 80 của thế kỷ 20, chủ yếu dùng trong dám
định chủng loại thực vật, kiểm tra chất lượng sản phẩm và phân loại nông sản theo
sự phát triển của các thiết bị phần cứng, các kỹ thuật phần mềm máy tính, kỹ thuật xử
lý ảnh cũng phát triển rất nhanh,nghiên cứu ứng dụng kỹ thuật thị giác máy tính trong
sản xuất nông nghiệp có nhiều phát triển. Hiện nay lĩnh vực nghiên cứu này đang là
một vấn đề nóng hổi của sản xuất nông nghiệp, ở một nước phát triển như Nhật Bản,
Mỹ trong sản xuất nông nghiệp đã từng bước ứng dụng hệ thống thị giác máy tính,
như quản lý chủng loại và chất lượng tài nguyên nông nghiệp, thu nhận thông tin
trạng thái sinh trưởng của cây trồng, tự động hóa thu hoạch nông sản phẩm, nghiên
cứu bảo vệ thực vật, kiểm định chất lượng nông sản phẩm.
Thị giác máy tính đôi khi còn được gọi là thị giác bằng máy,là sử dụng camera

thu nhận hình ảnh từ thực tế, sau đó sử dụng máy tính tự động phân tích ảnh. Qua đó
nhận biết các đối tượng miêu tả cảnh vật hoặc tiến hành điều khiển hoạt động hệ
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 9 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
thống theo một số dữ kiện yêu cầu nào đó. Đây là lĩnh vực khoa học và kỹ thuật
nghiên cứu dùng máy tính mô phỏng bề ngoài cảnh vật hoặc công năng thị giác vĩ mô.
Thị giác máy tính là sự đan xen và kết hợp của nhiều ngành học, liên quan tới nhiều
lĩnh vực như toán học, quang học, trí tuệ nhân tạo, thần kinh sinh vật học, tâm
lý vật lý học, khoa học máy tính, xử lý ảnh, hiểu hình ảnh, phân biệt màu Thị giác
máy tính đã có quá trình phát triển nghiên cứu và ứng dụng 40 năm theo sự phát triển
của máy tính, kỹ thuật xử lý ảnh, kỹ thuật nhận dạng, lý thuyết điều khiển, trí tuệ nhân
tạo Thị giác máy tính được ứng dụng trong người máy kiểm tra đo lường công
nghiệp, phân biệt vật thể, phân tích hình ảnh vệ tinh, trợ giúp chuẩn đoán y học, đo vẽ
bản đồ hàng không và kỹ thuật quân sự Phương pháp nghiên cứu cũng từ 2D
chuyển sang 3D, từ tuần tự đến song song, từ trực tiếp dựa vào tín hiệu thu nhận qua
xử lý tầng thấp tới tầng cao dựa vào đặc trưng, kết cấu, quan hệ và tri thức.
Hình 2.1 Cấu tạo hệ thống thị giác máy.
Cấu tạo hệ thống thị giác máy tính thông thường được biểu diễn trên hinh dưới.
Máy tính quay phim CCD có thể ghi lại các đối tượng cần nhận biết và phân tích dưới
dạng hình ảnh. Về bản chất máy quay phim CCD là một cảm biến quang điện thu
nhận các tín hiệu quang học phần ảnh đối với đối tượng, bối cảnh rồi chuyển thành tín
hiệu điện để ghi lại bộ phận thu nhận hình ảnh có thể hoạt động được độc lập hoặc
được gắn trực tiếp trong máy tính ở dạng card thu nhận hình ảnh có thể chuyển tín
hiệu điện của máy quay phim thu nhận được thành tín hiệu số, số hóa hình ảnh để
máy tính tiến hành xử lý các loại yêu cầu. Hệ thống chiếu sáng cho phép nâng cao độ
chiếu sáng phù hợp với hình ảnh thu nhận được, làm lợi cho xử lý và phân tích hình
ảnh.

2.1.1 Ứng dụng của thị giác máy.
a . Khái niệm
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 10 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Cảm biến thị giác là một thành phần quan trọng đối với quá trình sản xuất công
nghiệp, giúp tối ưu hóa năng suất và cải thiện chất lượng sản phẩm thông qua việc
phát hiện các bộ phận bị lỗi trước khi chúng rời dây chuyền sản xuất.
Cảm biến thị giác theo dõi, phân tích và diễn giải thông tin trong kiểm tra thị
giác phức hợp, bao gồm việc xác minh, đo lường, định hướng, phát hiện lỗi, và phân
loại các bộ phận. Cảm biến thị giác đặc biệt quan trọng trong quá trình sản xuất thực
phẩm, cung cấp chức năng theo dõi, giám sát một sản phẩm từ giai đoạn phát triển sản
phẩm ban đầu cho đến khâu đóng gói cuối cùng.
Cảm ứng thị giác cho phép các nhà sản xuất điều khiển qua nhiều quy trình từ
các máy công cụ và robot cho đến chất lượng và kiểm tra sản phẩm. Bắt đầu với một
camera xác định lượng tính năng và hiệu suất của sản phẩm, và một hệ thống điều
khiển được dùng để liên kết giữa bộ cảm biến và bộ điều khiển máy, cảm biến thị giác
cho phép người sử dụng thiết lập thông số cụ thể của sản phẩm để kiểm tra. Công đoạn
kiẻm tra gồm 3 bước: Camera thu lại hình ảnh của bộ phận đó; Bộ vi xử lý phân tích
hình ảnh; Và cuối cùng, quyết định sản phẩm có đạt yêu cầu kiểm tra hay không rồi
thông báo kết quả đến cho dây chuyền sản xuất.
Cảm biến thị giác là công cụ phát hiện siêu việt trong sản xuất do khả năng xử
lý được dây chuyền lắp ráp tốc độ cao, cho phép cảm biến kiểm tra sản phẩm với độ
chính xác 100%, so sánh với kiểm tra bằng mắt thường chỉ đạt được độ chính xác cao
nhất là 80%. Thêm vào đó, cảm biến thị giác có thể kiểm tra vật thể (giống hoặc khác
nhau) liên tục, lặp đi lặp lại, nhiều vật thể cùng một lúc và giữ tính ổn định cao, cung
cấp kết quả đáng in cậy. Với ứng dụng thân thiện với người sử dụng, dễ cài đặt, chức
năng được nâng cao, cộng thêm liên kết ổn định với thiết bị hoạt động, cảm biến thị

giác ngày nay cung cấp giải pháp gần như toàn năng, hiệu quả về kinh tế, mạnh mẽ và
khả năng kiểm soát bằng thị giác cho các nhà sản xuất.
Cảm biến thị giác là công cụ sử dụng và giải mã ánh sáng (hoặc khi không có
ánh sáng), kiểm soát các máy móc và quy trình để phát hiện sản phẩm lỗi. Không
giống như hoạt động đơn giản của các cảm biến quang điện truyền thống phát hiện khi
có mặt sản phẩm, cảm biến thị giác còn có thể phân tích màu sắc, hình dạng, kích
thước, hoặc vị trí của chi tiết trên một đối tượng. Cảm biến thị giác không dựa vào đối
tượng để kích hoạt kiểm tra, thay vào đó, nó sử dụng ánh sáng chuyên dụng để chiếu
sáng và nắm bắt được toàn bộ thông tin hình ảnh để cho phản hồi đầy đủ. Một cảm
biến thị giác duy nhất có thể kiểm tra nhiều điểm trên một đối tượng, giảm yêu cầu
dùng đến thiết bị trong khi mở rộng phạm vi kiểm tra. Các cảm biến thị giác "nhìn
thấy" một khu vực, và hàng ngàn điểm riêng biệt (hay pixels) trong một khu vực cụ
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 11 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
thể. Hơn nữa, người dùng có thể thay đổi ống kính của cảm biến, làm cho phần xem
nhỏ hơn hoặc lớn hơn, để có được chi tiết chính xác, ngay cả ở mức độ vi mô nếu cần.
Khi thu thập hình ảnh, cảm biến thị giác cung cấp kết quả đầu ra nhị phân với tính
năng liên kết nâng cao, cho phép người sử dụng gửi số lượng lớn các dữ liệu về các bộ
phận hay tính năng của vật thể liên tiếp hoặc thông qua giao thức máy tính như
Ethernet. Điều này cho phép dữ liệu được truyền đạt đến toàn bộ doanh nghiệp sản
xuất.
Ví dụ, trong quá trình sản xuất thực phẩm, một bộ cảm biến thị giác có thể xác
minh các nhãn chính xác trên bao bì của sản phẩm thực phẩm bằng cách đọc mã ma
trận dữ liệu 2D hoặc phù hợp với khuôn mẫu trên nhãn. Điều này không chỉ ngăn chặn
các bao bì lỗi mà còn hiệu quả cho việc theo dõi và tìm ra các sản phẩm trong suốt quá
trình sản xuất. Ngoài ra, một cảm biến thị giác có thể đảm bảo rằng ngày và mã số đã
được in rõ ràng, loạt sản phẩm chính xác có thể dễ dàng được xác định nếu xảy ra

trường hợp thu hồi.
b. Khả năng giao tiếp được nâng cao
Hầu hết các bộ cảm biến thị giác có phương pháp đa truyền thông để giao tiếp
với hệ thống điều khiển, từ I / O đơn giản rời rạc đến giao tiếp liên tục đến Ethernet.
I / O rời rạc được sử dụng cho các bộ phận của hệ thống đòi hỏi tốc độ cao hơn hoặc
điều khiển đơn giản, chẳng hạn như kích hoạt hoặc kết quả đạt hay không đạt. Cách
liên lạc nối tiếp và qua Ethernet được sử dụng cho việc truyền dữ liệu và thông tin hệ
thống, bao gồm cả tên mô hình, đếm kết quả đạt hay không đạt, và lựa chọn chương
trình. Khi giao tiếp tốc độ cao là cần thiết, chẳng hạn như khi gửi hình ảnh thì Ethernet
là phương pháp chính. Kết nối Ethernet cho phép dễ dàng thiết lập cấu hình và kết nối
mạng trong quá trình sản xuất. Với sự ra đời của giao thức chuẩn cho Ethernet, bộ cảm
biến thị giác có khả năng trao đổi dữ liệu đầu vào và đầu ra trực tiếp tới PLC, HMI,
hoặc các thiết bị nhà máy thay thế bằng các lệnh lập trình tối thiểu, cho phép người
vận hành sản xuất lấy dữ liệu một cách nhanh chóng và dễ dàng. Ví dụ, người dùng có
thể truy cập dữ liệu kiểm tra như thời gian kiểm tra, trạng thái đạt hay không đạt, lỗi
hệ thống, khởi động (hoặc không khởi động được), tín hiệu sẵn sàng, và các dữ liệu
kiểm tra bổ sung trực tiếp từ các thiết bị nhà máy. Ngoài ra, dữ liệu được sử dụng để
xác thực có thể được truy cập và cập nhật từ xa, bao gồm cả các biến thể mô hình cập
nhật đến từng phút, cho phép kiểm soát sản xuất tốt hơn. Trong các ứng dụng mã vạch,
Ethernet truyền thông cũng cho phép các giá trị tham khảo mã vạch được tải lên tự
động vào bộ cảm biến.
c. Cải thiện việc kiểm soát
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 12 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Các thành tựu gần đây cho phép việc sử dụng cảm biến thị giác dễ dàng hơn.
Những tiến bộ trong tính năng của màn hình cảm ứng và các thuật toán kiểm soát cho
phép các bộ cảm biến không phải phụ thuộc vào máy tính, do đó giảm thiểu nhu cầu

sử dụng các loại cáp. Ví dụ, một số cảm biến thị giác có tính năng như kiểm tra khớp,
sự trầy xước, loại hay đọc mã vạch một cách hiệu quả nhưng cài đặt cấu hình đơn
giản. Cài đặt và thiết lập cấu hình dễ dàng hơn bằng cách sử dụng trình công cụ điều
khiển trên menu, hướng dẫn người sử dụng thông qua lựa chọn chỉ định kiểm tra cụ
thể cho từng sản phẩm. Điều này cho phép kỹ thuật viên nhà máy thiết lập cấu hình để
sắp xếp kiểm tra giữa nhiều sản phẩm cho các dây chuyền sản xuất mà không cần phải
mang theo máy tính xách tay. Với một số cảm biến thị giác tiên tiến có khả năng lưu
trữ lên đến 100 kết quả kiểm tra tại một thời điểm, làm việc với các dây chuyền lắp ráp
tốc độ cao một cách đơn giản. Cấu hình và thử nghiệm có thể được thực hiện từ xa
bằng cách sử dụng bộ mô phỏng cảm biến, cho phép cập nhật và sửa đổi offline, rút
ngắn thời gian thiết lập trên các thiết bị sản xuất thực tế.
Cảm biến thị giác giờ đây có cả chức năng giám sát từ xa, kết nối cảm biến và
màn hình cảm ứng riêng biệt để hỗ trợ việc kiểm tra tại các khu vực khó giám sát. Một
khi các bộ cảm biến thị giác đã được cài đặt, người dùng có thể vận hành các tính năng
từ xa để thiết lập cấu hình, theo dõi, và cập nhật các yêu cầu kiểm tra cho tất cả các
cảm biến thị giác, cho phép kiẻm soát sản phẩm một cách toàn diện.
Đối với sản xuất thực phẩm và các môi trường rửa trôi khác, cảm biến thị giác
có thể được đi kèm với thùng nhựa hoặc thép không gỉ đạt tiêu chuẩn xếp hạng IP67
hoặc lớn hơn để thích ứng với những điều kiện khắc nghiệt.
d . Ứng dụng tại hiện trường
Cảm biến thị giác có thể thực hiện các chức năng chuyên dụng trong đóng gói
bao bì thực phẩm và ứng dụng phân phối, từ việc đọc mã vạch trên các thùng giấy đến
xác minh nhãn bao bì. Ví dụ, nhiều hoạt động chế biến thực phẩm yêu cầu mã số
ngày / lô sản xuất trên bao bì. Để xác minh mỗi gói thông tin đó, một bộ cảm biến thị
giác có thể sử dụng một chức năng kiểm tra phù hợp, nắm bắt hình ảnh của mã ngày /
lô sản xuất. Khi đang kiểm tra, nếu cảm biến phát hiện một gói thiếu mã, cảm biến sẽ
gửi kết quả không đạt đến hệ thống kiểm soát để loại bỏ sản phẩm ra khỏi dây chuyền.
Điều này đảm bảo rằng các sản phẩm có thể được dễ dàng xác định nếu xảy ra thu hồi.
Chức năng truy lỗi sản phẩm cũng rất quan trọng để đảm bảo tính xác thực của
sản phẩm. Ví dụ, một cảm biến thị giác hiệu quả có thể kiểm tra và xác thực chai rượu

thông qua việc đọc mã vạch. Một cảm biến thị giác đầu tiên đọc các mã ma trận dữ
liệu 2D, thường được in trên nhãn của chai. Các thông tin được quét sau đó, hoặc kiểm
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 13 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
tra bằng công cụ cảm biến thị giác, so sánh dữ liệu bên trong hoặc gửi ra bên ngoài
đến một cơ sở dữ liệu bảo mật từ xa. Nếu một mã vạch bị đóng sai cho sản phẩm, nó
sẽ không được công nhận bởi hệ thống, hoặc có thể giả, sản phẩm sẽ bị từ chối và tách
ra để kiểm tra. Cảm biến thị giác được thiết lập cấu hình với khả năng đọc mã ma trận
dữ liệu 2D thường được sử dụng để đọc và kiểm tra tính chính xác của mã vạch ma
trận dữ liệu 2D để theo dõi sản phẩm trong quá trình từ sản xuất đến phân phối.
Do công nghệ cảm biến thị giác tiếp tục phát triển, quy trình sản xuất sẽ được
cải thiện đáng kể về ngăn ngừa lỗi và tăng năng suất, tạo ra một sản phẩm không chỉ
chất lượng cao nhất, mà còn đáp ứng các mong đợi khắt khe của ngành công nghiệp.
2.2 Tổng quan về thị giác nổi
2.2.1 Thế nào là thị giác nổi
Một trong số những thuộc tính quan trọng nhất của thế giới vật chất xung quanh
ta là sự tồn tại của không gian 3 chiều. Con người có thể trực tiếp cảm nhận không
gian 3 chiều thông qua các giác quan (thị giác, xúc giác, các cảm giác bản thể ),
trong đó thị giác thu nhiều thông tin nhất. Khi quan sát xung quanh bằng mắt, có 2 yếu
tố làm ta cảm nhận được chiều sâu hay khoảng cách, đó là sự điều tiết của thủy tinh
thế và góc chập của 2 mắt. Ấn tượng chìm hay nổi của không gian và các đối tượng có
được nhờ sự tổng hợp của não bộ từ các hình ảnh ghi nhận đồng thời từ mắt trái và
mắt phải. Hãy thử làm một thí nghiệm nhỏ: Nhắm 1 mắt lại rồi cầm 2 cây bút chì ở 2
tay rồi thử tìm cách chạm 2 đầu chì vào nhau từ nhiều hướng. Bạn sẽ thấy rõ sự khác
biệt của thế giới quan cảm thụ bằng một mắt và hai mắt. Nhờ tiếp thu được thông tin
từ 2 góc nhìn khác nhau, thị giác hai mắt giúp chúng ta định được khoảng cách xa gần
và do đó, nhận thức được tính vô tận và liên tục của 3 chiều không gian

Nguyên lý căn bản của hầu hết các thể loại hình ảnh nổi là sự mô phỏng thị giác
hai mắt đối với đối tượng sự vật. Nói cách khác, hiệu ứng 3D ở các loại ảnh nổi hay
phim nổi đều giống nhau ở bản chất: nhằm gửi đến mắt trái và mắt phải người quan
sát một cách tách biệt hai hình ảnh tương ứng với góc lệch bên trái và bên phải của đối
tượng (nếu tách biệt không tốt sẽ có hiện tượng nhòe hình). Sự chập ảnh vô thức của
não bộ sẽ gây nên ấn tượng chìm hay nổi của đối tượng sự vật. Đó là sự khác biệt lớn
nhất đối với hình ảnh 2D truyền thống - khi người quan sát dù đứng ở bất kỳ góc nào
thì mắt trái và phải cũng chỉ nhìn thấy một khuôn hình giống hệt nhau.
Thị giác nổi là kỹ thuật sử dụng hai camera để đo khoảng cách giữa các đối
tượng. Cấu hình đơn giản nhất (cấu hình stereo chuẩn) sử dụng hai camera thẳng hàng
và cách nhau theo phương ngang
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 14 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.2 Cấu hình chuẩn của hệ thống 2 camera
Sử dụng hai camera này chúng ta có thể thu được hai hình ảnh của đối tượng tại
hai vị trí khác nhau: Anh bên trái và ảnh bên phải của đối tượng (sự chênh lệch). Các
ảnh của các camera được phân tích các điểm chung. Sử dụng quy tắc tam giác đồng
dạng và độ lệch của các điểm chung để xác định khoảng cách (độ sâu) so với camera.
Hình 2.3 Ví dụ về thị giác 2 mắt của con người.
Con người có hai mắt, mỗi mắt nắm bắt quan điểm riêng của nó và hai hình ảnh
riêng biệt được gửi vào não để xử lý. Khi hai hình ảnh đến cùng một lúc ở mặt sau của
não, chúng được liên kết thành một bức tranh. Tâm kết hợp hai hình ảnh bằng cách kết
hợp các điểm tương đồng và thêm vào sự khác biệt nhỏ. Sự khác biệt nhỏ giữa hai bộ
ảnh thêm lên đến một sự khác biệt lớn trong hình ảnh cuối cùng! Hình ảnh kết hợp là
nhiều hơn tổng của các bộ phận của nó. Nó là một hình ảnh âm thanh nổi ba chiều.
Trong một hệ thống thị giác nổi, máy ảnh được liên kết theo chiều ngang và cách
GVHD : Đoàn Văn Tuấn

SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 15 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
nhau bằng một khoảng cách được gọi là đường cơ sở. Hình 2.2 cho thấy một ví dụ về
hệ thống thị giác âm thanh stereo với bốn máy ảnh đặt trên một thanh. Sử dụng một
trong những máy ảnh bên trái và một trong những máy ảnh trên bên phải sẽ cung cấp
hai hình ảnh cần thiết để trích xuất một bản đồ chênh lệch, cung cấp các dữ liệu cần
thiết cho 3-D xây dựng lại.
2.2.2 Tổng quan về hệ thống thị giác nổi Stereo Vision.
Trong tầm nhìn truyền thống âm thanh stereo, hai máy ảnh, theo chiều ngang từ một
người khác được sử dụng để có được hai quan điểm khác nhau trên một cảnh, một
cách tương tự như con người nhìn bằng hai mắt. Bằng cách so sánh hai loại hình ảnh,
thông tin chi tiết liên quan có thể đạt được, dưới hình thức của sự khác biệt, đó là tỷ lệ
nghịch với sự khác biệt về khoảng cách đến các đối tượng.
Để so sánh những hình ảnh, hai quan điểm phải được chồng trong một thiết bị nổi,
hình ảnh từ máy ảnh phải được hiển thị trên mắt phải của người quan sát và từ một trái
để mắt trái.
Sơ đồ khối cuả hệ thống thị giác nổi.
Hình 2.4 Sơ đồ khối của hệ thống thị giác nổi
Các bước thực hiện hệ thống thị giác nổi:
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 16 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.5 Các bước thực hiện hệ thống Stereo Vision
Calibration ( hiệu chỉnh camera )
Để áp dụng các kỹ thuật khác nhau, âm thanh stereo với một mức độ hợp lý chính xác,
điều quan trọng là để hiệu chỉnh hệ thống camera. Quá trình hiệu chỉnh cung cấp các

giá trị số cho các thông số máy ảnh thực chất như chiều dài tiêu cự, và các thông số
bên ngoài như góc độ định hướng tương đối giữa hai máy ảnh. Về nguyên tắc, bất kỳ
đối tượng đặc trưng có thể được sử dụng như là một mục tiêu hiệu chuẩn. Có nhiều
phương pháp hiệu chuẩn mà sử dụng các đối tượng ba chiều, chẳng hạn như một hộp
bao phủ với các dấu hiệu, nhưng mẫu bàn cờ phẳng là dễ nhất để hiệu chỉnh .
Kỹ thuật hiệu chuẩn giả định việc sử dụng một mẫu hình bàn cờ như thể hiện trong
hình 2.6. Các máy ảnh được đặt để mô hình này xuất hiện trong cả hai hình ảnh. Hệ
thống tự động phát hiện góc, sau khi chu vi của hội đồng quản trị được lựa chọn bằng
tay, trong bàn cờ trong cả hai hình ảnh, sử dụng một đoán ban đầu tại bóp méo xuyên
tâm nếu cần thiết. Xem nhiều của bàn cờ cùng được thực hiện bởi một trong hai di
chuyển máy ảnh hoặc di chuyển các bảng kiểm tra. Để đạt được kết quả chất lượng
cao, đó là khuyến cáo rằng ít nhất mười hình ảnh. Nó cũng là cần thiết để di chuyển
bàn cờ hoặc máy ảnh để có được hình ảnh của mục tiêu chuẩn ở nhiều góc độ. Tọa độ
3D của các góc được cung cấp cho hệ thống. Sử dụng kiến thức của các địa điểm này
3D cùng với các tọa độ góc phát hiện trong những hình ảnh, hiệu chuẩn giải quyết cho
vòng xoay và dịch vector có liên quan các máy ảnh trái và phải cũng như các thông số
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 17 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
máy ảnh bên trong.
Hình 2.6 Mẫu bàn cờ
Chiếu quan điểm có thể được biểu diễn như là q = MQ, trong đó Q là một điểm cảnh
3D được đưa ra với máy ảnh trung tâm tọa độ, q là các điểm ảnh thu 2D, và M được
gọi là ma trận máy ảnh. Ma trận 3x3 M chứa các thông số nội tại cho máy ảnh:
M=
Các thông số cx và cy đại diện cho trung tâm hình ảnh, được xác định bởi các trục
chính của thấu kính, và thường là khác nhau từ các trung tâm của các mảng cảm biến
CCD. Lý tưởng nhất, các trục giao nhau nên các trung tâm chính xác của bộ cảm biến,

nhưng trong thực tế các bộ cảm biến được thay thế bởi một vài điểm ảnh. Các thông số
fx và fy đại diện cho yếu tố quy mô ngang và dọc, tương ứng. Hai tham số là cần thiết
bởi vì hầu hết các bộ cảm biến có hình chữ nhật (không vuông) pixel. Hai tham số này
kết hợp các độ dài tiêu cự ống kính, f, với kích thước vật lý của các yếu tố cá nhân trên
các mảng cảm ứng:  =  * sx và  =  * sy, đó là chiều dài tiêu cự vật lý thực tế nhân
với kích thước mỗi phần tử trên cảm biến trong pixel (điểm ảnh mỗi mm).
Khi sử dụng một ống kính thủy tinh tiêu chuẩn, như trái ngược với một ống kính lỗ
kim, các đường thẳng trong thế giới 3D đôi khi sẽ xuất hiện để được uốn cong theo
hình ảnh. Hiệu quả là rõ rệt hơn ở gần biên giới của hình ảnh. Điều này được gọi là
hình ảnh bị méo hoặc biến dạng pincushion hay, nói chung, biến dạng xuyên tâm.
Hình ảnh bị méo được minh họa trong Hình 2.7. Hình 2.8 cho thấy một hình ảnh thực
tế có chứa hình ảnh bị méo cùng với hình ảnh sửa chữa.
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 18 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.7 Ví dụ về hình ảnh bị méo
Hình ảnh sửa chữa trong Hình 2.8 thu được bằng cách "cong vênh" hay "kéo dài" hình
ảnh ban đầu theo phương trình sau:
=(1+ k
1
r
2
+k
2
r
2
+k
3

r
6
)
=(1+ k
1
r
2
+k
2
r
4
+k
3
r
6
)
Hình 2.8 Hình ảnh bị méo và sau khi sửa méo
Ở đây, (x, y) là vị trí của một điểm ảnh trong hình ảnh ban đầu và (xcorrected,
ycorrected) là vị trí mới của điểm ảnh này trong hình ảnh sửa chữa. R biến đại diện
cho khoảng cách từ trung tâm hình ảnh. Các hằng số ki được lấy từ một loạt Taylor mở
rộng xung quanh r = 0, nơi chỉ có các hệ số sức mạnh thậm chí là cần thiết để giữ cho
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 19 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
các chức năng đối xứng. Một mục tiêu của một quá trình hiệu chỉnh máy ảnh là để giải
quyết cho các giá trị kia.
Một ví dụ về một âm mưu bóp méo xuyên tâm cho một ống kính máy ảnh cụ thể được
thể hiện trong Hình 2.9. Mũi tên màu xanh hiển thị như thế nào điểm bị bóp méo và

làm thế nào họ được chuyển khi sửa chữa các hình ảnh.
Hình 2.9 Âm mưu bóp méo xuyên tâm cho một ống kính đặc biệt.
Các thông số nội tại của hai máy ảnh (chiều dài tiêu cự, trung tâm hình ảnh,
parametersof ống kính biến dạng).
Các thông số ngoại sinh (R và T mà gắn hai máy ảnh). Hiệu chuẩn được thực hiện thu
thập và xử lý 10 cặp âm thanh stereo của một mô hình được biết đến (thường là một
bàn cờ).
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 20 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.10 Các thông số nội tại của máy ảnh.
Rectification (hiệu chuẩn).
Hình 2.11 Cặp âm thanh nổi (trên) và cặp sửa chữa (dưới). Những hình ảnh trên vẽ
các đường epipolar tương ứng với các điểm đánh dấu trong hình ảnh bên dưới.
Hiệu chuẩn của một cặp ảnh nổi là quá trình chuyển đổi ("cong vênh") hai hình ảnh
sao cho các điểm tương ứng nằm trên các hàng cùng một hình ảnh. Chính thức hơn,
việc chuyển đổi gây ra dòng epipolar (xem bên dưới) để trở thành thẳng. Cải chính
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 21 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
thường được thực hiện để cải thiện tốc độ của việc tìm kiếm các thư từ âm thanh
stereo.
Bằng cách sử dụng thông tin từ hiệu chuẩn từ các bước trên ta thu được dạng hiệu
chỉnh như sau: Tất cả các dòng epipolar là song song trong mặt phẳng ảnh sửa chữa
thiết lập âm thanh stereo tiêu chuẩn.
Hình học hình ảnh âm thanh nổi được minh họa trong Hình 2.12a. Một cảnh dự án P

điểm vào pl và pr trong hai hình ảnh. Theo hai quan điểm chiếu, Ol và Or, cùng với P
xác định một mặt phẳng epipolar. Máy bay epipolar cắt mỗi mặt phẳng hình ảnh để tạo
thành hai đường epipolar. Tầm quan trọng của hình học epipolar là bất kỳ điểm ảnh,
nói XL từ trong hình ảnh bên trái (Hình 2.12b), xác định một đường epipolar (màu đỏ)
trong hình ảnh ngược lại rằng, phải có các điểm tương ứng nếu nó hiện diện. Này
"ràng buộc epipolar" là quan trọng để giảm thời gian tính toán trong việc tìm kiếm các
thư tín, vì nó có hiệu quả làm giảm tìm kiếm để tìm kiếm một chiều chứ không phải
tìm kiếm các khu vực hình ảnh 2D. Hạn chế này cũng làm giảm số lượng các trận đấu
không chính xác.
Hình 2.12 Hình ảnh hình học Stereo.(a) máy bay Epipolar, nó là mặt phẳng hình
thành bởi các điểm 3D (b) máy bay Epipolar với nhiều điểm 3D cùng bên phải đường
epipolar tương ứng với một điểm trên đường epipolar trái.
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 22 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
Hình 2.12 cũng minh họa nhiều điểm trong 3D có thể được ánh xạ như một điểm
duy nhất trong hình ảnh bên trái và như nhiều điểm dọc theo đường epipolar trong
hình ảnh bên phải. Xem xét một điểm XL từ trong hình ảnh bên trái, nó không phải là
có thể xác định các điểm, X3, X2, X1, hoặc X là tương ứng, từ độ sâu của các điểm
không thể được xác định từ một điểm thuận lợi duy nhất. Tìm kiếm sự tương ứng
chính xác cho XL trong hình ảnh bên phải, tuy nhiên, trên thực tế sẽ xác định vị trí 3D
của đối tượng.
Để xác định các đường epipolar, hai ma trận cần phải được xác định, ma trận thiết yếu
và các ma trận cơ bản. Sự khác biệt là ma trận thiết yếu, điện tử, liên quan các máy
ảnh trái và phải trong 3D không gian vật lý (bản đồ pl để pr), trong khi ma trận cơ bản
F, liên quan hai quan điểm cùng một máy ảnh, nhưng trong hệ tọa độ điểm ảnh (bản đồ
các ql biến qr). Ma trận cần thiết có vòng xoay và thông tin dịch từ máy ảnh bên trái
để chiếc máy ảnh trong tọa độ vật lý. Ma trận cơ bản có hai thông số mô tả epipoles

trái và phải cũng như ba tham số cho các homography có liên quan mặt phẳng ảnh trái
sang phải.
Để xác định các máy bay epipolar, định nghĩa của một chiếc máy bay liên quan
đến việc bình thường với mặt phẳng n và một điểm được định nghĩa trong một máy
bay được sử dụng, mà giữ cho tất cả các điểm trên mặt phẳng x với:
(x-a) * n
Kể từ khi các vectơ Pl và T (vector kết nối trung tâm của dự) được chứa trong mặt
phẳng epipolar, bình thường với các vec tơ này có thể được sử dụng như là các vector
n. Đơn giản chỉ cần dùng sản phẩm qua các vector sẽ cho chúng ta một vector bình
thường với mặt phẳng epipolar. Ở đây tất cả các điểm quan sát có thể cho Pl có thể
được đưa vào, thể hiện trong hình 3.11 bên phải ở độ sâu khác nhau, thông qua các
điểm T, nơi OlOr vector cắt máy bay epipolar là:
(P
l
– T)
T
(T x P
l
) = 0
Kể từ khi tập trung với việc tìm kiếm các ma trận cơ bản để hiệu chuẩn, mối quan
hệ giữa nhu cầu ql và qr được tìm thấy. Điều này có thể được thực hiện bằng cách đầu
tiên liên quan tọa độ vật lý của dự Pl và Pr. Pr có thể được thay thế trong bằng cách sử
dụng phương trình trên có liên quan Pl để Pr. Giải quyết cho Pl, cho những điều sau
đây:
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 23 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP
Khoa: Điện – Điện Tử
P

r
R
T
+ T = P
l
Với hai máy ảnh mà các thông số nội tại được biết, những hình ảnh nguyên bản, và
hình ảnh những chiếc máy bay đã được sửa chữa, các máy ảnh có thể được hiệu chỉnh
để luân chuyển và dịch thuật của một máy ảnh được biết đến đối với các khác. Các
mối quan hệ được tìm thấy trong ma trận xoay và vector dịch. Ma trận xoay chứa các
thông số mà xoay máy quay liên quan vị trí, hoặc bù đắp, của máy ảnh bên trái đối với
chiếc máy ảnh.
Disparity map (bản đồ chiều sâu).
Nhằm mục đích tìm kiếm tương đồng điểm trong cặp stereo.
Mọi người có thể nhìn thấy chiều sâu bởi vì họ nhìn vào cùng một cảnh tại hai góc độ
hơi khác nhau (một từ mỗi mắt). Bộ não của chúng tôi sau đó tìm ra cách điều gần là
bằng cách xác định xa nhau họ đang có trong hai hình ảnh từ mắt chúng ta. Ý tưởng ở
đây là để làm điều tương tự với một máy tính. Kiểm tra này đối với một số thông tin
về hình học và toán học của tầm nhìn âm thanh stereo. Thứ nhất, đây là những hình
ảnh tôi sẽ sử dụng để hiển thị kết quả. Trong ảnh nổi chúng tôi có 2 máy ảnh ở một
khoảng cách cố định từ mỗi vị trí khác nhau, có một hình ảnh của một cảnh. Hình ảnh
mà chúng tôi nhận được từ mỗi máy ảnh hơi khác nhau, nếu chúng ta đặt cả hai cùng
nhau chúng ta sẽ thấy rằng họ là một chút mờ, một số đối tượng trong khung cảnh sẽ
nhìn liên kết, giữa hình ảnh trái và phải. Nếu các liên kết của một đối tượng trong cảnh
này là rất lớn, sau đó các đối tượng gần gũi hơn với của máy ảnh nếu đối tượng là ít
phù hợp hoặc rõ ràng hoặc lót lên tốt hơn, điều đó có nghĩa hơn nữa của nó ra khỏi
máy ảnh.
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 24 -
Trường ĐHSPKT Hưng Yên ĐỒ ÁN TỐT NGHIỆP

Khoa: Điện – Điện Tử
Hình 2.13 Bản đồ chiều sâu
Hình 2.14 Ví dụ về bản đồ chiều sâu
GVHD : Đoàn Văn Tuấn
SVTH : Phạm Đức Chung Lớp : ĐTK9LC1
-Trang 25 -