MÔN HỌC HỆ THỐNG CƠ ĐIỆN TỬ XÁC ĐỊNH VỊ TRÍ CỦA VẬT TRONG KHÔNG GIAN DÙNG CAMERA

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HỒ CHÍ MINH

MÔN HỌC: HỆ THỐNG CƠ ĐIỆN TỬ

XÁC ĐỊNH VỊ TRÍ CỦA VẬT TRONG KHƠNG GIAN
DÙNG CAMERA

Ngành: KỶ THUẬT CƠ ĐIỆN TỬ
Lớp: 21DCTA1

Giảng viên hướng dẫn: Lê Tấn Sang

Sinh viên thực hiện: Mã SV: Lớp:
Sinh viên thực hiện:
Sinh viên thực hiện: Mã SV: Lớp:
Sinh viên thực hiện:
Sinh viên thực hiện: Mã SV: Lớp:

Mã SV: Lớp:

Mã SV: Lớp:

Tp.HCM, ngày … tháng … năm …

CHƯƠNG I: TỔNG QUAN

1.1. Giới thiệu đề tài:

Ngày nay nhu cầu của con người sử dụng camera với nhiều mục đích. Trong số đó phổ biến
là giám sát, nhân dạng, an ninh, điều khiển… Ngày càng phổ biến rộng rãi trên khắp quốc gia.

Vẫn để xác định đúng khoảng cách giữa các đối tượng trong khơng gian 3D góp phần tăng
tính chính xác trong việc phát hiện, điều khiển các hành vi của các hệ thống đó. Tuy nhiên, một
số phương pháp tính khoảng cách giữa các đối tượng trong không gian 3D ở các hệ thống
camera bộc lộ một số hạn chế nhất định.

Do đó, giải pháp đặt ra là: lựa chọn kỹ thuật phù hợp để tính chính xác khoảng cách giữa các
đối tượng trong không gian 3D.

Hiện nay, có nhiều kỹ thuật được áp dụng để xác định khoảng cách giữa các đối tượng trong
không gian 3D, mỗi kỹ thuật có những thế mạnh và hạn chế riêng. Hiệu chỉnh camera (camera
calibration) là một kỹ thuật đang được triển khai sử dụng trong các hệ thống lớn bởi nhiều tính
năng ưu việt giúp đẩy nhanh tốc độ và hiệu quả của việc xác định khoảng cách giữa các đối
tượng trong không gian 3D.

Đó là những lý do mà nhóm tơi nghiên cứu và thực hiên đề tài xác định vị trí của vật trong
không gian dùng camera

1.2. Sản phẩm trên thị trường, ưu nhược điểm của chúng:
1.2.1. Trong công nghệp:

Là lĩnh vực ứng dụng xử lý ảnh rất nhiều. Việc phân loại và kiểm tra sản phẩm phẩm là một
ví dụ điển hình: kiểm tra lỗi cho các board mạch điện tử (gồm hàng trăm linh kiện điện tử trên
đó, điều mà bằng mắt thường sẽ phải làm rất lâu và khó tránh được sai sót), kiểm tra lỗi của các
nhãn in...

Hình 1.1: Xử lí ảnh trong cơng nghiệp

1.2.2. Trong lĩnh vực nghiên cứu y sinh học

Những bức ảnh được xử lý tốt đã góp phần giúp các bác sỹ chẩn đốn bệnh chính xác hơn.
Những ca phẫu thuật phức tạp, địi hỏi chính xác cao đã khơng cịn khó khăn với việc sử dụng
công nghệ xử lý ảnh và các phần cứng cần thiết như camera, kính hiển vi.

Hình 1.2: Xử lý ảnh trong việc chuần đốn bệnh

1.2.3 Trong lĩnh vực giải trí, nghiên cứu khoa học:

Nhiều robot, ứng dụng thực tiễn đã kết hợp thành công công nghệ xử lý ảnh (các robot tự
hành, nhận diện đồ vật, khuôn mặt...). Nhiều nghiên cứu khoa học đã góp phần giới thiệu công
nghệ xử lý ảnh, những ứng dụng thực tiễn cũng như chia sẽ công nghệ, hướng phát triển đến
mọi người có đam mê và quan tâm.

Hình 1.3: Xử lí ảnh trong việc nhận diện khuôn mặt

1.2.4 Ưu, nhược điểm của chúng:
1.2.4.1: Ưu điểm:

 Độ chính xác cao: Camera có thể xác định vị trí của vật với độ chính xác cao, đặc biệt là
khi sử dụng camera có độ phân giải cao.

 Tốc độ nhanh: Camera có thể xác định vị trí của vật trong thời gian thực, giúp cho việc
theo dõi và điều khiển vật trở nên dễ dàng hơn.

 Tính linh hoạt: Camera có thể được sử dụng để xác định vị trí của vật trong nhiều mơi
trường khác nhau, từ trong nhà đến ngoài trời.

 Dễ sử dụng: Việc sử dụng camera để xác định vị trí của vật tương đối đơn giản và dễ
dàng.

1.2.4.1: Nhược điểm:

 Chi phí: Camera có thể có giá thành cao, đặc biệt là camera có độ phân giải cao.
 Ánh sáng: Camera cần có đủ ánh sáng để hoạt động hiệu quả.
 Bị che khuất: Camera có thể khơng xác định được vị trí của vật nếu bị che khuất bởi các
vật thể khác.
 Góc nhìn: Camera chỉ có thể xác định vị trí của vật trong phạm vi góc nhìn của nó.

1.3. Các vấn đề liên quan đề tài:

Cách xác định vị trí của vật trong không gian:
 Gọi 1 vật có tọa độ là (Xs, Ys, Zs).

 Tâm của camera trùng với phương z.

 Để dơn giản trong việc rút ra phương trình, giả sử mặt phẳng ảnh nằm trước vật.

 Để tìm tọa độ vật được chiếu trên mặt phẳng ảnh, sử dụng quy tắc động dạng của tam
giác, dễ dàng xác định được xi, yi.
 Chuyển đổi nó sang hệ tọa độ ảnh được sử dụng trong xử lý ảnh.
 Di chuyển điểm gốc từ giữa sang phía trên bên trái của hình ảnh.

 Di chuyển điểm gốc từ giữa sang phía trên bên trái của hình ảnh, chúng ta rút ra được
công thức tính tọa độ điểm chiếu lên ảnh trong camera.

 Biến đổi phương trình x và y được mơ tả dưới dạng phương trình một.

 Chọn lựa dịng camera:

Vậy chọn dịng RealSense Series có độ phân giải cao, tốc độ khung hình cao, và độ sâu vừa

đủ.
 Chọn loại camera:
Địng camera RealSense có nhiều loại như:

o RealSense D435:

-Độ phân giải: 4K(3840x2160).
-Tốc độ khung hình: 30 FPS
-Độ sâu: 6m
-Tầm nhìn: 120°
-Khả năng theo dõi chuyển động: Có
-Kết nối: USB 3.0
-Giá thành: $349

o RealSense D455:

-Độ phân giải: 4K (3840x2160)
-Tốc độ khung hình: 30 FPS
-Độ sâu: 12m
-Tầm nhìn: 120°
-Khả năng theo dõi chuyển động: Có
-Kết nối: USB 3.0
-Giá thành: $499’

o RealSense D415:
-Độ phân giải: 1280x720
-Tốc độ khung hình: 30 FPS
-Độ sâu: 6m
-Tầm nhìn: 70°
-Khả năng theo dõi chuyển động: Có

-Kết nối: USB 3.0

-Giá thành: $199
Chọn RealSense D435 vì độ phân giải cao, tầm nhìn rộng, độ sâu phù hợp với đề tài này
và già cả hợp lí.

 Chọn phiên bản cho camera RealSense D435:
o USB 2.0
- Tốc độ truyền dữ liệu tối đa 480 Mbps.
- Giá thành rẻ hơn.
- Tương tự với việc hầu hết các máy tính.
- Có thể gặp hiện tượng lag hoặc giật hình khi truyền dữ liệu.
o USB 3.2
- Tốc độ truyền dữ liệu tối đa 10 Gbps.
- Giá thành đắt hơn.
- Có thể khơng tương thích với một số máy tính cũ hơn.
- Truyền dữ liệu nhanh chóng và mượt mà.

Vậy chọn phiên bản USB 3.2 camera có tốc độ truyền dữ liệu nhanh chóng và mượt mà, có
nhiều tùy chọn hơn trong cài đặt độ phân giải.

 Từ hình ảnh camera độ sâu, thu được giá trị độ sâu của pixel với tọa độ điểm trung
tâm. Giá trị độ sâu này là giá trị z chúng ta cần.

 Thay thế giá trị z vào phương trình trên, có thể thu được tọa độ x và y.
 Giả sử rằng máy ảnh bị dịch chuyển dọc theo trục x một góc theta và bị dịch chuyển

tịnh tiến một lượng dọc theo trục y và z, không giống với hệ tọa độ chính.

 .Chọn lựa thư viện để lập trình

o OpenCV (Open Computer Vision Library)

- Xử lý ảnh: Chuyển đổi ảnh, lọc, phân đoạn ảnh, v.v.
- Nhận diện khuôn mặt: Phát hiện và nhận diện khuôn mặt trong ảnh và video.
- Nhận diện đối tượng: Phát hiện các đối tượng trong ảnh và video.
- Theo dõi chuyển động: Theo dõi chuyển động của các đối tượng trong video.

- Học máy: Cung cấp các công cụ để phát triển các thuật toán học máy cho thị giác
máy tính.

o YOLO (You Only Look Once)
- Tốc độ: YOLO có thể xử lý video thời gian thực với tốc độ cao.
- Độ chính xác: YOLO có độ chính xác cao trong việc nhận diện các đối tượng.
- Dễ sử dụng: YOLO dễ sử dụng và có thể được tích hợp vào các ứng dụng khác
một cách dễ dàng.
- Phù hợp cho các ứng dụng nhận diện đối tượng thời gian thực.

Vậy chọn thư viện YOLO vì thư viện này có thuật tốn nhận diện đối tượng thời gian
thực với tốc độ cao và độ chính xác cao.

 Chọn phiên bản YOLO

Vậy chọn YOLO v4 vì đồ phân giải cao, tốc độ xử lí nhanh và độ chình xác cao.

 Chọn mơi trường lập trình YOLOv4

o Google Colab
- Môi trường trực tuyến miễn phí và dễ sử dụng, khơng cần cài đặt phần mềm.

- Thích hợp cho người mới bắt đầu hoặc những ai muốn thử nghiệm YOLO nhanh

chóng.

- Có nhiều notebook YOLO có sẵn để bạn tham khảo và sử dụng.

o Pycharm

- Trình soạn thảo mã Python chuyên nghiệp với nhiều tính năng hỗ trợ lập trình
YOLO.

- Có thể cài đặt trên máy tính.

- Thích hợp cho những ai muốn phát triển các ứng dụng YOLO phức tạp.

o Visual Studio Code

- Trình soạn thảo mã miễn phí và mã nguồn mở với nhiều tính năng hỗ trợ lập trình
YOLO.

- Có thể cài đặt trên máy tính.

- Thích hợp cho những ai muốn có một trình soạn thảo mã nhẹ và linh hoạt.

Chọn Visual Studio Code vì máy tính mình đã cài đặt Visual Studio Code.

1.4. Đặt đầu bài:

1.4.1 Đặt vấn đề.

Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kỹ thuật trong một vài thập kỷ gần
đây, xử lý ảnh tuy là một nghành khoa học còn tương đối mới mẻ so với nhiều nghành khoa

học khác nhưng hiện nay đang là một trong những nghành có lĩnh vực phát triển rất nhanh và
thu hút sự qua tâm đặc biệt từ các nhà khoa học thúc đẩy các trung tâm nghiên cứu, ứng dụng
về lĩnh vực hấp dẫn này. Xử lý đóng vai trò quan trọng trong nhiều ứng dụng thực tế về khoa
học kĩ thuật cũng như trong cuộc sống thường ngày như : sản xuất và kiểm tra chất lượng, di
chuyển robot, các phương tiện đi lại tự trị, công cụ hướng dẫn cho người mù, an ninh và giám
sát, nhận dạng đối tượng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu chỉnh video,
thay thế con người thám hiểm địa hình hiểm trở, thiết bị lặn không người lái, UAV,..

Việc xác định vật thể trong khơng gian có độ ứng dụng cao trong khoa học kỹ thuật vì
camera có khả năng ghi nhận chiều sâu đối tượng giống như mắt con người.

1.4.2 Mục tiêu.

- Tìm hiểu về camera qt vật thể và ngơn ngữ lập trình apython với thư viện YOLOv4.
- Xác định được vị trí của vật trong khơng gian.

CHƯƠNG 2: LỰA CHỌN PHƯƠNG ÁN

2.1 Phương án điện:
Camera RealSense D435 giao tiếp với máy tính bằng cổng USB Type C
to UBS 3.0

hoặc dùng nguồn cấp ngồi bộ cấp nguồn AC phải có đầu ra 5V với dòng
điện 2A.
2.2. Phương án điều khiển:
Code trên phần mềm Visual Studio Code dung thư viện YOLOv4

 Xác định tọa độ trung tâm của các đối tượng được phát hiện.

 Xác định kích thước, định dạng và tốc độ khung hình.

 Bắt đầu nhận diện đối tượng với cấu hình đã xác định ở trên

 Sau khi nhận diện được đối tượng, hàm này sẽ đóng khung đối
tượng ấy.

 Xác định khoảng cách tiêu cự của máy ảnh và tâm quang học

 Sau khi camera quét vật, nhận được các khung hình được căn
chỉnh từ RGB và camera độ sâu

 Trong vòng lặp for, khoảng cách đến từng tâm đối tượng được phát
hiện sẽ được tính tốn

 Ở đây, dựa trên phương trình 2 tọa độ của vật thể và thế giới thực
được tính tốn.

 Việc chuyển đổi tọa độ được thực hiện. (với theta = 0)

 kết quả thực hiện được

CHƯƠNG 3: KẾT LUẬN