ỨNG DỤNG GIẢI THUẬT ICP KẾT HỢP TÁI TẠO MÔ HÌNH 3D CỦA VẬT THỂ TỪ ẢNH DEPTH MAP

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƢỜNG ĐẠI HỌC BÁCH KHOA
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN VIỄN THÔNG
-----o0o-----

LUẬN VĂN TỐT NGHIỆP

ỨNG DỤNG GIẢI THUẬT ICP KẾT HỢP
TÁI TẠO MƠ HÌNH 3D CỦA VẬT THỂ
TỪ ẢNH DEPTH MAP

GVHD: PGS.TS LÊ TIẾN THƢỜNG
SVTH: TRẦN TRƢỜNG SƠN 40801831
VÕ XUÂN XĂNG

40802712

TP. HỒ CHÍ MINH, THÁNG 12 - 2012

www.clbrobot.com

www.robotgiaoduc.com


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc Lập – Tự Do – Hạnh Phúc





Số:______/BKĐT
Khoa: Điện – Điện tử
Bộ Môn: Viễn Thông

NHIỆM VỤ LUẬN VĂN TỐT NGHIỆP
Họ và tên:

TRẦN TRƢỜNG SƠN

MSSV:

40801831

Họ và tên:

VÕ XUÂN XĂNG

MSSV:

40802712

Ngành

VIỄN THÔNG

LỚP

DD08KSVT

:

:

1. Đầu đề luận văn:
“Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D của vật thể từ ảnh depth map”
2. Nhiệm vụ ( Yêu cầu về nội dung và số liệu ban đầu):
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................
3. Ngày giao nhiệm vụ luận văn: ..............................
4. Ngày hoàn thành nhiệm vụ: .................................
5. Họ và tên ngƣời hƣớng dẫn : ................................ Phần hƣớng dẫn ...............
Nội dung và yêu cầu LVTN đã đƣợc thông qua Bộ Môn.
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................
..................................................................................................................................
Ngày ....... tháng ........ năm 2012
CHỦ NHIỆM BỘ MÔN
(Ký và ghi rõ họ tên)

www.clbrobot.com

NGƢỜI HƢỚNG DẪN CHÍNH

(Ký và ghi rõ họ tên)

www.robotgiaoduc.com


TRƢỜNG ĐẠI HỌC BÁCH KHOA
KHOA ĐIỆN – ĐIỆN TỬ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc Lập – Tự Do – Hạnh Phúc
Ngày ........... tháng .......... năm 201…

PHIẾU CHẤM BẢO VỆ LVTN
(Dành cho ngƣời hƣớng dẫn)
Họ và tên:

TRẦN TRƢỜNG SƠN

MSSV:

40801831

Họ và tên:

VÕ XUÂN XĂNG

MSSV:

40802712

Ngành:
1. Đề tài:

VIỄN THÔNG

LỚP:

DD08KSVT

“Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D của vật thể từ ảnh depth map”.
2. Họ tên ngƣời hƣớng dẫn: PGS. TS. LÊ TIẾN THƢỜNG
3. Tổng quát về bản thuyết minh:
Số trang ........ Số chƣơng ........
Số bảng số liệu ........ Số hình vẽ ........
Số tài liệu tham khảo ........ Phần mềm tính tốn ........
4. Tổng qt về các bản vẽ:
- Số bản vẽ:
........bản A1
.........bản A2
......... khổ khác
- Số bản vẽ tay ............
- Số bản vẽ trên máy tính ..............
5. Những ƣu điểm chính của LVTN:
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................
6. Những thiếu sót chính của LVTN:
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................

7. Đề nghị: Đƣợc bảo vệ ,

Bổ sung thêm để bảo vệ ,

Không đƣợc bảo vệ .
8. 3 câu hỏi sinh viên trả lời trƣớc Hội Đồng:
a) ..............................................................................................................................
b)..............................................................................................................................
c) ..............................................................................................................................
9. Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm …………………….
Ký tên (ghi rõ họ tên)

www.clbrobot.com

www.robotgiaoduc.com


TRƢỜNG ĐẠI HỌC BÁCH KHOA
KHOA ĐIỆN – ĐIỆN TỬ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc Lập – Tự Do – Hạnh Phúc
Ngày ........... tháng .......... năm 201…

PHIẾU CHẤM BẢO VỆ LVTN
(Dành cho ngƣời phản biện)
Họ và tên:

TRẦN TRƢỜNG SƠN

MSSV:

40801831

Họ và tên:

VÕ XUÂN XĂNG

MSSV:

40802712

Ngành:
1. Đề tài:

VIỄN THÔNG

LỚP:

DD08KSVT

“Ứng dụng giải thuật ICP kết hợp - tái tạo mơ hình 3D của vật thể từ ảnh depth map”.
2. Họ tên ngƣời hƣớng dẫn: PGS. TS. LÊ TIẾN THƢỜNG
3. Tổng quát về bản thuyết minh:
Số trang ........ Số chƣơng ........
Số bảng số liệu ........ Số hình vẽ ........
Số tài liệu tham khảo ........ Phần mềm tính tốn ........
4. Tổng qt về các bản vẽ:
- Số bản vẽ:
........bản A1

.........bản A2
......... khổ khác
- Số bản vẽ tay ............
- Số bản vẽ trên máy tính ..............
5. Những ƣu điểm chính của LVTN:
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................
6. Những thiếu sót chính của LVTN:
.................................................................................................................................
.................................................................................................................................
.................................................................................................................................
7. Đề nghị: Đƣợc bảo vệ ,

Bổ sung thêm để bảo vệ ,

Không đƣợc bảo vệ .
8. 3 câu hỏi sinh viên trả lời trƣớc Hội Đồng:
a) ..............................................................................................................................
b)..............................................................................................................................
c) ..............................................................................................................................
9. Đánh giá chung (bằng chữ: giỏi, khá, TB): Điểm …………………….
Ký tên (ghi rõ họ tên)

www.clbrobot.com

www.robotgiaoduc.com


NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN:

……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
……………………………………………………………………………………
Điểm:

(Bằng chữ:

)
Tp.Hồ Chí Minh
Ngày

tháng

năm 2012

Giáo viên hƣớng dẫn

www.clbrobot.com

www.robotgiaoduc.com


LỜI CẢM ƠN
Lời đầu tiên, chúng em xin đƣợc gửi đến Thầy, PGS. TS. Lê Tiến Thƣờng lời cảm ơn chân
thành và sâu sắc nhất, ngƣời đã tạo điều kiện cho chúng em làm việc trong một môi trƣờng
gợi mở, tạo cơ hội cho chúng em phát triển ý tƣởng của mình. Nhờ có sự hƣớng dẫn và giúp
đỡ tận tình của Thầy trong suốt thời gian qua, chúng em đã có thể thực hiện và hồn thành
đồ án mơn học 2, thực tập tốt nghiệp và luận văn tốt nghiệp. Những lời nhận xét, góp ý và
hƣớng dẫn tận tình của Thầy đã giúp chúng em có một định hƣớng đúng đắn trong suốt quá
trình thực hiện luận văn, giúp chúng em nhìn ra đƣợc những ƣu khuyết điểm của Đề tài và
từng bƣớc hoàn thiện hơn.
Đồng thời, chúng em xin trân trọng cảm ơn các Thầy Cô của Trƣờng Đại Học Bách Khoa
nói chung và của khoa Điện - Điện Tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian
ngồi trên ghế giảng đƣờng Đại học. Những lời giảng của Thầy Cô trên bục giảng đã trang bị
những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm quý báu cho bản thân
trong những năm qua.

Bên cạnh đó, chúng tơi cũng xin cảm ơn toàn thể các bạn bè tại Trƣờng Đại Học Bách
Khoa, cảm ơn cộng đồng phát triển thƣ viện xử lý ảnh 3D - PCL, vì sự hỗ trợ và giúp đỡ của
các bạn trong suốt thời gian học tập tại trƣờng và suốt q trình hồn thành luận văn tốt
nghiệp này.
Và cuối cùng, chúng con gửi đến cha mẹ và các anh chị lời cảm ơn chân thành và sâu sắc
nhất. Sự quan tâm, lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho chúng con nỗ
lực hết mình trong cuộc sống.

Tp HCM, tháng 12 năm 2012
Trần Trƣờng Sơn – Võ Xuân Xăng

i

www.clbrobot.com

www.robotgiaoduc.com


TÓM TẮT LUẬN VĂN
Camera Kinect của Microsoft là một thiết bị có khả năng tạo ảnh depth map đƣợc biểu diễn
dƣới dạng đám mây điểm, tức là ảnh màu RGB có kèm theo thơng tin độ sâu trong mỗi pixel.
Thiết bị này có giá cả rẻ hơn các thiết bị quét bề mặt 3D truyền thống, do đó có tiềm năng
phát triển thành thiết bị quét 3D cầm tay phổ thông. Tuy nhiên, dữ liệu độ sâu (khoảng cách
từ vật thể đến camera) chụp từ Kinect có chất lƣợng khơng ổn định. Trong luận văn này, tập
hợp giải thuật cho phép ngƣời dùng chụp lại đám mây điểm của vật thể từ nhiều góc nhìn,
ghép nối, cải thiện chất lƣợng của đám mây điểm thu đƣợc từ Kinect và tái tạo mơ hình 3D
của vật thể sẽ đƣợc thực hiện.
Phƣơng pháp ghép nối cổ điển dùng giải thuật lặp điểm gần nhất (ICP) trong việc ghép nối
nhiều đám mây điểm lại thành một vật thể hoàn chỉnh chỉ tỏ ra đơn giản và cho kết quả tốt khi
giữa hai đám mây điểm có góc lệch nhỏ trong hệ tọa độ tồn cục. Do đó, phƣơng pháp này

u cầu ngƣời dùng phải thu thập một lƣợng lớn các đám mây điểm xung quanh vật thể để
đảm bảo góc lệch giữa các đám mây điểm không quá lớn. Nếu số đám mây điểm thu đƣợc q
ít, các đám mây có góc lệch q lớn thì phƣơng pháp ICP cho kết quả khơng tốt.
Giải thuật ICP kết hợp là phƣơng pháp mở rộng giải thuật ICP, bằng cách quan sát đánh
giá chỉ số khớp (Euclidian fitness score) để kết hợp một cách hài hịa giải thuật ICP cổ điển
với thuật tốn ghép đồng nhất mẫu ban đầu (SAC-IA), bao gồm các phƣơng pháp ƣớc lƣợng
vector pháp tuyến bề mặt, ƣớc lƣợng đặc tính bề mặt vật thể, sau đó q trình ghép nối thô sẽ
đƣợc thực hiện để định hƣớng các đám mây về hƣớng tƣơng đồng nhau trƣớc khi dùng giải
thuật ICP, nhằm tăng độ trùng khớp giữa chúng, và qua đó giảm số lƣợng các đám mây cần
thu thập, giảm thời gian thực thi thuật toán.
Cuối cùng, để phục vụ yêu cầu đánh giá chi tiết bề mặt trong một số ứng dụng, bề mặt vật
thể sẽ đƣợc tái tạo sau giai đoạn liên kết đám mây điểm thông qua các thuật toán tái tạo bề
mặt 3D tối ƣu nhƣ chiếu tam giác hóa, dạng alpha, chiếu lƣới, Marching Cubes.

ii

www.clbrobot.com

www.robotgiaoduc.com


MỤC LỤC

ĐỀ MỤC

Trang

LỜI CẢM ƠN ....................................................................................................................... i
TÓM TẮT LUẬN VĂN ....................................................................................................... ii
MỤC LỤC ........................................................................................................................... iii

DANH SÁCH HÌNH VẼ ..................................................................................................... vi
DANH MỤC BẢNG BIỂU .................................................................................................. x
DANH MỤC TỪ VIẾT TẮT .............................................................................................. xi

MỤC LỤC
Chƣơng 1 - Giới thiệu .......................................................................................................... 1
1.1 Đặt vấn đề .................................................................................................................... 2
1.2 Mục tiêu Luận văn........................................................................................................ 2
1.3 Phƣơng pháp thực hiện ................................................................................................. 3
1.4 Sơ lƣợc về nội dung luận văn ....................................................................................... 3
1.5 Những nghiên cứu liên quan ......................................................................................... 4
Chƣơng 2 – Tìm hiểu về camera Kinect .............................................................................. 5
2.1 Giới thiệu tổng quan về camera Kinect ......................................................................... 6
2.2 Những thành phần chính của camera Kinect ................................................................. 7
2.3 Tính tốn thơng tin độ sâu .......................................................................................... 10
2.3.1 Thu thập thông tin độ sâu..................................................................................... 10
2.3.2 Độ chính xác của giá trị độ sâu ............................................................................ 13
2.4 Một số đặc tính khác .................................................................................................. 14
2.4.1 Hạn chế từ ánh sáng cấu trúc ............................................................................... 14
2.4.2 Tiêu cự, góc mở IR camera và RGB camera ........................................................ 14
2.4.3 Cơng suất tiêu thụ và nguồn cung cấp .................................................................. 15
2.4.4 Môi trƣờng hoạt động .......................................................................................... 16
Chƣơng 3 – Các thƣ viện hỗ trợ ........................................................................................ 17
3.1 APIs hỗ trợ Kinect ...................................................................................................... 18

iii

www.clbrobot.com

www.robotgiaoduc.com

3.2 So sánh Kinect SDK và OpenNI ................................................................................. 19
3.3 Thƣ viện PCL ............................................................................................................. 23
Chƣơng 4 –Tái tạo mơ hình 3D ......................................................................................... 26
4.1 Sơ đồ giải thuật .......................................................................................................... 27
4.2 Cấu trúc của dữ liệu đám mây điểm ............................................................................ 29
4.3 Giai đoạn tiền xử lý đám mây điểm ............................................................................ 32
4.3.1 Lọc dữ liệu .......................................................................................................... 32
4.3.1.1 Bộ lọc không gian ......................................................................................... 33
4.3.1.2 Bộ lọc lƣới .................................................................................................... 34
4.3.2 Phân đoạn và phân nhóm vật thể .......................................................................... 35
4.3.2.1 Phân đoạn ..................................................................................................... 35
4.3.2.2 Phân nhóm .................................................................................................... 39
4.4 Giai đoạn liên kết đám mây điểm ............................................................................... 41
4.4.1 Giải thuật ICP ...................................................................................................... 42
4.4.2 Phƣơng pháp ghép thô SAC-IA ........................................................................... 45
4.4.2.1 Ƣớc lƣợng vector pháp tuyến bề mặt ............................................................. 45
4.4.2.2 Ƣớc lƣợng đặc tính đám mây điểm ............................................................... 48
4.4.2.3 Giải thuật đồng nhất mẫu ngẫu nhiên SAC-IA .............................................. 54
4.4.3 Quá trình liên kết từng cặp đám mây điểm thành vật thể hoàn chỉnh .................... 59
4.5 Giai đoạn cải thiện chất lƣợng đám mây điểm sau liên kết. ......................................... 65
4.5.1 Loại bỏ các phần tử nhiễu sử dụng phƣơng pháp thống kê ................................... 65
4.5.2 Xử lý bề mặt dùng phƣơng pháp Moving Least Squares ...................................... 67
4.6 Nhận xét ..................................................................................................................... 73
Chƣơng 5 – Tái tạo bề mặt vật thể .................................................................................... 76
5.1 Giới thiệu các phƣơng pháp tái tạo bề mặt .................................................................. 77
5.2 Các phƣơng pháp xây dựng lƣới đa giác ..................................................................... 78
5.2.1 Cấu trúc dữ liệu lƣới đa giác ................................................................................ 78
5.2.2 Hình dạng Alpha ................................................................................................. 79

5.2.2 Phƣơng pháp chiếu tam giác hóa.......................................................................... 83
5.3 Các phƣơng pháp tái tạo bề mặt .................................................................................. 85
5.3.1 Phƣơng pháp chiếu lƣới ....................................................................................... 85
iv

www.clbrobot.com

www.robotgiaoduc.com


5.3.2 Thuật toán Marching Cubes ................................................................................. 90
5.4 Nhận xét các thuật toán tái tạo .................................................................................... 94
Chƣơng 6: Kết luận và hƣớng phát triển .......................................................................... 97
Tài liệu tham khảo ............................................................................................................. 99
Phụ lục A – Sample Consensus ........................................................................................ 103
Phụ lục B - Các khái niệm cơ bản về hình dạng Alpha .................................................. 104

v

www.clbrobot.com

www.robotgiaoduc.com


DANH SÁCH HÌNH VẼ
Hình 2.1: Camera thu ảnh 3D – stereo camera ...................................................................... 6
Hình 2.2: Kết cấu của Kinect................................................................................................ 7
Hình 2.3: Ảnh RGB thu đƣợc từ camera Kinect ................................................................... 8
Hình 2.4: Bên trong Kinect: RGB camera, IR camera, Projector ........................................... 9
Hình 2.5: Động cơ điều khiển góc ngẩng Kinect .................................................................. 9

Hình 2.6: Mẫu hình đƣợc chiếu bởi projector và chụp lại bằng IR camera .......................... 10
Hình 2.7: Giả lập Kinect trong trƣờng hợp bộ phát IR chiếu một điểm duy nhất ................. 11
Hình 2.8: Ảnh độ sâu: điểm càng sáng thì càng gần. ........................................................... 12
Hình 2.9: Vùng nằm trong hình chữ nhật màu đỏ không xác định đƣợc độ sâu do cách Kinect
dƣới 50 cm. .......................................................................................................................... 13
Hình 2.10: Ví dụ về sự đổ bóng và nhiễu hồng ngoại gây ra bởi ánh sáng mặt trời. .............. 14
Hình 2.11: Bộ nguồn của cảm biến Kinect ........................................................................... 15
Hình 3.1: OpenNI, cung cấp giao diện tƣơng tác với các cảm biến và các thành phần trung
gian phân tích dữ liệu từ cảm biến…………………………………………………………………………………………..22
Hình 3.2: Logo của Thƣ viện đám mây điểm………………...……………………………………………………...24
Hình 4.1: Sơ đồ giải thuật: Giai đoạn tiền xử lý........................................................................................................27
Hình 4.2: Sơ đồ giải thuật: giai đoạn liên kết đám mây điểm dùng giải thuật ICP kết hợp (chỉ
mơ tả một vịng lặp cho một cặp đám mây điểm). ................................................................. 28
Hình 4.3: Sơ đồ giải thuật: giai đoạn cải thiện chất lƣợng đám mây điểm sau liên kết ......... 28
Hình 4.4: Các ví dụ về đám mây điểm ................................................................................. 29
Hình 4.5: Ví dụ về đám mây điểm PointXYZRGB (trái) và PointXYZ (phải) đƣợc hình dung
dƣới dạng màu xanh ............................................................................................................. 32
Hình 4.6: Ảnh hƣởng của bộ lọc không gian lên đám mây ở bên trái. Vùng không gian theo
trục z đƣợc giữ lại trong khoảng từ 0.3 đến 1.1m. ................................................................. 33
Hình 4.7: Ảnh hƣởng của bộ lọc không gian lên đám mây ở bên trái. Vùng không gian theo
trục x đƣợc giữ lại trong khoảng từ -0.5 đến 1m. .................................................................. 34
vi

www.clbrobot.com

www.robotgiaoduc.com


Hình 4.8: Đám mây điểm trƣớc và sau khi áp dụng bộ lọc lƣới với leaf size là 0.005 .......... 35
Hình 4.9: Đám mây điểm đƣợc phân đoạn và phân nhóm thành nhiều vật thể khác nhau. ... 36

Hình 4.10: Biểu diễn thuật toán 2D RANSAC, bên trái: một tập dữ liệu ngoại lai trong đó mơ
hình đƣợc một đƣờng thẳng; bên phải: xác định đƣờng thẳng với RANSAC, các điểm ngoại
lai khơng ảnh hƣởng đến kết quả .......................................................................................... 37
Hình 4.11: Các Đám mây điểm trƣớc và sau quá trình phân đoạn. Những mảnh vỡ từ đám
mây điểm ban đầu trở thành nhiễu của đám mây điểm mới................................................... 38
Hình 4.12: Một ví dụ về kết quả phân nhóm Euclide ........................................................... 39
Hình 4.13: Các đám mây điểm trƣớc khi phân nhóm và sau khi xử lý phân nhóm. Các mẫu
nhỏ (nhiễu) đã bị biến mất khỏi cịn đối tƣợng chính chúng ta quan tâm thì đƣợc giữ lại. ..... 41
Hình 4.14: Kết quả ghép nối hai đám mây điểm dùng ICP. .................................................. 43
Hình 4.15: Kết quả ghép nối hai đám mây điểm dùng ICP khi góc lệch hai đám mây điểm gần
bằng 30 độ. .......................................................................................................................... 44
Hình 4.16: Kết quả ghép nối ICP sai số nhiều khi hai đám mây điểm có góc lệch lớn. .......... 45
Hình 4.17: Ƣớc lƣợng vector pháp tuyến bề mặt: pháp tuyến tại một điểm đƣợc ƣớc lƣợng từ
các lân cận của nó nằm trong mặt cầu có bán kính 0.03 m .................................................... 47
Hình 4.18: Biểu diễn khung Darboux và góc đặc tính PFH cho cặp điểm 𝑝𝑠 và 𝑝𝑡 cũng với
vector pháp tuyến tƣơng ứng 𝑛𝑠 và 𝑛𝑡………………………………………………………..50
Hình 4.19: Biểu đồ vùng tính tốn đặc tính PFH. Điểm truy vấn (đỏ) và 𝑘-điểm lân cận (xanh)
đƣợc nối với nhau thành lƣới. ............................................................................................... 51
Hình 4.20: Ví dụ biểu diễn PFH của hai lớp điểm trong cùng đám mây điểm. ...................... 51
Hình 4.21: Biểu đồ vùng tính tốn đặc tính Fast Point Feature Histogram. ........................... 53
Hình 4.22: Vector pháp tuyến bề mặt can nhựa. ................................................................... 54
Hình 4.23: Biểu đồ FPFH của đám mây điểm can nhựa. ....................................................... 54
Hình 4.24: Các đám mây điểm sau khi ghép nối thô sử dụng SAC-IA, và ghép nối tinh chỉnh
sử dụng ICP. ........................................................................................................................ 58
Hình 4.25: Hình ảnh 2D của vật thể sử dụng làm mẫu. ......................................................... 59

vii

www.clbrobot.com

www.robotgiaoduc.com


Hình 4.26: Mƣời hai đám mây điểm thu đƣợc từ mọi góc nhìn khác nhau của vật thể, đủ để tái
tạo hồn tồn mơ hình của vật thể. ....................................................................................... 62
Hình 4. 27: Sơ đồ ghép nối từng cặp đám mây điểm............................................................. 63
Hình 4.28: Hai đám mây điểm của một nửa trái, phải của vật thể, (mỗi đám mây đƣợc ghép từ
sáu đám mây điểm ban đầu ở mỗi phía)................................................................................ 63
Hình 4.29: Đám mây điểm hoàn chỉnh sau khi ghép nối, nhìn từ hai góc khác nhau. ............ 64
Hình 4.30: Đám mây điểm trƣớc và sau khi áp dụng statistical outlier removal với 𝜇𝑘 = 50 và
𝜎𝑘 = 2. Giá trị 𝛼 đƣợc chọn là 1 .......................................................................................... 65
Hình 4.31: Đám mây điểm sau khi đã loại bỏ bớt outliers ..................................................... 66
Hình 4.32: Đám mây điểm bên trái thu đƣợc sau giai đoạn liên kết có outlier, nhiễu, chồng
chập của hai mặt, lỗ trống. Bên phải là đám mây điểm đã đƣợc làm trơn. ............................. 69
Hình 4.33: Bên trái là đám mây điểmthu đƣợc sau giai đoạn liên kết các đám mây điểm và
bên phải là kết quả sau khi thực hiện phƣơng pháp SAMPLE LOCAL PLANE làm trơn và
upsampling của MLS. .......................................................................................................... 70
Hình 4.34: Đám mây điểm trƣớc và sau khi RANDOM UNIFORM DENSITY MLS
upsampling. ......................................................................................................................... 71
Hình 4.35: Mơ hình vật thể đƣợc tái tạo hồn chỉnh dƣới các góc nhìn khác nhau. ............... 72
Hình 4.36: Đám mây điểm thu đƣợc của cơ thể ngƣời (đối tƣợng động) ............................... 73
Hình 4.37:Cơ thể ngƣời (đối tƣợng động) sau khi ghép nối, với chỉ số fitness score ngƣỡng là
0.001 và số vòng lặp (iterative) của thuật toán ICP + SAC-IA là 300. .................................. 74
Hình 4.38: Ghép nối đám mây điểm dùng ICP kết hợp SAC-IA giữ lại thông tin màu của các
đám mây điểm. .................................................................................................................... 75
Hình 5.1: Các thành phần trong mơ hình lƣới…………………………………………………………………………78
Hình 5.2: Lƣới đa giác đƣợc biểu diễn bằng phƣơng pháp mặt – đỉnh để lƣu trữ dữ liệu của
các đỉnh, các cạnh và mặt. .................................................................................................... 78
Hình 5.3: Các nhóm hình dạng bất quy tắc trong khơng gian thuộc tính 2D. So sánh các nhóm
đại diện bởi một đƣờng trịn, một ellip, một bao lồi và dạng 𝛼.............................................. 79

Hình 5.4: Một ví dụ về dạng 𝛼 trong khơng quan 2D (trong đó các “muỗng” hình cầu lúc này
trở thành các “muỗng” đƣờng tròn). ..................................................................................... 80

viii

www.clbrobot.com

www.robotgiaoduc.com


Hình 5.5: Giản đồ Voronoi trƣờng hợp 2D chia mặt phẳng thành các đa giác, mỗi đa giác
chứa một điểm 𝑝𝑖 ∈ 𝑆 thỏa mãn mọi vị trí bất kì trong đa giác 𝑃𝑖 có khoảng cách điểm
𝑝𝑖 ∈ 𝑃𝑖 là ngắn nhất so với khoảng cách từ vị trí đó đến điểm 𝑝𝑗 ∈ 𝑃𝑗. ................................ 81
Hình 5.6: Tái tạo bề mặt dùng dạng 𝛼 cho kết quả tốt, khơng nhiều và khơng có lỗ trống với
𝛼 = 0.01.............................................................................................................................. 82
Hình 5.7: Lƣới tam giác của não bộ...................................................................................... 83
Hình 5.8: Phƣơng pháp xây dựng lƣới đa giác dùng thuật toán chiếu tam giác hóa. .............. 85
Hình 5.9: Giải thuật chiếu lƣới xấp xỉ bề mặt ẩn (đƣờng xanh lam) và tạo bề mặt đơn hình
(đƣờng xanh lá) thơng qua sự định hƣớng và độ lớn của các vector (màu cam) xác định tại hai
đầu của cạnh cắt bề mặt đám mây điểm ................................................................................ 86
Hình 5.10: Dữ liệu đầu vào và các cell đệm.......................................................................... 86
Hình 5.11: Vector tại đỉnh các voxel. ................................................................................... 87
Hình 5.12: Các vector có hƣớng ngƣợc nhau quanh các voxel chứa các điểm thuộc đám mây
điểm. .................................................................................................................................... 87
Hình 5.13: Các cạnh nối đỉnh chứa vector ngƣợc chiều nhau. ............................................... 88
Hình 5.14: Các cạnh có giao điểm với bề mặt và tâm của voxel. .......................................... 88
Hình 5.15: Hình chiếu của tâm voxel lên bề mặt đám mây điểm và sự hình thành bề mặt. .... 89
Hình 5.16: Tái tạo bề mặt dùng thuật toán chiếu lƣới cho kết quả rất đẹp, khơng nhiễu và
khơng lỗ trống. ..................................................................................................................... 90
Hình 5.17: 15 dạng cấu hình của các mặt tam giác ............................................................... 92

Hình 5.18: Mã hóa bảng tra cứu LUT................................................................................... 92
Hình 5.19: Nội suy vị trí của tam giác .................................................................................. 93
Hình 5.20: Kết quả của thuật toán Marching cubes chấp nhận đƣợc, khơng có lỗ trống và
nhiều (với LeafSize = 0.003,isoLevel =0.003, useDot = 0). .................................................. 93
Hình 5.21: Tái tạo bề mặt 3D cơ thể ngƣời: ngực và đầu, sử dụng dạng alpha và chiếu tam
giác. ..................................................................................................................................... 95
Hình 5.22: Tái tạo mơ hình 3D một phần cơ thể ngƣời: ngực và bụng. Từ trái qua, sử dụng
dạng alpha, chiếu lƣới và chiếu tam giác. ............................................................................. 96

ix

www.clbrobot.com

www.robotgiaoduc.com


Hình B.1: Các cửa hàng trong thành phố phẳng và cell Voronoi cell tƣơng ứng (theo khoảng
cách Euclide). .................................................................................................................... 104
Hình B.2: Trái: tam giác hóa Delaunay triangulation cùng với các đƣờng trong ngoại tiếp và
tâm đỏ. Phải: kết nối các tâm của đƣờng tròn ngoại tiếp tạo thành giản đồ (đỏ). ................. 105
Hình B.3: Các dạng alpha shape cho các giá trị alpha phát triển. ........................................ 106

DANH MỤC BẢNG BIỂU
Bảng 2.1 Góc mở và tiêu cự của RGB và IR camera [3] ............................................ 15

x

www.clbrobot.com

www.robotgiaoduc.com

DANH MỤC TỪ VIẾT TẮT
0
3D

Three Dimensional – Ba chiều

6DoF

Six Degrees of Freedom – Sáu mức tự do

A
API

Application Programming Interface – Giao diện lập trình ứng dụng

AUX

Auxiliary Port – Cổng bổ trợ

C
CAD

Computer Aided Design – Thiết kế đƣợc Máy tính Hỗ trợ

CMOS

Complementary Metal-Oxide Semiconductor –
Bán dẫn oxit kim loại bổ sung

CPU

Central Processing Unit – Đơn vị Xử lí Trung tâm

F
FLANN

Fast Library for Approximate Nearest Neighbors –
Thƣ viện Hỗ trợ Tính tốn Điểm Lân cận Gần nhất

FPFH

Fast Point Feature Histogram – Biểu đồ Đặc tính Điểm Thu gọn

G
GUI

Graphical User Interface – Giao diện ngƣời sử dụng

GPU

General-Purpose Computing on Graphics Processing Units –
Tính tốn Mục đích Chung trên Bộ Xử lý Đồ họa

I
IR

Infrared – Hồng ngoại

NI

Natural Interaction – Tƣơng tác Tự nhiên

ICP

Iterative Closest Point – Phƣơng pháp Lặp Điểm Gần nhất

xi

www.clbrobot.com

www.robotgiaoduc.com


L
LED

Light Emitting Diode – Điốt Phát Quang

M
MLS

Moving Least Squares – Phƣơng pháp Bình phƣơng Cực tiểu Động

N
NARF

Normal Aligned Radial Feature –
Đặc tính Liên kết Hƣớng Vector Pháp tuyến Bề mặt

NURBS

Non-Uniform Rational B-Spline – Mơ hình B-Spline Hữu tỷ Khơng Đều

P
PCA

Principal Component Analysis – Phân tích Thành phần Chính

PCD

Point Cloud Data – Dữ liệu Đám mây Điểm

PCL

Point Cloud Library – Thƣ viện Đám mây Điểm

PFH

Point Feature Histogram – Biểu đồ Đặc tính Điểm

R
RANSAC RANdom SAmple Consensus – Giải thuật Đồng nhất Mẫu Ngẫu nhiên
RGB

Red Green Blue – Màu thực

S
SAC

SAmple Consensus – Đồng nhất Mẫu

SAC-IA

SAmple Consensus Initial Alignment – Ghép Đồng nhất Mẫu Ban đầu

SDK

Software Development Kit – Bộ công cụ Phát triển Phần mềm

T
TOF

Time Of Flight

V
VTK

Visualization Toolkit – Thƣ viện Hiển thị

xii

www.clbrobot.com

www.robotgiaoduc.com


Ứng dụng ICP kết hợp - tái tạo mơ hình 3D

GVHD: PGS.TS Lê Tiến Thƣờng

Chƣơng 1 - Giới thiệu
___________________________________________________________________________

Chƣơng 1: Giới thiệu
www.clbrobot.com

1

SVTH: T.T Sơn - V.X Xăng
www.robotgiaoduc.com


Ứng dụng ICP kết hợp - tái tạo mơ hình 3D

GVHD: PGS.TS Lê Tiến Thƣờng

1.1 Đặt vấn đề
Tái tạo bề mặt 3D của các vật thể nhỏ trong điều kiện giới hạn về không gian, thiết bị, chất
lƣợng… đã đƣợc nghiên cứu và áp dụng vào nhiều lĩnh vực nhƣ thiết kế và tạo mẫu ảo, kiểm
định chất lƣợng, trò chơi điện tử, tạo mơ hình thế giới ảo, mơ hình hóa sản phẩm, mơ phỏng
mặt ngƣời làm hình đại diện,… Kỹ thuật quét hình 3D hiện hành thƣờng dựa trên những thiết
bị cảm biến phức tạp và chuyên nghiệp nhƣ hệ thống camera/máy chiếu dùng công nghệ ánh
sáng cấu trúc (structured light) hoặc laser định tầm. Mặc dù dữ liệu thu đƣợc có chất lƣợng
cao nhƣng các thiết bị trên tốn kém và thƣờng đòi hỏi ngƣời sử dụng có kiến thức chun
mơn để có thể vận hành. Vì thế ngƣời dùng bán chuyên nghiệp không đƣợc sử dụng những
cơng nghệ đó. Mặt khác, nếu máy qt 3D giá rẻ và dễ vận hành trở nên phổ biến hơn thì mơ
hình vật thể 3D có thể đƣợc sử dụng rộng rãi hơn giống nhƣ hình ảnh và video hiện nay. Điều
này có thể mở rộng sự phát triển của nhiều ứng dụng mới, ví dụ nhƣ trong lĩnh vực hội họa và

điêu khắc, trong các nền tảng web cộng đồng hoặc mua sắm trực tuyến.
Camera độ sâu (depth camera) nhƣ cảm biến Microsoft Kinect là một loại thiết bị mới phát
triển trong thời gian gần đây đã thu hút sự chú ý của đơng đảo giới giải trí và cộng đồng khoa
học. So với các loại máy quét 3D thơng thƣờng, camera độ sâu có thể thu thập đƣợc dữ liệu
màu và chiều sâu của vật thể (khoảng cách từ vật thể đến camera) ở tốc độ khung hình khá
tốt, ít phụ thuộc vào điều kiện ánh sáng và hoa vân bề mặt (texture). Camera Kinect nhỏ gọn,
giá rẻ và dễ dùng nhƣ một máy quay video thích hợp cho ngƣời dùng phổ thông.
Kinect đã đƣợc dùng nhƣ là một máy quét 3D, tuy nhiên độ phân giải X/Y và độ chính xác
của thơng tin độ sâu trong dữ liệu thu đƣợc cịn tƣơng đối thấp. Do đó, luận văn này sẽ khắc
phục các vấn đề trên, tái tạo mơ hình 3D của vật thể với chất lƣợng tốt trên máy tính chỉ với
camera Kinect cầm tay.

1.2 Mục tiêu Luận văn
Luận văn này sử dụng phƣơng pháp ghép nối, tái tạo mơ hình từ các đám mây điểm thu
đƣợc từ camera Kinect dƣới các góc nhìn khác nhau thỏa mãn điều kiện các đám mây điểm
phải có miền phủ chồng lên nhau đủ lớn, tức là góc nhìn vật thể giữa các đám mây điểm kế
cận không chênh lệch quá lớn. Ngƣời dùng có thể thu đƣợc các đám mây điểm này bằng cách
di chuyển camera Kinect tự do xung quanh vật thể. Chuyển động hoặc thiết lập của camera
khơng nhất thiết phải xác định cụ thể. Từ đó, các đám mây điểm đƣợc ghép lại với nhau tạo
thành một mơ hình đám mây điểm hồn chỉnh, số điểm của đám mây điểm cuối bằng tổng số
điểm của các đám mây điểm ghép lại, có thể lấy mẫu downsample hoặc upsample bằng thuật

Chƣơng 1: Giới thiệu
www.clbrobot.com

2

SVTH: T.T Sơn - V.X Xăng
www.robotgiaoduc.com

Ứng dụng ICP kết hợp - tái tạo mơ hình 3D

GVHD: PGS.TS Lê Tiến Thƣờng

toán để cải thiện độ phân giải (mật độ). Thuật tốn tái tạo mơ hình 3D thích hợp sẽ tạo đƣợc
bề mặt 3D từ mơ hình đám mây điểm hồn chỉnh này.
Q trình qt và xử lý này đơn giản đối với ngƣời dùng phổ thông, chỉ với máy vi tính và
camera Kinect. Các kết quả thực nghiệm cho thấy kết quả đảm bảo tốt hình dạng của vật thể
trong giới hạn cho phép. Với chi phí cho camera khoảng 150$, phƣơng pháp này rẻ hơn nhiều
so với phƣơng pháp sử dụng máy quét 3D truyền thống.
Mục tiêu của Luận văn này đƣợc tóm gọn lại nhƣ sau:
 Thu dữ liệu đám mây điểm từ camera Kinect, tiền xử lý dữ liệu bằng các thuật toán lọc
để chuẩn bị tốt cho công đoạn ghép nối và tái tạo vật thể.
 Sử dụng giải thuật liên kết các đám mây điểm (registration) dùng giải thuật ICP kết hợp
bao gồm giải thuật ghép thô (coarse alignment) và ghép tinh chỉnh (fine alignment) khơi
phục mơ hình 3D của vật thể.
 Thực thi các giải thuật cải thiện chất lƣợng bề mặt tối ƣu sau quá trình ghép nối các đám
mây điểm.
 Tái tạo lại bề mặt của vật thể.

1.3 Phƣơng pháp thực hiện
Hai giai đoạn chính của q trình xử lý là liên kết các đám mây điểm (registration) và tái
tạo bề mặt (reconstruction). Trƣớc khi các đám mây điểm đƣợc liên kết, chúng đƣợc tiền xử
lý thông qua các bộ lọc nhiễu và vật thể xung quanh không cần thiết. Giai đoạn liên kết các
đám mây điểm đƣợc chia làm hai tác vụ kết hợp một cách hợp lý là ghép nối thô và ghép nối
tinh chỉnh. Sau đó, các giải thuật cải thiện chất lƣợng bề mặt gồm có giải thuật làm trơn bề
mặt, upsampling sẻ đƣợc thực thi. Giai đoạn cuối cùng là tái tạo bề mặt. Các giải thuật tái tạo
bề mặt gồm có chiếu tam giác hóa với ƣu điểm bảo tồn màu sắc của vật thể, dạng alpha có
ƣu điểm tạo đƣợc bề mặt chi tiết, chiếu lƣới tạo bề mặt trơn và marching cubes với giải thuật

không quá phức tạp, thời gian thực thi ngắn và đƣợc sử dụng rộng rãi từ lâu, chất lƣợng bề
mặt chấp nhận đƣợc.

1.4 Sơ lƣợc về nội dung luận văn
Luận văn gồm có các chƣơng:
•

Chƣơng 1 – Giới thiệu: Sơ lƣợc về tái tạo bề mặt 3D, những vấn đề hiện tại và tổng
quan về nội dung luận văn.

Chƣơng 1: Giới thiệu
www.clbrobot.com

3

SVTH: T.T Sơn - V.X Xăng
www.robotgiaoduc.com