Xây dựng mô hình ba chiều của trường ĐHQG hà nội bằng máy quay cầm tay và các ứng dụng trong mô hình ba chiều này (báo c

ĐẠI H Ọ C Q U Ó C GIA H À NỘI

XÂY DỤNG MÔ HÌNH BA CHIÈU CỦA TRƯỜNG
ĐHQG HÀ NỘI BẰNG MÁY QUAY CẦM TAY
VÀ CÁC ỨNG DỤNG TRONG MÔ HÌNH BA CHIÈU NÀY
(BUIDING 3D MODEL OF THE HANOI NATIONAL UNIVERSITY
WITH HAND-HELD CAMERA
AND APPLICATIONS OF THIS 3D MODEL)
( Báo cáo tổng họp đề tài nghiên cứu khoa học cấp Đại học quốc gia
do Trường Đại học Công nghệ quản lý )

Mã số: QC.05.02
Chủ nhiệm đề tài:

Tiến sĩ Bùi Thế Duy

I
1

*đhọghn 1

Í.6
-D
) 6

Hà Nội - 2006
-------------------


1

PHIÉƯ ĐĂNG KÝ

KÉT QUẢ NGHIÊN c ử u KH - CN
Tên đê tài: X â y dựng m ô hình ba chiêu của Đ H Q G H à N ộ i băng m áy quay câm tay

và các ứng dụng trong mô hình ba chiều này.
Mã số: QC.05,02
Cơ quan quản lý đê tài: Đại học Quôc gia Hà Nội
Địa chỉ: 144, đường Xuân Thuỷ. c ầ u Giấy - Hà Nội
Điện thoại: 8340564

Cơ quan chủ trì đề tài: Trường Đại học Công nghệ, Đại học Quôc gia Hà Nội
Địa chỉ: 144, dường Xuân Thuý. c ầ u Giấy - Hà Nội
Điện thoại: 7547810
Tông chi phí thực chi: 30.000.000 VNĐ
(từ ngân sách nghiên cứu khoa học của nhà nước cấp cho ĐHQGHN)
Thòi gian nghiên cứu: 12 tháng
Thòi gian bắt đầu: 01/07/2005
Thòi ginn kết thúc: 01/07/2006
Tên các cán bộ phôi h<ỵp nghicn cứu:
- Clúi trì đề tài:
Tiến sĩ Bùi Thế Duy, Bộ môn Mạng và Truyền thône máy tính. Trường Đại học Công
nghệ. Đại học Quốc gia Hà Nội.
-

Cán bộ (liiim gia:
o

Tlis. Đặng Trung Kiên, Bộ môn Mạng và Truyền thôna máy tính. Trường Đại học
Cônu niỉhệ. Đại học Quốc gia Hà Nội (Nghiên cửu sinh tại đại học Amsterdam. Hà

Lan).

o

Ts. Nmiyễn Việt Hà, Bộ môn Công nghệ phần mềm, Trường Đại học Công nghệ,
Đại học Quốc gia Hà Nội.

o

Ths. Dào Minh Thư. Bộ môn Mạng và Truyền thông máy tính. Trường Đại học
Cô nu nghệ. Dại học Quôc nia Mà Nội.

o

Ths. Ma I hị Chàu. Bộ mòn Khoa học Máy tinh. Trương Dại học Công nghệ. Đại


2

học Quốc gia H à Nội.
o

CN. Đồ M inh Phương, Bộ môn Mạng và Truyền ĩhông máy tính. Trường Đại học
Công nghệ. Đại học Quốc gia Hà Nội.

Sô đãng ký đê tài

Sô chứng nhận đăng ký KQNC

^Ẹảô-m ât------------Ạ^ Phỏ biến rộngjãj_--/

B. Phổ biến hạn chế

c. Bào
Ngày

mật

Ngày

Tóm tắt kết quả nghiên cứu
a. Kết quả về khoa học (những đóng góp của đề tài, các công trinh khoa học công bố)
•

02 bài báo tại hội nghị quốc tế

The Duy Bui (2006). Applying AI techniques for transferring 3D facial animation.
In: Proceedings o f ICTACS2006, August 2006.
Trung Kien Dang, M. Worring (2006). A Normalization Technique for 3D
Reconstruction from Video Sequences. In: Proceedings o f ASC I Conference.
Lommel, Belgium.
•

01 bài báo tại tạp chí Đại học Quôc gia

Trung Kien Dang and The Duy Bui (2006). Toward building 3D model o f Vietnam
National university from video sequences. VNU Journal o f Science.
•

01 báo cáo khoa học tại hội nghị trong nước

M a Thị Châu (2005). Dựng mô hình 3 chiều từ ánh chụp. Báo cáo tại Hội nghị toàn
quốc lần II: ứ n g dụng toán học, 12-2005
b. Kết quả phục vụ thực tế (các sản phẩm công nghệ, khả năng áp dụng thực tế)
•

Bộ eône cụ trợ giúp mô hình ba chiều từ anh cho trước

c. Kết quà đào tạo (số lượng sinh viên, học viên cao học. nghiên cứu sinh làm việc trong
đề tài)
•

03 luận văn thạc SV

M a Thị Châu, “ Xây dựng các mô hình 3 chiều sứ dụng camera cầm tay” , luận văn
thạc SỲ. Truờnu Đại học Công nghệ. 2005
Đào Thị Minh Thư. "Mô hình chuyên động hình nhân 3D: tương tác người máy và


3

các ứng dụng khác”, luận văn thạc sỹ. Trường Đại học Côna nghệ. 2005
Nguyễn Thu Hà, “Nghiên cứu các mô hinh mặt và các kỹ thuật chuvên động” , luận
văn thạc sỹ. Trườne Đại học Công nghệ. 2006.
•

02 khóa luận cử nhân CNTT

Nguyễn Thị Thanh Nga, "Giao tiếp naười - máy với khuôn mặt hoạt hình”, khóa iuận
tốt nghiệp, Trường Đại học Công nghệ. 2006.
Lê Quang Binh, “Nghiên cứu đánh giá sự mô phong cám xúc cho các nhàn vặt ao",

khóa luận tốt nghiệp. Trường Đại học Côna nghệ. 2006.
d. Kết qua nâng cao tiềm lực khoa học (nâng cao trình độ cán bộ và tảng cường trang
thiết bị cho đơn vị)
Nâng cao năng lưc chuyên môn cùa cán bộ bộ môn vê các lĩnh vực xứ lý anh, thực tại
ảo và thực tại trộn
Kiến nghị về quy mô và đối tuọng áp dụng kết quả nghiên cứu:
Đe nghị được tích hợp và thừ nghiệm các sản phẩm của đề tài vào các hệ thống thực tại ao
và thực tại trộn đê tạo môi trường nahiên cứu. được hỗ trợ đề phát triển du lịch ào trên các
mô hình 3D.

Chức

Chu

UI

n h iệ m

■
đê t à i

Họ xà tên

Bùi Thể Du\

Học vị

Tiên sĩ

_____

Ký ten

Donn dâu

I

ị

!

1hù trườn” cơ quan
4Ĩ ,.
chù tri đẽ tái

Chu t ch Hội đòng
đánh giá chính thức

Thu trươnịi cơ quan
quan K đẻ tài


4

ĐẠI H Ọ C Q U Ố C GIA HÀ NỘI

X Â Y D Ụ N G M Ô H Ì N H BA C H I È U C Ủ A Đ H Q G H À N Ộ I
BẰNG M Á Y Q U A Y C ẦM TAY VÀ CÁC Ứ N G DỤNG TRO NG
M Ô H Ì N H BA C H I È U N À Y
(B U 1D IN G 3D M O D E L O F T H E H A N O I N A T I O N A L U N IV E R S IT Y

W IT H H A N D - H E L D C A M E R A
A N D A P P L IC A T IO N S O F T H IS 3D M O D E L )
( B áo cáo tổ n g h ọ p đề tài nghiên cứu kh o a học cấp Đại học quốc gia
do T rư ờ n g Đại học C ô n g ng hệ qu ản lý )

M à số: Q C .05.0 2
C hu n h iệ m đề tài:

Tiến sĩ Bùi T hê D uy

Đ A ì H Ọ C Q U Ô C G IA H À NÔI
I TRUNG TÂ M THÕNG TIN THƯ V IÊ N

’

p T

/

1 1 0 _____

_


5

H à N ội - 200 6

MỤC LỤC
MỤC L Ụ C ...................................................................................................................................... 5

DANH MỤC BẢ NG BIÊU HÌNH V Ẽ ................................................................................... 6
CH Ư ƠN G 1: GIỚI T H I Ệ U ........................................................................................................7
1.1. Bổi cảnh và mục đích của đề t à i .................................................................................. 7
1.2. Nội dung nghiên c ứ u ...................................................................................................... 8
1.3. Cấu trúc của báo c á o ...................................................................................................... 8

CHƯƠNG 2: MỘT SÓ x u HƯỚNG LIÊN QUAN ĐÉN VIỆC XÁY DựNG CÁC
MÕ HÌNH 3 CHIÊU TỪ CÁC BỬC ẢNH 2 C H IỀU .........................................................9
CH Ư Ơ N G 3: XÂY D ự N G CÁC MÔ HÌNH BA CHIÊU BẦNG M ÁY QUAY
CẢM T A Y ................................................................................................................................ 12
3.1. Các kĩ thuật trong bài toán dựng mô hình 3 chiều ............................................. 12
3.1.1. Qui trình dựng mô hình 3 chiều....................................................................... 12
3.1.2. Trích chọn đặc tr ư n g .......................................................................................... 15
3.1.3. Bài toán đối sánh................................................................................................. 17
3.1.4.

Tìm ma Irận cư ban F ....................................................................................23

3.1.5. Chinh sứa a n h ......................................................................................................25
3.1.6. Khôi phục độ sâu.................................................................................................27
3.2. Mô hình bộ cônạ cụ dựng mô hình 3 chiều từ cập á n h ..................................... 29
3.2.1. Điếm nóc S U S A N .............................................................................................. 29
3.2.2. Đối sánh điểm RÓC S U S A N .................................................................................32
3.2.3. Thuật toán tính ma trận cơ ban sứ dụng R A N S A C ...................................... 36
3.2.4. Chinh sưa anh báne phương pháp chuyên đôi san 2 tọa độ c ự c ................. 37
3.2.5.

Xây dự ns anh chinh s ử a .................................................................................39

3.2.6. Đổi sánh miền dựa vào cứa sồ tương q u a n .....................................................42

3.2.7. Thuật toán tam d á c tối ưu tính độ sâu cho một cặp điêm anh đối sánh. 46
3.3 Một số két q u a ................................................................................................................. 52
Cl II ONG 4:XẢY Dl.'KCi ÚNCì D tíN G DỤ’A TRẼN MÔ HÌNH BA CHIÊU CUA
ĐẠ] 11ỌC Q UỎC G IA ............................................................................................................. 54
4.1 ứ im dụnu du lịch ao trên mô hình ba chiêu cua đại học quốc aia.................... 54
4.2 Ún lì đụntì hoạt họa cho các nhân vật a o ................................................................... 56


6

CH Ư Ơ N G 5: KÉT L U Ậ N ...................................................................................................... 59
TÀI LIỆU TH A M K H Ả O ...................................................................................................... 60
Tài liệu Tiếng A n h :..........................................................................................................60
Mã nguồn và công cụ hỗ trợ:......................................................................................... 62

DANH MỤC BẢNG BIỂU HÌNH VẼ
Hình
Hình
Hình
Hình
Hình
Hình
Hìnli
Hình
Hình
Hình
11ình
Hình

3.1. Qui trình dựng mô hình 3 chiều từ chuỗi các ành đâu vào........................ 12

3.2. Độ chênh lệch và mối quan hệ với độ s â u ........................................................ 14
3.3. Dựng mô hình 3 chiều từ cặp a n h .......................................................................15
3.4. Đối sánh á n h ........................................................................................................... 18
3.5. So sánh một số thuật toán đối sánh dựa trônm iề n ........................................... 21
3.6. Tìm điểm tương ứng x ’ của X qua mặt phăng 7r ............................................. 24
3.7. Ràng buộc epipolar................................................................................................ 26
3.8. Chinh sửa ả n h ..........................................................................................................27
3.9. Mối liên hệ giữa độ chênh lệch và độ s â u ........................................................28
3.13. Đối sánh không đối x ứ n g ................................................................................... 35
3.19. Biếu diễn dối sánh giữa các cặp điểm của ảnh trái và p h ả i....................... 44
3.20. Khoániì cách tới đường cpipolar nhỏ nhất..................................................... 46


7

CHƯƠNG 1: GIỚI THIỆU
1.1. Bối cảnh và mục đích của đề tài
Hiện nay trên thế giới, các mô hình ba chiều đang nhận được nhiều sự quan tâm từ
các nhà nghiên cứu. Khả năng ứng dụng cùa các mô hình ba chiều là rat to lớn, nhât
là trong việc tạo ra các môi trường ảo. Mô hình ba chiều của một bảo tàng có thê
giúp người sử dụng máy tính đi tham quan bảo tàng một cách “ảo" chù bằng cách
ngồi trước máy tính và bấm chuột. Nhân viên bảo vệ cua một trường đại học có thế
đi rà soát các phòng học một cách "ảo’' khi chi cần ngồi trước máy tính. Đây là kêt
quá của việc trộn hiện thực (thông tin từ các máy quay an ninh cố định) với mô hình
ba chiều ào. Đế xây dựng được các mô hình ba chiều, một phương pháp truyên
thống là sử dụng nhàn viên kỹ thuật xây dựntỉ bàng tay các mô hình trên máy, sau
dó ghép thêm dử liệu ảnh nền. Tuy nhiên phươno. pháp này đòi hỏi công sức cua
người lao dộng rất cao. Với khoảng 5 nhân viên kỹ thuật, có thê tốn từ 3-6 tháng đê
xây dựng một mô hình ba chiều. Khi cần thay dồi, lại đòi hỏi công sức lao động đê
sưa chữa mỏ hình hoặc thậm chí làm lại từ đầu. Một công nghệ mới đang được

nghiên cứ là sứ dụng các dữ liệu từ một máy quay cầm tay đẻ tạo nên các mô hình
ba chiều một cách tự động.
Cách liếp cận dựa trên àtih hay dữ liệu từ máy quay câm tay có rât nhiêu ưu điẻm.
Cảnh cần mỏ hình hóa dược quay ở các khung nhìn khác nhau. Mối quan hệ giữa
các dữ liệu dầu vào đưọ '0 tính toán tự động từ thông tin lẩy được trực tiếp cua ánh
thông qua các thuật toán. Do vậy không cần đến các so do khung cành, hay các thu
tục hiệu chinh thiết bị bànc tay như các kĩ thuật truyền thốne nữa. Bên cạnh đó cách
tiếp cận dựa trên ánh này lại rất linh hoạt ơ chỗ rất dễ dàng mô hình đối tượne có
kích cữ nhỏ cũn ti nhu mô hình một khung cành rộng lớn.
Hiện tại tron tỉ nước, hầu như chưa có mô hình ba chiều nào được triển khai. Nội
đuntí imhiên cửu cua đề tài tập trun li vào việc triên khai các nghiên cứu về phân tích
\ ư K anh. đo họa máv tinh dè tạo nên các mô hình ba chiêu một cách tự dộng, chính


8

xác. Đồng thời nghiên cứu các ứng dụng trong lĩnh vực thực tại ao (virtual reality)
và thực tại trộn (mixed reality) trong mô hình ba chiều này.
Mục tiêu cúa đề tài là phát triển phương pháp xây dime mô hinh ba chiêu cua
ĐHQG Hà Nội. Từ đó đưa ra phương pháp chung để xây dựng các mô hình ba
chiều khác. Đồng thời phát triển các ứng dụng trong mô hình ba chiều này như tham
quan ĐHQG ảo. hệ thống an ninh ĐHQG dựa trên côim nghệ thực tại trộn, và đào
tạo điện tứ.

1.2. Nội dung nghiên cứu
- Xây dựng các mô hình ba chiều bàng máy quay cầm tay: Dựa trên các phân tích
xử lý ánh thu được liên tục từ các máv quay cầm tay. tạo ra các mô hình 3 chiều và
các anh bề mặt. Sử dụng đồ họa ba chiều đè tái tạo các mô hình này trên màn hình
máy tính.
- Xây dụng một số ứng dụng thực tại ảo và thực tại trộn dựa trên mô hình 3 chiêu

cua Đại học Quốc Gia Hà Nội: Xây dựng ứng dụng phục vụ tham quan Đại học
Quốc Gia trực tuyển; Xây dựng ứng dụng hoạt họa các nhân vật ao trong các mỏ
hình 3D.

1.3. Cấu trúc của báo cáo
- Chương 1: Giới thiệu chung về các mô hình 3 chiều và công nghệ thực tại ảo, thực
tại trộn
- Chirơnu 2: Một số xu hưórm 1lẽn quan đèn việc xây dựnc các IT1Ô hình ba chiêu từ
các bức anh hai chiêu
- Chưonu 3: Xây dựng các mô hỉnh ba chiều bàng máy quay cam tay
- ChưoTìU 4: Xây đựnc ửne dụnu dựa trẽn mô hình 3 chiều của ĐHQG
- Cliưonu 5: Két luận


9

CHƯƠNG 2: MỘT SỐ xu HƯỚNG LIÊN QUAN ĐÉN VIỆC
XÂY DỰNG CÁC MỔ HÌNH 3 CHIÈU TỪ CÁC BỨC ẢNH 2
CHIỀU
Đô hoạ 3 chiêu được nghiên cứu ở các trường đại học từ những năm 1970 và được
thương mại hoá khi Hollywood chú ý đến nhũng nghiên cứu này vào nhữnti năm
1980 [10]. Hình ảnh chuyển động lúc sơ khai là nghành công nghiệp xa xì và chi
được sử dụng hạn chê đôi với các công cụ tài chính. Củng với sự phát triên cua các
gói phân mêm chuấn cùa mô hình hoá và chuyển động, 3 chiều dần xuất hiện trong
công nghệ truyền hình và các video chuyên nghiệp. Hay nói cách khác, nghệ thuật 3
chiều dã tim dược chồ đửnu trong các dịch vụ đa phương tiện.
Việc sử dụng mô hình 3 chiều cho mục đích hiền thị ngày càng trờ nên quan trọng.
N hũng năm vừa qua, trong lĩnh vực thị giác máy, người ta chủ trọng nhiều đến vấn
đề diều khiên và điều hướng robot, tuy nhiên gần đây, hướng quan tâm đã có sự
thay đôi. Nmrừi ta chú trọn li nhiều đến vấn đề tương tác và hiển thị. Các mỏ hình 3

chiều cỏ tính chân thục cao là thành phần không thế thiếu khi mô phone và hiên thị
sự vật. sự kiện. Dồ họa 3 chiều trái rộng trên nhiều ứng dụng như trong trò chơi
diện tử, cône nghiệp làm phim, trình chiếu dối tượng trong thực tại trộn phục vụ
cho y té. quân sụ. hàng không, giáo dục... Trong trò chơi điện tư, đồ hoạ 3 chiều
thực sự bộc lộ đặc tính ưu việt của nó đáp ứng nhu cầu, thị hiếu khách hàng. Chất
lượng đồ ho ụ cùng như kha năng đáp ứng thời gian thực cua các ứne dụna 3 chiêu
thay đổi nhanh chóng do sự thay đổi chóng mặt của các thiết bị phần cứng cũng như
công ntỉhệ. Tiếp đó, là sự bùng nổ của các ứng dụng 3 chiều trên Internet. Do vậy,
dồ hoạ 3 chiều đã ngày càng trừ nên quen thuộc.
Mon 3 thập ki qua. mô hình hoá và chuyên độnu 3 chiêu được chuân hoá trong cac
phần mỏm tlurorm mại. Maya. 3Dstudio Max, Softimage hay Lightwave [27] là
I ll ume Hỏi ứ n u d ụ n u đ i ể n h ình d ư ợ c SU' dụníĩ t ro n g e i á o dục c ủ n g n h ư c ô n g n g h ệ 3

chiều. Tất ca nhữntì íỉói ửnti dụnu này đêu tuưim tự hoặc liên quan đến các kĩ năng
cua nyliệ thuật đồ họa truyền thong nhưng áp dụng trong môi trường kT thuật số: mô


10

hình hoá tương tự như nghệ thuật điêu khắc, textunng liên quan đến kĩ thuật vẽ
hoặc minh hoạ.
Một hạn che lớn nhất cùa các kĩ thuật dựng mô hình 3 chiều truyền thống là giá
thành cao khi mà người ta vẫn phải thao tác thủ công và sừ dụng các thiêt bị chuyên
dụng. Các thiết bị dùng cho thiết kế và hiển thị đồ họa như máy quét laze, màn hình
hiển thị và các thiết bị số hoá khác là các thiết bị đắt tiền, yêu câu sự cân trọng khi
sư dụng, sự phức tạp khi điều khiển. Do vậy. nụười ta tiến hành “mềm hóa" trong
dựng mô hình 3 chiều. Các thuật toán đưọ-c áp dụng nhiêu hơn trong việc lây thông
tin 3 chiều của dổi tượng, các nguồn dữ liệu để lấy thông tin 3 chiêu cũng phong
phú hơn.
Khôi phục lại thông tin 3 chiều sứ dụng camera cầm tay trong khi thiếu thông tin vê

môi trường chụp anh (camcra, ánh sáng,...) là một thử thách lớn. Bởi vì, khi sứ
dụng camera cầm tay, vị trí và hướng quay của camera rât tự do. Do vậy, các khung
nhìn cùa các anh cũng tự do. Tuy nhiên, nếu dựng mô hình 3 chiều từ ảnh 2 chiều
thành công thì ý Iighìa của nó rất lớn, bởi vì, thiết bị phần cứng rẻ tiên và san có.
Ban đầu người ta tiến hành đối sánh dựa trên sự quan sát. Các điếm đối sánh tương
ứim dưới đạnu các điếm diều khiên được lựa chọn cân có sụ tương tác với con
noirởi. Do vậy tiêu tốn thêm thời gian đồn ú thời số lượne các điểm đối sánh khôntỉ
nhiều. Một hướng giải quyết khác là người ta điều khiên môi trường chụp anh: Vi
dụ, gán camera ơ một vị trí cố định rồi cho đối tượng cần chụp lẻn bàn xoay hay
gắn nhiều camera cổ định xung quanh đối tượng cân chụp như vậy anh thu nhận
dược có các i»óc độ khác nhau và xác định được các tâm chiếu, các thông số
trontỉ/ntíoài cua camera Iihầni phục vụ tốt hon cho quá trình khôi phục điêm 3 chiêu.
Tuy nhiên vứi cách này. ta lại phải tiêu tôn thời gian và thu tục đê hiêu chinh
camera.
Tron*’ nliừim năm uần đây. nmrừi ta quan tàm đên việc lâ\ thône tin 3 chiêu từ các
kluiiiu nhìn khỏne dược hiệu chinh (imcalihratcd new ). Cac kĩ thuật lự hiệu chinh
chiếm phần lớn thòi man [9.18,12], các phưưne pháp này bất nẹuồn từ hình học


11

epipolar và trifocal tensor [15,26] nhờ đó các điểm đối sánh tương ứng được Tự
động tính toán dễ dàng hon.
Thông tin 3 chiêu được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng.
Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp cùa đồ họa,
thị giác máy và nhiếp ảnh. Con người thu nhận thông tin 3 chiều nhờ sự quan sát
đối tượng bàng hai mắt hay nói cách khác hai khung nhìn khác nhau. Trong lĩnh vực
thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng
“quan sát” tương tự con người cho máy tính. Ban đầu, họ hướng tới ngành robot và
tự động hóa nhằm mục đích cho phép robot tự diều hướng khi đi qua môi trường

mói. Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp
đồng thời có sụ kết hợp nhiều hơn với lĩnh vực đồ họa. Một trong những moi quan
tấm lón nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động
lấy được thông tin từ chuỗi các ảnh. Mười năm trở lại đây, người ta thường nhấn
mạnh đến hình học đa ảnh. đa khung nhìn [15] và cho phép nhiều cách tiếp cận linh
hoạt tronti việc lấy thônc tin 3 chiều từ các ảnh khác nhau. Thực tể. hướne hiên thị
trực quan dã phát triền từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật
nhiếp ánh. Nứa cuối thế kì 19. các ảnh chụp đã được sử dụna lâv thông tin 3 chiều
để tạo ban dồ, đo đạc các công trinh.
Lấy thỏne, tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của
các nhà nghiên cứu. Đ iều đó một phần là do yêu cầu của các kỉ thuật này trong các
ứng dụng tăng lên như trong các lĩnh vực bao tồn cô vật, phân tích hiện trường
phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 chiều...B ên cạnh đó, phần cứng
đồ họa có giá thành hạ cùng là yếu tố góp phần thúc đây sự phát triên các phương
pháp cù nu như kĩ thuật mô hình hoá và dựng lại mô hình 3 chiêu. Bài toán dựng mô
hình 3 chiều lừ chuồi các anh dầu vào là bài toán xây dựne thông tin 3 chiều từ
thôiiLỉ tin cua các anh 2 chiều. Một cách toán học. câu trúc 3 chiều được dựng lại từ
các phép chiếu 2 chiều. Bên cạnh đó các anh đâu vào lại là các anh texture tự nhiên
nhát do vậy cấu trúc 3 chiều đạt dược rắt hiệu quà.


12

CHƯƠNG 3: XÂY DỰNG CÁC MỒ HÌNH BA CHIÈU BÀNG
MÁY QUAY CẦM TAỸ
3.1. Các kĩ thuật trong bài toán dựng mô hình 3 chiều
3.1.1. Q u i trình d ự n g mô hình 3 chiều
Một quá trình lấy ra thông tin 3 chiều bao gồm 3 giai đoạn chính: Tiền xừ lý, đôi
sánh, phục hồi độ sâu (hình 3.1).

Chuỗi linh
V
V i1

Thông
3 chiều

Tiền \ ử ly
ị
\■
- ... ...... „ á, ; i i

Hình 3.1. Qui trình dụng mô hình 3 chiều từ chuỗi các ảnh đầu vào.
A.

T i ề n x ử lý

Đè có thè lấy được thông tin 3 chiều cua đối tượng, trước hết. ta phai tìm được mối
liên hệ giữa 2 anh với nhau. Mối liên hệ được xác định thông qua các đặc trưng và
được biểu diễn toán học dưới dạng ma trận cơ bán F. Các đặc trưng được so sánh
với nhau để tìm ra mức độ tương tự giữa chúng. Mức độ tương tự này được dùng đẽ
đánh giá xem ch Ún ti có cùng biểu diễn 1 điểm hoặc 1 miền đối tượng hay không và
từ đó tính ra ma trận F.
Đầu ticn cần xác định xem đặc trưng của ảnh nên lựa chọn ở dạng điểm, đường
thản11 bicn, đưừnụ cong hay miền. Loại đặc trưng nào được lựa chọn phụ thuộc
nhiều yếu tố tron tí đó phụ thuộc vào việc lựa chọn kĩ thuật đối sánh ở bước sau. Sau
khi biết đặc trưng cần đùníỉ, chúng ta tiến hành xác định các đặc trung đó. Các toán
tứ diintỉ đê trích chọn đặc trirniỉ khác nhau cũng phụ thuộc vào các kĩ thuật đối sảnh.

13

Đối với kĩ thuật đối sánh dựa trên miền, Moravec (1989) đề nahị các toán từ liên
quan đến cực đại địa phương của sự thay đồi hướng trong một cửa sô xung quanh
một điếm. Đối với kĩ thuật đối sánh dựa trên đặc trưng, một số toán tử được quan
tâm là đạo hàm, phép nhân cuộn các toán tứ về cường độ các mức xám.
B.

Đối sánh

Đối sánh là tim sự tương ứng giữa các điểm của hai ảnh 2 chiều. Đây là giai đoạn
quan trọng và mang tính quyết định tới bước tiếp theo. Các thuật toán vê đôi sánh
được chia làm 2 loại sau [19]: đối sánh thành phần cơ bản (matching primitives)
hoặc hình học anh (imaging geomeUy).
a. Đối sánh thành phần cơ bán gồm 2 loại:
■ Các thuật toán dựa trên miền (area-based): Các điểm hay các khối anh được
coi như thành phần gốc. Khi dối sánh các thành phần gốc người ta sư dụng
cường độ diêm ánh.
■ Các thuật toán dựa vào đặc trưng ựeciture- based)'. Các đặc trưng được sư
dụng như là các thành phần cơ bán. Việc so sánh được tiến hành trên các dặc
trưng này.
b. Hỉnh học ánh:
Hình học ảnh liên quan đến cách bố trí cụ thể của camera. Vị trí của camera được
xem là một thành phần quan trọng trong tính toán độ sâu cua đối tượng.
■ Trục song soim: Các camera dùng đẻ chụp các anh được bô tri sao cho trục
quang cua camera song song với nhau.
■ Trục khôim son? song: Ngược lại với các thuật toán dạng trục song song, các
trục quanu của các camera không song song với nhau.
■ Số lượn li các camcra: 2 camera (biocular), 3 camera (trinocular), nhiêu hơn
3 camera, (m ulticular).

c.

K h ô i p h ụ c đ ộ sâu


14

Đôi với hệ thống hiển thị của con người, mồi mắt cung cấp một ảnh 2 chiều của đối
tượng quan sát. Hai mắt ở hai vị trí khác nhau do đó sinh ra hai ảnh khác nhau. Như
vậv cùng một điềm quan sát nhưng ảnh của nó lại ờ hai vị trí khác nhau trong hai
ánh. Sự khác biệt về vị trí này gọi là độ chênh lệch (disparity). Độ chênh lệch là
khái niệm quan trọng trong thị giác lập thô liên quan đến độ sâu cua anh (hình 3.2).
Độ chênh lệch ít thì đối tượng quan sát nhò đồng nghĩa với việc dôi tượng ơ xa và
ngược lại. Do vậy, nếu thêm một số thông tin như tiêu cự camera f và khoảng cách
giữa 2 camera ta có thể khôi phục được độ sâu cùa ảnh. Tùy thuộc vào sô lượng
thông tin đàu vào mà thông tin 3 chiều đầu ra có thể là kết qua của phép chiếu, biên
đổi aíììn, biến đối metric hay biến đổi ơclit.

©

©

O D
D
□

B
£

I

I

Ũ

Hình 3.2. Độ chênh lệch và mối quan hệ với độ sâu
D.

Q u i t r ì n h d ự n g m ô h ì n h 2 c h i ề u tù c ặ p ả n h đ ầ u v à o

Với bài loàn dựnu mô hình 3 chiều từ hai anh dầu vào chi tiết cua 3 bước nêu trên
dược bieu cliẽn ỏ mô hình hình 3.3.


15

Tiẹn xứ lv

?8S?S5?

Tĩ i n F

ĐÓI sánh

Khỏ! phục
Tin Lí (lộ sầu
i.ifc-M * á__é

Hình 3.3. Dựng mô hình 3 chiêu từ cập ánh
Quá trình tiền xứ lý bắt đầu bàng việc trích chọn đặc trưng, đối sánh dặc trung
nhầm mục đích tìm mối liên hệ giữa hai ánh thông qua ma trận cơ bản F.

Quá trình đối sánh toàn bộ ánh được tiến hành trên ảnh chinh sưa do vậy giảm thời
gian và khối lượng tính toán.
Độ sâu được khôi phục dựa trên nguyên lý tam giác.
3.1.2. Tríc h chọn đục trưng
A.

Bài toán trích chọn đ ặc tru n g

Trích chọn dặc trưng là vấn đề nghiên cứu cơ bản trong các lĩnh vực khác nhau cùa
thị mác máy như tính độ sâu, tìm cặp diêm đối sánh, nhận dạng đôi tượng...Đ ối với
một ánh, dặc tn n m có thế ừ dưới các dạn Lĩ khác nhau như: điêm ánh. đường thănạ.
đườim cone. bicn,... tuy thuộc vào dặc diêm và dộ phức tạp khi eiai quyêt bai toán
mà lụa chọn các dặc trưng cho phù hợp.


16

Các đặc trưng là các vị trí trong ảnh mà tại đó các giác quan cua con người tập trung
nhiêu nhât (perceptually interesting). Trong xử lý ành và thị giác máy, trích chọn
đặc trưng là quá trinh xử lý làm cho các mẫu ban đầu được biến đổi thành các mẫu
mới dễ dàng nhận dạng hon. Các đặc trưng thườne chứa các thông tin về mức xám,
kết cấu, đường nét hoặc nội dung của ảnh.
Trích chọn đặc trưng có từ rất sớm trong lĩnh vực nghiên cứu thị giác máy và có rất
nhiều ứng dụng, trong đó, 3 hướng ứng dụng quan trọng nhất đó là: Đăng kí ánh
{image registration) [13], nhận dạng khuôn mặt và theo dấu chuyền động. Đăng kí
ảnh là bài loán liên quan đến việc tim sự tươniỉ ứne giữa hai hav nhiều anh ờ các
khung nhìn khác nhau hoặc ơ các thời điêm khác nhau và là bước đâu tiên trong
nhiều kĩ thuật xứ ]ý ảnh như lập thể hình học, trộn ânh và các ứng dụng liên quan
đến dối sánh mẫu. Các dặc trưng nôi bật của ảnh là yêu tô quan trọng đê đăng kí
ánh thành công. Các dặc trung phải mang tính bất biến với các phép quay và các

biến dạng hình học của anh. Trong trường họp nhận dạng khuôn mặt các đặc trưng
lại là các vị trí mô tá các vị trí nổi bật cùa đường nét khuôn mặt như măt, mũi,
miệng,... Theo dấu ảnh là hướng ứng dụng thứ ba, hiện nay hướng ứng dụng này
thu hút dược rất nhiều sự quan tâm của cộng đồng các nhà khoa học nghiên círu
tron” lình vực chuyên độn” 3 chiều. Khi đoi tượne, chuyển độne cần xác định xem
các thành phẩn cua đối tượng tại vị trí mới như thê nào.
B.

T r í c h c h ọ n đ ặ c t r ư n g t r o n g bài t o á n d ự n g m ô h ì n h 3 c h iề u

Để tiến hành dựmi mô hình 3 chiều cho các điêm trong ảnh. môi liên hệ giữa các
anh phai dirợc chi rõ để biết được một điềm thuộc ảnh bên này sẽ tương ứng với
diêm náo thuộc anh còn lại. Tuy nhiên, việc so sánh mọi điềm anh thuộc một ảnh
với tất ca các diC'in thuộc ảnh còn lại đề tìm ra môi liên hệ giữa các ảnh là điều
không tưứnu nếu chưa qua xử lý bời độ phức tạp quá lớn. Tronơ các ảnh thực, có rất
nhiều diêm, miền anh 111anu tính chât dôi sánh tôt hơn những điêm và miền khác.
Có nlũnm đi em anh mà độ thay dôi cườne độ xám cua miên lân cận rất lớn do vậy
tạo ra sir khác biệt với các diêm xung quanh. Việc tim kiêm nhữne điêm đối sánh


17

tôt. hay những điểm quan tâm, là nhiệm vụ lựa chọn các điểm có sự khác biệt với
những điếm khác. Sự tương ứng giữa các đặc trưng cua hai anh sẽ được tính toán
nhờ các thú tục đối sánh ở các bước sau. Sự tương ứng này phán ánh mối liên hệ
giữa các ảnh. Trong các thuật toán dựng mô hình 3 chiều từ các ảnh, các điềm góc
của các đối tượng trong ảnh là những điểm có nhiều khả năng tìm được điêm tương
ứng với chúng trên ảnh còn lại.
Đã có rất nhiều nghiên cứu và thuật toán được đưa ra về vấn đề phát hiện điêm góc.
Ban đâu, các góc dược phát hiện nhờ vào "độ nhọn" (sharp) cua đường biên: biên

của đối tượng được lưu dưới dạng mã xích, góc được phát hiện thông qua việc tìm
kiếm những vị trí trên biên bị "uốn" một cách đáng kề. Kỹ thuật phát hiện góc này
rất phức lạp và phái triển khai trên nhiều bước. Sau đó, L. Kitchen [7] đà đề xuất
một phương pháp đê cô lập diêm góc dựa vào một sô phép toán trên gradient,
phương pháp này không phức lạp như kĩ thuật dựa vào độ nhọn nêu trên. Wang và
Brady [6] dùng khái niệm dộ cong của các dường cong di qua một điếm đế phát
hiện góc. Moravec [4.5] dề xuất hàm phát hiện góc dựa trên việc dùng một cửa sô
đặt trên ảnh và xác định độ thay đổi trung bình cường độ xám khi dịch chuyến cứa
sổ này theo bon hưóníi. Harris và Stephens [1] cái tiến phương pháp của Moravec
sử dụnií đạo hàm bậc nhất... Tuy nhiên, các phương pháp trên lại rất nhạy cám với
nhiễu và phụ thuộc vào dạo hàm. Phương pháp SUSAN (Smallest Univalue
Segment Assimilating Nucleus) [21] do Smith và Brady đê xuât khône phụ thuộc
vào công thức tính đạo hàm mà dựa trên khái niệm miên USAN ( ưnivalue Segment
Assimilating Nucleus). Tronu một anh số. miền u s AN đạt diện tích nho nhất khi hạt
nhân cua nó trùng với điêm cóc. Phương pháp SUSAN không nhạy cảm đối với
nhiễu, và dề dàng thực hiện.
3.1.3. Bài toán đối sán h
Đối sánh ánh 1Ì1 công việc tìm sự tương ứng giữa hai hay nhiều ánh (hình 3.4).P| ’ và
p 2' cùnu là ánh cùa p, trontỊ khi Q i ’ và Q i' cùng là ánh của ọ . Tìm mối quan hệ
oiũa các anh dầu vào là một lĩnh vực khó trong thị 2 Íác máy. đặc biệt khi các ánh

ĐAI H C C c u c c
TRUNG T- f / Th C

P T /

3 ! A HA N Ó
3- T!N t h ư v i ê n

ìHO

18

đâu vào không có ràng buộc. Trong vòng 15 năm qua đã có rất nhiều nghiên cứu
xung quanh vấn đề này.

Hình 3.4. Đối sánh ảnh
Có nhiều loại ràng buộc, tuy nhiên trong một thuật toán, một phương pháp giải
không thể thoả mãn hết các ràng buộc đưa ra. Dưới đây là một số ràng buộc của bài
toán đối sánh.
Ràng buõc hình h o c: (i) Ràng buộc epiloplar: với cặp điếm tương ứng (x, x ’) thì x ’
phái nằm trên đường epipolar của

X

và ngược

lại.

Nhờ ràng buộc này không gian

tìm kiêm khi đôi sánh giảm từ hai chiêu xuống 1 chiều thông qua quá trinh chình
sửa ảnh. (ii) Ràng buộc về sự hiên thị: vật có bị che khuất bởi vật khác hay không,
vật có nằm trong cửa sổ hiển thị hay không, hay vật có nằm trong tầm nhìn hay
không...
Ràng bitôc vât lý : thê hiện cách các mô hình đối tượng, khung cảnh khi có sự tương
tác với ánh sáng.
Ràng ỉntôc duy nhẩv. Mỗi một điểm thuộc ảnh thứ nhất chỉ có duy nhất một điêm
đối sánh tương ứnu duy nhất trên ảnh thứ hai và ngược lại.

Rciiiiỉ buôc lien ín c : Xét cặp đối sánh ứng cứ viên (cii,c2j) trong đó C], thuộc anh thứ
nhắt, Cị, thuộc anh thứ hai. N( C| i) , và N ( c 2j) tương ứng là lân cận cúa C|j và c 2j.
(c 1,,c2j) là một cặp dối sánh tốt nếu có nhiều cặp đối sánh ( d |k, d2]) trong đó


19

d ịk e N(c] ) và (lv 6 N\cĩ j ) sao cho vị trí tương đối của d lk với C|, tương tự quan hệ
giữa d2i với c2j.
Theo một khảo sát năm 1988 [2], các nhà nghiên cứu thông thường sử dụng kết hợp
các ràng buộc nêu trên. Tuy nhiên, bản báo cáo khảo sát cũng chì ra rang không có
một kĩ thuật, thuật toán nào tối ưu và có thể giải quyết hết được tất cả cảc ràng
buộc. Mồi cách tiếp cận khác nhau thỉ sử dụne một độ đo nào đó và cũng có nhũng
hạn chế cùa nó. Việc đối sánh với các ánh chụp sứ dụng camera tự do được chia
làm hai loại chính [29]: Đối sánh dựa trên miền và đối sánh dựa vào đặc trưng.
Đổi sánh dưa trên m iền: trong cách tiếp cận này các thuật toán sư dụng độ đo độ
tương tự của miền ánh trong qua trình tính sự tương ứng.
Dổi sánh dưa vào các đăc trưng: thực hiện việc đối sánh dựa trên các tham số mức
cao hơn dó là các dặc trưng cùa ảnh, những thuật toán này được phân loại tiểp dựa
vào các loại đặc trưng:
4- Đối sánh dựa vào biên (Edge-string based)
4- Đối sánh dựa vào góc (Corner based)
i- Đối sánh dựa vào kết call ( Texture region based)
Trong qui trình dựnụ mô hình 3 chiều từ các ảnh bao £ồm ca hai loại đối sánh trên.
Đối sánh đặc trưng được sư dụng trước đê tim ra mối liên hệ giữa các anh và được
áp dụng trong quá trình tiền xứ lý để tính ra ma trận cơ bán F. Trong bước này chi
một lượng ít các cặp điềm cua hai ánh được đối sánh. Ngược lại, đối sánh dựa trên
miền sè sinh ra một bàn đồ “dày dặc” các cặp điềm tương ứng tại bước đổi sánh.

A.

Đổi sánh dựa trên miền

Cho 2 ánh chụp cùng một canh. Anh càng ít bị co dãn thì việc tính độ tương tự giữa
hai anh càim dễ dàng. Neu ánh dược chia thành các miên

nho hơn thì với mồi một

miền nho việc tim miền nho tuơniỉ ứng với nó ơ anh khác cũng dễ dàng hơn. Do
vậy, tron tỉ các kì thuật đối sánh miên, anh được chia thành các miên con hay các


20

khôi, một độ đo độ tirơng tự được đưa ra đê đánh giá mức độ tương tự giữa các
miên con cùa hai anh. Việc sử dụng độ đo tương tự nào quyết định đến sự thành
công của các kĩ thuật đối sánh dựa trên miền. Độ đo độ tương tự bắt nguồn từ cường
độ mức xám của ánh là một giải pháp tốt trong thử nghiệm. Các thuật toán thuộc
dạng này luôn cho một bản đồ dày đặc các cặp điểm đối sánh, từ đó, độ sâu được
tính cho tất cả các điểm ảnh ở trong cảnh.
Có rất nhiều thuật toán về đối sánh miền, bảng 2.2 dưới đây tóm tắt một số thuật
toán. Phillippe Leclercq và John Morris thực hiện một số thừ nghiệm đề tiến hành
so sánh các thuật toán này [11]. Theo đánh giá này, thuật toán P2P cho kết quả tốt
nhất, các thuật toán C o rrl, Corr2, SSD và SAD cho kết quà khá tốt với các mức độ
nhiều khác nhau, trong khi đó thuật toán Census cho ti lệ lỗi cao khi tính độ chênh
lệch.
Thuật toán

Hàm đánh giá đổi sánh

Normalized

Corrl:

I ( w

J

Tác giả
[Faugeras et al. 1993]

Intensity Difference
Corr2: Correlation

X V i

[Faugeras et al. 1993]

SAD:

Sum o f Absolute

2 X - / J

[Faugeras et al. 1993]

M

ỵ n ỵ n

[Faugeras et al. 1993]

SSD:

Sum

of

Square

ỉ
>>

Differences

Difference
P2P: Pixel-to-Pixel

“Đ ộng” (Dynamic )

[Birchíĩeld và Tomasi 1998]

Census

Biến đổi Census

[Zabih và Woodfill 1994]

Bciiìiỉ 2.2. Một sổ thuật toán đôi sánh dựa trên miền

21

Hình 3.5. So sánh một số thuật toán đối sánh dựa trên miền
Hình 3.5 là dồ thị biểu thị kết quả so sánh một số thuật toán đối sánh dựa trên miền.
Mặc dù, thuật toán SSD, SAD, Corrl và C oư 2 có kết quá không tốt bằng P2P
nhưng việc triển khai các thuật toán này lại dễ dàng hơn so với P2P nên các thuật
toán này vân được dùng phô biên.

B.

Đối sánh dựa vào đặc trưng

Các đặc trưng thông thường có các thuộc tính sau: tính duy nhất, tính lặp lại và có ý
nghĩa vật lý. Ưu điểm khi sử dụng kĩ thuật đối sánh dựa vào đặc trưng là các biểu
diễn dựa trên đặc trưng cung cấp sự linh hoạt tính toán cho người lập trình. Sự linh
hoạt thể hiện ỏ' chỗ, các ràng buộc toán học được áp dụng rõ ràng, rành mạch cho
cấu trúc dữ liệu. Khi so sảnh với đổi sánh dựa trên miên, các kĩ thuật đôi sánh dựa
vào dặc trưng chi cho một lượng ít cặp điểm đối sánh kết qua, nhung chính xác hon
và dáng tin cậy hơn.
Trong cách tiếp cận đối sánh dựa vào đặc trưng, đầu tiên cặp anh được xử lý để lấy
ra các đặc trưng. Sau đó xử lý đối sánh trên các đặc trưne này. Một câu hòi được đặt
ra là loại đặc tnniíỊ nào SỪ được sử dụng đê đoi sá nh? Đường biên, góc, đoạn thẳng,


22

đường cong là những đặc trưng sừ dụng tốt khi có sự thay đồi phép chiếu phối cành,
do vậy được sử dụng rộng rãi trong đối sánh. Biên và góc dễ trong khâu trích chọn
nhưng khi đối sánh lại hay gặp hiện tượng nuốt ảnh. Trong khi đường thẳng và

đường cong ít xảy ra hiện tượng nuốt ảnh nhưng lại mất thêm thời gian để trích
chọn.
Hầu hết các hệ thống đối sánh dựa trên đặc trưng không chi giới hạn ở các kiêu đặc
trưng cụ thế mà kết hợp các dạng đặc trưng lại với nhau. N hư hệ thống đối sánh
Weng đưa ra nãm 1988 kết hợp độ trù mật, các đường biên, các góc. Trong khi hệ
thống của Lim và Bin (1987) lại sử dụng sự phân cấp các đặc trưng thay đổi từ các
đường biên, đường cong tới các mặt.
Dưới đây là một số kiểu đặc trưng dùng cho đối sánh:
D u o n g biên: Có rất nhiều toán tử dùng để tìm các đường biên trong một ảnh như
toán tử Candy, Laplace.
Thuộc linh c ù a đ i r ò n g b iên d ù n g c ho đôi s ánh có thê là: cá c t ọa đ ộ (vị trí cù a các
dưừntí, biên trong ánh), hướng cục bộ, độ trù mật của hai bên biên.
Góc: Phương pháp tìm điếm góc sớm nhất có ]ẽ là cua Beaudet (1978) có tên gọi
DET. Nlũrnu, toán tứ phát hiện góc được công bố trong những năm 1980 gồm có:
các toán tử cùa Dreshler và Nagel (1982), Kitchen và Rosenfeld (1982), Zuniga và
Haralick (1983), Harris (1988)...Toán tử phát hiện góc SUSAN là 1 trong những
toán tử được sử dụng phô biến vì tính đơn giản và hiệu quả.
Thuộc linh cùa góc dùng đề đối sánh cho các điểm góc có thê là tọa độ của góc hay
dạng cua góc (dạnii chữ Y, L hay A . ..)
Đoạn tilling: Đê trích chọn ra các đoạn thăng trong anh có thẻ áp dụng một trong
nluìno toán tư dò hiên. Các đoạn thăng dược hình thành băng cách hòa trộn các thao
lác trên các đ ườn tì biên dựa trên một số tiêu chuân về khoang cách, độ tương tự.
Một số thuật toán tim đườim thăng dà dược công bô như thuật toán cùa Nevatia và
Babu (1980), Fishier và Bolles (1983), Weiss và Boldt (1986).


23

Thuộc tính của đường thẳng dùng cho đối sánh: tọa độ điểm đầu điểm cuối, trung
điểm, hướng cúa đường thẳng.

Đ u òìig cong: Đối sánh các đường cong không được sừ dụng rộng rãi vì trích chọn
các đường cong rất khó. Deriche và Faugeras thông báo về toán từ phát hiện đường
cong (1990) là một trong số rất ít nghiên cứu về đường cong.
Đ uòìig trò n , Elip, đ a giác: Những đặc trưng này thường xuất hiện ờ cảnh chụp
trong nhà.
Thuộc tinh dùng dê đổi sánh có thể là diện tích, tọa độ tâm.
Đặc trưng điểm góc SUSAN được sử dụng do vậy việc đổi sánh được tìm

hiếu

trong đề tài thuộc loại đối sánh góc và có 2 bước chính sau đây:
4- Tìm ra tập c các cặp đối sánh ứng cử viên từ 2 tập các điếm góc của 2 ành sử
dụng cứa so tương quan.
4- Tìm ra tập D các cặp đối sánh tốt nhất từ tập

c dùng thu tục

phục hồi, nói

cách khác, loại bỏ nhũng cặp đối sánh ứng cử viên tồitừ tập

c.

3.1.4. T ì m ma trận co bản F
A.

M a trận co bản F

Ma trận cơ ban F là biêu diễn đại so cùa hình học epipolar và được tính tư các cặp
dối sánh (x,x’). Ràng buộc epipolar biểu diễn mối quan hệ giữa một điêm trong cặp

điềm đối sánh với đườnơ epipolar tương ứng cùa nó. Điêm đối sánh x ’ trên anh thứ
2 của điếm

X

trên ánh thử nhất chi nằm trên đường epipolar tương ứng ]’ của

X.

VI—> /
Phép ánh xạ từ diêm tỏi đường nêu trên được biểu diền bới ma trận cơ bàn F. Phép
ánh x ạ t ừ m ộ t d i ê m X t r o n g m ộ t a n h tới e p i p o l a r r t ư ơ n g ứ n g trên a n h c ò n lại g ô m 2

bước. Đầu tiên điềm X được ánh xạ đến một điểm x' nào đó trên đường V cua anh
thử 2. Đicm \ ' này là một troim nhừim ửnu cu viên dối sánh cua
đưòim epipolar r dược xác định thòng qua x ’ vã diêm epipoplc e \

X.

Bước thứ hai.


24

Bước 1: r ìm điêm x \ quan sát hình 3.6, mặt phẳng n không đi qua 2 tâm
camera c và C ’. Một tia chiếu đi qua tâm chiếu thứ nhất c và điềm X gặp mặt
phăng 71 tại diêm X. Tia chiêu đi qua tâm chiêu 2 C ’ và điêm X giao với mặt
phăng ảnh 2 tại x \ X và x ’ là ảnh của điểm 3 chiều X. Với một tập
trên ả n h t h ứ n hất, q u a các p h é p c h iế u q u a m ặ t p h ẳ n g

71

X,

đ ư ợ c m ộ t tập

điểm ảnh
X

tư ơ n g

ứng. Phép ánh xạ như vậy có được thông qua ma trận đồng hình cùa mặt
phăng H /T của n , do vậy X = H .

Hình 3.6. Tìm điểm tương ứng x' của X qua mặt phắng n
B u ó c 2: X ây d ự n g đưò'ng ep ip olar

r.

/ - e x X - ịe J( .r mặt khác V - H x

do đó
/ - [t, 'j H 7x = Fx
Trong đó định nghĩa F = [e j. / / T là ma trận cơ bản.
(Result 8.3 - tr 225) [15] Ma trận cơ ban F thoa mãn điều kiện sau:
x'Fx = 0
trong đó ( x , \ ’) là cặp điếm đối sánh trên hai anh.
Một số thuật toán được đề cập đến trong cuốn sách của Hartley [15] như: Thuật
toán 8 điém được chuẩn hóa, thuật toán tối thiêu lỗi đại số, thuật toán tối thiêu lỗi
hình học Gold Standard và thuật toán tính F sư dựng RAN $ AC.