Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc

Nghiên cứu khoa học công nghệ

ƯỚC LƯỢNG ĐỘ SÂU ẢNH
SỬ DỤNG PHƯƠNG PHÁP ÁNH SÁNG CẤU TRÚC
Nguyễn Thúy Bình1*, Võ Lê Cường2
Tóm tắt: Bài báo đề xuất một mẫu sáng mức xám sử dụng trong hệ thống ánh
sáng cấu trúc nhằm ước lượng độ sâu và tái tạo hình ảnh 3D của bề mặt vật thể.
Mẫu sáng được đề xuất gồm bốn phần tử cơ bản có tính chất đối xứng, với một giải
thuật giải mã đơn giản có thể giải mã ảnh thu được từ camera với độ chính xác cao.
Các điểm tương ứng giữa ảnh chụp và ảnh mẫu sáng được xác định và độ sâu ảnh
được ước lượng dựa vào nguyên lý tam giác (triangulation principle). Ngoài ra,
nhằm tăng độ phân giải trong việc giải mã ảnh, một mẫu sáng gồm 8 phần tử cơ
bản tạo nên bởi 4 phần tử trên kết hợp với 2 mức sáng khác nhau được đề xuất.
Từ khóa: Thị giác máy tính, Ước lượng độ sâu, Xây dựng ảnh 3D, Ánh sáng cấu trúc.

1. ĐẶT VẤN ĐỀ
Ước lượng độ sâu ảnh là một hướng nghiên cứu với nhiều tiềm năng và được
các nhà khoa học trên thế giới đặc biệt quan tâm trong những năm gần đây. Vấn đề
ước lượng độ sâu ảnh được ứng dụng trong nhiều lĩnh vực khác nhau, có thể kể
đến: cảm biến từ xa, nhận dạng đối tượng, công nghiệp giám sát và các hệ thống
robot tự động. Phương pháp ước lượng độ sâu ảnh sử dụng ánh sáng cấu trúc được
đánh giá là một trong các phương pháp đạt được độ chính xác và độ phân giải cao.
Hệ thống ánh sáng cấu trúc gồm một hoặc nhiều camera, và một máy chiếu
(projector). Mẫu sáng được mã hóa theo các phương pháp khác nhau và được chiếu
lên bề mặt của vật thể. Sau đó, camera có nhiệm vụ thu ảnh của vật thể trong điều
kiện được chiếu sáng. Kỹ thuật ánh sáng cấu trúc được chia thành ba nhóm phương
pháp cơ bản [1-3]: Ghép kênh theo thời gian (time multiplexing), mã hóa trực tiếp
(direct coding), và mã hóa dựa vào các điểm lân cận (neighbor coding). Với
phương pháp ghép kênh theo thời gian, một tập hợp các mẫu sáng được chiếu liên
tiếp lên bề mặt của vật thể. Phương pháp này đạt được độ phân giải và độ chính
xác cao, tuy nhiên không áp dụng được trong trường hợp vật thể chuyển động.

Phương pháp mã hóa trực tiếp mặc dù cũng đạt được độ phân giải cao nhưng lại
chịu ảnh hưởng nhiều của nhiễu. Với các phương pháp thuộc nhóm cuối cùng, mỗi
ký tự kết hợp với bốn ký tự liền kề để tạo nên một từ mã duy nhất trên mẫu sáng.
Nhóm phương pháp này có thể áp dụng với cả các đối tượng tĩnh và động, thuật
toán giải mã đơn giản và ít chịu ảnh hưởng của nhiễu.
Trên thế giới đã có nhiều nghiên cứu giải quyết bài toán ước lượng độ sâu điểm
ảnh theo hướng tiếp cận xây dựng từ mã dựa trên các giá trị lân cận [4-7]. Một
trong những nghiên cứu quan trọng nhất được Griffin đề xuất năm 1992 [8]. Trong
phương pháp này, một ma trận sinh được tạo nên bởi các con số (1, 2, 3, 4,…). Vị
trí của mỗi phần tử được định nghĩa bởi một từ mã được tạo nên bởi chính phần tử
đó và bốn phần tử lân cận. Mỗi từ mã này được xác định là duy nhất trong ma trận
sinh. Mỗi phần tử của ma trận được thay thế bởi một ký hiệu khác nhau, ví dụ:
hình vuông, hình tròn, hình vành khăn, ... Đã có một số nghiên cứu phát triển theo
hướng này. Năm 1998, Davies và Nixon đề xuất một mẫu sáng gồm các đốm tròn
màu để ước lượng độ sâu của bề mặt vật thể di chuyển [9]. Sau đó, Morano [10]

Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017

85


Kỹ thuật điều khiển & Điện tử

đưa ra mẫu sáng được tạo nên bởi các sơ đồ con hoàn hảo (perfect sub-map) gồm
những ký tự hình tròn có màu sắc khác nhau. Mẫu sáng màu sẽ bị ảnh hưởng của
nhiễu nếu các đối tượng có màu sắc giống với màu của mẫu sáng. Một hướng
nghiên cứu nhằm loại bỏ nhiễu khi chiếu lên vật thể màu là tạo nên các mẫu sáng
mức xám (grey level pattern). Trong nghiên cứu của Griffin, ông cũng đã đề xuất
mẫu sáng gồm năm ký tự khác nhau. Tuy nhiên, mẫu sáng này chưa được đưa ra
thực nghiệm với một hệ thống ánh sáng cấu trúc thực tế. Bài báo này đề xuất một

mẫu sáng mức xám gồm các ký tự đối xứng. Với mẫu sáng được đề xuất, ảnh thu
được từ camera có thể dễ dàng được giải mã. Các cặp điểm tương ứng giữa ảnh thu
được và ảnh mẫu sáng được xác định là cơ sở để ước lượng độ sâu của bề mặt vật
thể so với gốc tọa độ tại camera. Bài báo được bố trí theo thứ tự sau: Phần 1. Đặt
vấn đề; Phần 2. Hiệu chuẩn camera và máy chiếu; Phần 3. Mã hóa mẫu sáng và
giải mã ảnh thu được; Phần 4. Thực nghiệm và kết luận.
2. HIỆU CHUẨN CAMERA VÀ MÁY CHIẾU
Hình 1 mô tả các bước cơ bản nhằm ước lượng độ sâu điểm ảnh với phương
pháp ánh sáng cấu trúc. Trước hết, cần phải hiệu chuẩn hệ thống nhằm đưa ra các
tham số nội và tham số ngoại của camera và máy chiếu. Trong bài báo này, chúng
tôi sử dụng phương pháp hiệu chuẩn của Zhang [11]. Quá trình hiệu chuẩn cần 1520 ảnh với các góc độ chụp khác nhau. Hệ thống được bố trí như trong hình 2.
Khoảng cách giữa camera và máy chiếu được giữ nguyên không đổi, khoảng 30
cm. Khoảng cách giữa bảng và hệ thống khoảng 50 cm. Kết quả của quá trình hiệu
chuẩn là các tham số trong và tham số ngoài của camera và máy chiếu.
Ảnh hiệu chuẩn hệ thống

Ảnh đầu vào

Tiền xử lý ảnh
Hiệu chuẩn camera
Phân loại các
phần tử
Hiệu chuẩn máy
chiếu
Xác định các
phần tử liền kề

Hình 2. Hiệu chuẩn hệ thống.
Tham số nội, tham số
ngoại của hệ thống

Điểm tương ứng

Ước lượng độ sâu

Hình 1. Uớc lượng độ sâu điểm ảnh sử
dụng phương pháp ánh sáng cấu trúc.

Hình 3. Tham số ngoài của Camera.
86 N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.”


Nghiên cứu khoa học công nghệ

3. MÃ HÓA MẪU SÁNG VÀ GIẢI MÃ ẢNH THU ĐƯỢC
3.1. Mã hóa mẫu sáng
Trong phần trước, chúng ta đã đề cập đến phương pháp mã hóa theo đề xuất của
Griffin. Mẫu sáng được tạo nên bằng cách thay thế các con số trong ma trận sinh
bằng các ký tự hoặc ký hiệu khác nhau. Mỗi vị trí trong mẫu sáng được định nghĩa
bởi một từ mã duy nhất. Do mẫu sáng được đề xuất gồm bốn phần tử đối xứng, nên
chỉ với một thuật toán giải mã duy nhất có thể giải mã được vị trí của tất cả các
phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng (hình 4).

(a)

(b)

Hình 4. Mẫu sáng mức xám a) Mẫu sáng nhị phân sử dụng 5 ký tự theo phương
pháp của Griffin b) Mẫu sáng đề xuất gồm 4 ký tự đối xứng.
3.2. Giải mã mẫu sáng và ảnh chụp

Nhiệm vụ của quá trình giải mã là tìm từ mã tương ứng cho mỗi ký tự, từ đó xác
định được vị trí của mỗi phần tử trên ảnh thu được cũng như trên ảnh mẫu sáng.
Hai ký tự có cùng từ mã được gọi là các điểm tương ứng, từ đó tọa độ thực của các
điểm trên bề mặt vật thể được xác định dựa vào nguyên lý tam giác. Trong bài báo
này, để tối ưu số lượng phần tử được giải mã, chúng tôi đưa ra giải thuật nhằm
giải mã các phần tử nằm ở biên, vấn đề này chưa được đề cập bởi Yi-Chih [12].
3.2.1. Tiền xử lý ảnh
Bước tiền xử lý ảnh bao gồm hai bước nhỏ: nhị phân hóa và trích chọn các khối
ký tự. Trong hệ thống ánh sáng cấu trúc, mẫu sáng được chiếu lên bề mặt của vật thể
bằng máy chiếu, do đó các vùng không gian được rọi với cường độ ánh sáng khác
nhau. Trong bước nhị phân hóa ảnh thu được từ camera cần sử dụng ngưỡng thích
nghi cho từng vùng ảnh [13]. Sau đó, các khối ký tự được tách ra bằng kỹ thuật
connected component [14]. Cần chọn kích thước cho các connected component phù
hợp nhằm loại bỏ nhiễu có thể xuất hiện trong bước này (hình 5).
3.2.2. Phân loại các ký tự
Phân loại các ký tự sau bước tiền xử lý ảnh là một bước khá quan trọng trong
việc giải mã ảnh thu được. Sau khi trích chọn được các khối connected component,
mỗi khối sẽ tương đương với một ma trận mà các phần tử chỉ mang một trong hai
giá trị “0” hoặc “1”. Thuật toán được đề xuất nhằm giải quyết bài toán trong bước
này đó là chia mỗi khối đó thành bốn phần bằng nhau, tính giá trị trung bình của
mỗi góc phần tư. Góc khuyết được xác định là góc tương ứng với giá trị trung bình
lớn nhất. Sau đó, các phần tử được phân chia thành bốn nhóm khác nhau và được
đánh dấu bởi các ký hiệu khác nhau (hình 6).

Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017

87


Kỹ thuật điều khiển & Điện tử

Giá trị trung bình
cực đại
Chia thành 4
phần bằng nhau

Tested region

(a)

Hình 6. Phân loại các khối
connected component.
(b)

(c)

Hình 5. (a) Ảnh thu được (b) Nhị phân
hóa với ngưỡng toàn cục (c) Nhị phân
hóa với ngưỡng thích nghi.

Hình 7. Tìm các phần tử liền kề
và xác định từ mã.
3.2.3. Tìm phần tử lân cận và ghép tương ứng
Để xác định từ mã tương ứng với mỗi phần tử, cần phải xác định bốn lân cận
của phần tử trung tâm. Tuy nhiên, để xác định chính xác bốn lân cận, trước hết cần
xác định tám lân cận tương ứng với tám khoảng cách nhỏ nhất tới phần tử trung
tâm. Dựa vào điều kiện ràng buộc về tọa độ nhằm loại bỏ bốn phần tử ở các góc và
giữ lại bốn phần tử lân cận (Đông – Tây – Nam – Bắc). Sau khi tìm được các lân
cận của mỗi phần tử, từ mã tương ứng với mỗi phần tử được xác định. Quá trình
giải mã được thực hiện trên cả ảnh thu được và ảnh mẫu sáng. Vị trí của mỗi phần

tử được xác định sau quá trình giải mã. Nếu hai phần tử (một phần tử trên ảnh thu
được và một phần tử trên ảnh mẫu sáng) có từ mã giống nhau thì được gọi là hai
phần tử tương ứng. Kết quả này là cơ sở để ước lượng độ sâu ảnh dựa trên nguyên
lý tam giác (hình 7).
4. THỰC NGHIỆM VÀ KẾT LUẬN
Với mẫu sáng được đề xuất ở phần trên, chúng tôi thực hiện thí nghiệm chiếu
mẫu sáng lên bề mặt vật thể trong trường hợp mặt phẳng (plane). Các cặp điểm
tương ứng trên ảnh thu được và ảnh mẫu sáng được xác định trong quá trình giải mã.
Ước lượng độ sâu điểm ảnh dựa trên nguyên lý tam giác với việc sử dụng các tham
số nội và tham số ngoại có được trong quá trình hiệu chuẩn hệ thống. Hình 8 biểu
diễn kết quả của quá trình giải mã đám mây điểm (points cloud) thu được sau khi áp

88 N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.”


Nghiên cứu khoa học công nghệ

dụng nguyên lý tam giác nhằm ước lượng độ sâu ảnh. Bảng I thể hiện sai số của
phép đo so với khoảng cách thực tế, trong trường hợp thử nghiệm với mặt phẳng.

Hình 8. Giải mã ảnh thu được và point cloud.
Ngoài ra để thấy được hiệu quả của thuật
toán giải mã cũng như ưu điểm của mẫu sáng
đề xuất, mẫu sáng được chiếu lên các bề mặt
có hình dạng khác nhau: mặt phẳng, mặt cong
và tờ giấy gấp. Để tính toán độ chính xác của
thuật toán giải mã, mỗi bề mặt được chụp 30
lần, với các góc độ và khoảng cách khác
nhau. Độ chính xác được tính bằng độ chính
xác giải mã trung bình của 30 lần chụp đó.

Khoảng cách giữa vật thể và hệ thống trong
khoảng 60 cm đến 90 cm. Mặt cong có bán
kính khoảng 10cm, tờ giấy gấp có độ cao
khoảng từ 3cm đến 5 cm (hình 9). Độ chính
xác giải mã được so sánh với kết quả của
Albitar [15] và YangLei [16], được thể hiện
trên bảng II và bảng III.

a)

b)

Hình 9. Mẫu sáng được chiếu lên
mặt cong và tờ giấy gấp.

Trong bài báo này, chúng tôi đề xuất một mẫu sáng mức xám được sử dụng
trong hệ thống ánh sáng cấu trúc. Mẫu sáng gồm bốn phần tử cơ bản có tính chất
đối xứng nên chỉ với kỹ thuật giải mã đơn giản có thể giải mã và đưa ra các điểm
tương ứng giữa ảnh thu được và ảnh mẫu sáng. Dựa vào nguyên lý Triangulation
ước lượng độ sâu ảnh. Chúng tôi thực nghiệm chiếu mẫu sáng lên mặt phẳng và
mặt cong. Nhằm tăng độ phân giải của phương pháp, chúng tôi để xuất mẫu sáng
gồm tám phần tử cơ bản bằng cách kết hợp bốn phần tử trên với hai mức sáng
(hình 10).
Với trường hợp mẫu sáng đề xuất gồm 8 phần tử thì các bước giải mã: tiền xử lý
ảnh (nhị phân hóa và trích chọn các khối phần tử), phân loại các phần tử thành 4
nhóm cơ bản, tìm các phần tử lân cận được thực hiện giống trong trường hợp mẫu
sáng gồm 4 phần tử. Sau đó, dựa trên cơ sở kết hợp ảnh gốc và ảnh nhị phân để

Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017

89


Kỹ thuật điều khiển & Điện tử

phân biệt mỗi phần tử đó có mức sáng là 0 hay 128. Kết quả này được thể hiện như
trên hình 10. Thuật toán tìm các phần tử liền kề trong trường hợp này vẫn giữ
nguyên so với trường hợp mẫu sáng 4 phần tử.

Hình 10. Mẫu sáng gồm 8 phần.
tử

Hình 11. Phân loại phần tử trong trường
hợp mẫu sáng gồm 8 phần tử cơ bản.

Bảng 1. Sai số ước lượng độ sâu ảnh so với thực tế (với trường hợp mặt phẳng ).
Điểm
[hàng,cột]

Khoảng cách ước
lượng
TN1

TN2

[2,2]

857.1

[14,2]

TN3

Khoảng cách thực tế
TN1

TN2

800.0 685.7

880.0

783.5

731.3 648.8

[5,30]

886.4

[16,30]

TN3

Sai số (%)
TN1

TN2

TN3

825.0 730.0

2.6

3.0

6.1

850.0

810.0 688.0

7.8

9.7

5.7

827.3 659.1

857.0

830.0 632.0

3.4

0.3

4.3

800.3

747.0 640.2

835.0

820.0 645.0

4.2

8.9

0.7

[2,62]

869.4

856.3 635.7

930.0

940.0 655.0

6.5

8.9

2.9

[16,62]

856.2

823.2 644.8

893.0

905.0 628.0

4.1

9.0

2.7

Bảng 2. So sánh độ chính xác giải mã với kết quả của albitar[13].
Số phần tử
Số phần tử được giải mã Độ chính xác giải
mã
Trường hợp được phát hiện
(1)
(2)
(1)
(2)
(1)
(2)
Mặt phẳng
756

1024
754
1024
99.7%
100%
Mặt cong
675
1024
642
1024
95.1%
100%
(1): Kết quả của Albitar[13]
(2): Kết quả của chúng tôi

Thuật toán YangLei
Thuật toán đề xuất (chưa sửa lỗi)
Thuật toán đề xuất (có sửa lỗi)

Bảng 3. Độ chính xác giải mã (%).
Mặt phẳng
Tờ giấy gấp
99.89
97.02
84.76
80.19
100
97.25

90 N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.”

Nghiên cứu khoa học công nghệ

Kết quả thực nghiệm phụ thuộc vào những thông số đầu vào: thông số của
camera, projector, khoảng cách và bề mặt đối tượng. Các thông số nội và tham số
ngoại của camera và projector cần được hiểu chuẩn một cách cẩn thận và chính
xác, do ảnh hưởng trực tiếp đến kết quả của quá trình ước lượng độ sâu ảnh. Ngoài
ra khoảng cách cũng là một thông số đầu vào ảnh hưởng đến kết quả. Khoảng cách
giữa hệ thống (camera và projector) và vật thể phải đảm bảo sao cho vật thể phải
nằm trong miền hội tụ của cả camera và projector. Trong hệ thống ánh sáng cấu
trúc, bề mặt vật thể là một thông số rất quan trọng và ảnh hưởng đến quá trình giải
mã ảnh cũng như kết quả ước lượng độ sâu ảnh. Với những bề mặt ảnh phẳng, liên
tục thì kết quả giải mã tốt hơn so với những trường hợp bề mặt cong hoặc gấp
khúc. Bề mặt càng gấp khúc hoặc lồi lõm nhiều thì độ chính xác của quá trình giải
mã càng giảm. Điều này được thể hiện rõ trong bảng II và bảng III, với 3 trường
hợp: mặt phẳng (plane), mặt cong (curve) và tờ giấy gấp (folded-paper).
TÀI LIỆU THAM KHẢO
[1]. Salvi, Joaquim, Jordi Pages, and Joan Batlle, "Pattern codification strategies
in structured light systems." Pattern recognition 37.4 (2004): 827-849.
[2]. Chi Zhang; Jing Xu; Ning Xi; Jianguo Zhao; Quan Shi, "A Robust Surface
Coding Method for Optically Challenging Objects Using Structured Light",
Automation Science and Engineering, IEEE Transactions on, On page(s): 775
- 788 Volume: 11, Issue: 3, July 2014
[3]. Xu Zhang; Zhu, Limin; Liwen Chu "Evaluation of coded structured light
methods using ground truth", Cybernetics and Intelligent Systems (CIS),
2011 IEEE 5th International Conference on, On page(s): 117 - 123
[4]. L. Philippe, D. Ionescu, and E. Petriu, “A high precision 3D object
reconstruction method using a color coded grid and nurbs,” in Image
Analysis and Processing, 1999. Proceedings. International Conference on.

IEEE, 1999.
[5]. T. Etizon, "Constructions for perfect maps and pseudorandom arrays,"
Information Theory, IEEE Transactions on 34.5 (1988): 1308-1316.
[6]. M. Hiroyoshi, K. Yajima, and S. Sakata, "Reconstruction of surfaces of 3D
objects by M-array pattern projection method," Computer Vision., Second
International Conference on. IEEE, 1988.
[7]. Petriu, Emil M., et al, "Visual object recognition using pseudo-random grid
encoding," Intelligent Robots and Systems, 1992., Proceedings of the 1992
IEEE/RSJ International Conference on. Vol. 3. IEEE, 1992.
[8]. Griffin, Paul M., Lakshmi S. Narasimhan, and Soung R. Yee. "Generation of
uniquely encoded light patterns for range data acquisition." Pattern
recognition25.6 (1992): 609-616.
[9]. Davies, Colin J., and Mark S. Nixon. "A Hough transform for detecting the
location and orientation of three-dimensional surfaces via color encoded
spots." IEEE Transactions on Systems, Man, and Cybernetics, Part B
(Cybernetics)28.1 (1998): 90-95.

Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017

91


Kỹ thuật điều khiển & Điện tử

[10]. Morano, Raymond A., et al, "Structured light using pseudorandom codes,"
IEEE Transactions on Pattern Analysis & Machine Intelligence 3 (1998):
322-327.
[11]. Zhang, Zheng. "A flexible new technique for camera calibration." IEEE
Transactions on pattern analysis and machine intelligence 22.11 (2000):
1330-1334.

[12]. Hsieh, Yi-Chih, "Decoding structured light patterns for three-dimensional
imaging systems," Pattern Recognition 34.2 (2001): 343-349.
[13]. Blayvas, Ilya, Alfred Bruckstein, and Ron Kimmel, "Efficient computation of
adaptive threshold surfaces for image binarization," Pattern Recognition 39.1
(2006): 89-101.
[14]. A. AbuBaker, R. Qahwaji, S. Ipson, M. Saleh, "One scan connected
component labeling technique," Signal Processing and Communications,
2007. IEEE International Conference on. IEEE, 2007.
[15]. Albitar, Chadi, Pierre Graebling, and Christophe Doignon, "Design of a
monochromatic pattern for a robust structured light coding," Image
Processing, 2007. ICIP 2007. IEEE International Conference on. Vol. 6.
IEEE, 2007.
[16]. Yang Lei, Kurt R.Bengtson, Lisa Li, Jan P.Allebach, "Design and decoding of
an M-array pattern for low-cost structured light 3D reconstruction systems,"
Image Processing (ICIP), 2013 20th IEEE International Conference on. IEEE,
2013.
ABSTRACT
DEPTH ESTIMATION USING STRUCTURED LIGHT METHOD
In this paper, a pattern used in structured light system to estimate depth
and reconstruct 3D image of the surface object is proposed. The proposed
pattern which consists of four symmetrical symbols with a simple decoding
algorithm is provided to decode a captured image with high accuracy.
Correspondence points between captured image and pattern one are
determined, and depth estimation is based on the triangulation principle.
Moreover, to increase the resolution of this method, an upgrade pattern is
also proposed by combining the above four symbols and two intensity levels.
Keywords: Computer vision, Depth estimation, Structured light, Reconstruction 3D image.

Nhận bài ngày 10 tháng 10 năm 2016
Hoàn thiện ngày 03 tháng 12 năm 2016

Chấp nhận đăng ngày 20 tháng 02 năm 2017

Địa chỉ:

1

Trường Đại học Giao thông Vận tải;
Trường Đại học Bách Khoa Hà Nội;
*
Email :

2

92 N. T. Bình, V. L. Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.”