ứng dụng xử lý ảnh nhận dạng đường đi cho ô tô chạy tự động

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
HỒ VĂN THU

ỨNG DỤNG XỬ LÝ ẢNH
NHẬN DẠNG ĐƯỜNG ĐI CHO Ô TÔ CHẠY TỰ ĐỘNG

NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 60520116

S K C0 0 4 4 5 6

Tp. Hồ Chí Minh, tháng 11/2014


BỘ GIAO
́ DUC
̣ VA ̀ ĐAO
̀ TA O
̣
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUÂT
̣
THAN
̀ H PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
HỒ VĂN THU

ỨNG DUN

̣ G XỬ LÝ ẢNH NHÂN
̣ DAN
̣ G ĐƯỜNG ĐI
CHO Ô TÔ CHAY
̣ TỰ ĐÔN
̣ G

NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 60520116

Tp.Hồ Chí Minh, than
́ g 11/2014


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
HỒ VĂN THU

ỨNG DỤNG XỬ LÝ ẢNH NHẬN DẠNG ĐƢỜNG ĐI
CHO Ô TÔ CHẠY TỰ ĐỘNG

NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 60520116
Hƣớng dẫn khoa học:
TS. LÊ THANH PHÚC

Tp. Hồ Chí Minh, tháng 11/2014

LÝ LỊCH KHOA HỌC
I. LÝ LÍCH SƠ LƢỢC:
Họ & tên: HỒ VĂN THU

Giới tính: Nam.

Ngày, tháng, năm sinh: 10/01/1985

Nơi sinh: Thừa Thiên Huế.

Quê quán: Thừa Thiên Huế

Dân tộc: Kinh.

Địa chỉ liên lạc: 88/33/44 Tổ 21B, Khu phố 6, Phƣờng Tân Chánh Hiệp,
Quận 12, Thành phố Hồ Chí Minh.
Điện thoại cơ quan:

Điện thoại nhà riêng:

Điện thoại di động: 090 9298 269

E-mail:

II. QUÁ TRÌNH ĐÀO TẠO
Đại học:
Hệ đào tạo: Chính qui

Thời gian từ 09/2005 đến 05/2010

Nơi học: Trƣờng Đại học sƣ phạm kỹ thuật Thành phố Hồ Chí Minh.
Ngành học: Cơ khí động lực.
Tên đồ án tốt nghiệp: “Biên soạn tài liệu sửa chữa động cơ phun xăng điện
tử trên các loại xe gắn máy của hãng Honda”.
Ngày & nơi bảo vệ đồ án tốt nghiệp: 31/01/2010. Đại học sƣ phạm kỹ thuật
Thành phố Hồ Chí Minh.
Ngƣời hƣớng dẫn: PGS.TS.Đỗ Văn Dũng.

III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP
ĐẠI HỌC:
Nơi công tác

Thời gian
05/2010 – 10/2014

Công việc đảm nhiệm

Trƣờng Cao Đẳng Kỹ Thuật Cao Giảng viên khoa Cơ Khí
Động Lực

Thắng

ii


LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai
công bố trong bất kỳ công trình nào khác.
Tp.Hồ Chí Minh, ngày 02 tháng 11 năm 2014

(Ký tên và ghi rõ họ tên)

Hồ Văn Thu

ii


LỜI CẢM TẠ
Một đề tài nghiên cứu không thể thành công nếu không có sự trợ giúp kết
hợp với nỗ lực cố gắng của ngƣời nghiên cứu. Do đó, tôi xin chân thành cám ơn sự
hổ trợ của:
Ban giám hiệu Trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp Hồ Chí Minh.
Khoa Cơ Khí Động Lực.
Thầy TS Lê Thanh Phúc cùng toàn thể quý thầy cô đã dạy và hƣớng dẫn nhiệt
tình và tạo mọi điều kiện thuận lợi cho tôi trong thời gian theo học tại trƣờng.
Các bạn kỹ sƣ đồng nghiệp đã động viên ủng hộ tinh thần.
Tuy thời gian thực hiện đề tài là 6 tháng, nhƣng do lƣợng kiến thức chủ chốt
để phục vụ cho công tác nghiên cứu và thực hiện đề tài thuộc chuyên ngành điện tử
và điều khiển tự động, công nghệ thông tin nên khả năng tiếp cận và lĩnh hội của
học viên chuyên ngành cơ khí động lực gặp nhiều khó khăn và hạn chế. Tuy nhiên,
với sự hƣớng dẫn và tạo điều kiện thuận lợi của Thầy TS Lê Thanh Phúc và các bạn
đồng nghiệp, tôi đã lĩnh hội đƣợc rất nhiều kiến thức mới, bổ ích để phục vụ cho
ngành cơ khí động lực và công tác nghiên cứu sau khi ra trƣờng. Vì vậy, một lần
nữa tôi xin chân thành cám ơn quý thầy cô và các bạn.
Xin chúc quý thầy cô cùng toàn thể các bạn luôn dồi dào sức khoẻ và thành
công !
Tp Hồ Chí Minh, ngày 02 tháng 11 năm 2014.
Ngƣời cảm tạ

Hồ Văn Thu

iii


TÓM TẮT
Xử lý ảnh có rất nhiều ứng dụng trong hệ thống giao thông thông minh. Nhận
dạng đƣờng đi cho ô tô chạy tự động là một đề tài trong số đó. Nghiên cứu này sử
dụng phần mềm Matlab và các Toolbox của nó là: Image Processing Toolbox,
Image Acquistion System Toolbox, Computer Vision System Toolbox làm công cụ
chính để thu thập và xử lý. Với mô hình đƣờng là đƣờng nhựa với các giả định sau:
-

Vân của đƣờng là đồng nhất.

-

Dấu phân cách làn đƣờng tuân theo qui luật.

-

Khoảng cách giữa các dấu phân cách là không đổi.

Đề tài sử dụng Webcam làm bộ phận thu thập hình ảnh chính. Từ hình ảnh thu
đƣợc sử dụng các bộ lọc FIR 2D để lọc ảnh xám hoá. Và biến đổi ảnh thành ảnh nhị
phân, từ đó sử dụng phƣơng pháp Cany và biến đổi Hough sẵn có trong Matlab để
xác định các dấu phân cách đƣờng, làn đƣờng. Tính toán khoảng cách dựa trên các
dấu phân cách thu đƣợc để đƣa ra tín hiệu về đƣờng đi cho phần điều khiển xe tự
động thông qua chuẩn giao tiếp RS232.
Đề tài đã xây dựng đƣợc một chƣơng trình nhận dạng đƣờng đi và đã thực thi
có hiệu quả trên các đoạn đƣờng thử nghiệm.

iv


ABSTRACT
Image processing has many applications in intelligent transportation system.
Lane detection and tracking for autonomous vehicle is the one of that. This study
uses Matlab software and it‟s Toolbox: Image Processing Toolbox, Image
Acquistion System Toolbox and Computer Vision System Toolbox as the main tool
to collect and process. The road model is assumped that:
- Texture of road are identical.
- Lane makers follow lane rules.
- The distance between the lane makers is constant.
This project uses Webcam to collect the images. From the images obtained by
using the 2D FIR filter, grayscale image is achieved. The image are converted into a
binary image, then use Cany method and Hough transform available in Matlab to
determine the lane makers and lane deparment. Calculate the distance based on
separator obtained to provide signal for autonomous vehicle via the standard RS232
interface.
An experimental result on local streets shows that the suggested program is
very reliable.

v


MỤC LỤC
Trang tựa .......................................................................................................... Trang
QUYẾT ĐỊNH GIAO ĐỀ TÀI
XÁC NHẬN CỦA CÁN BỘ HƢỚNG DẪN ............................................................. i
LÝ LỊCH KHOA HỌC .............................................................................................. ii

LỜI CAM ĐOAN ...................................................................................................... ii
LỜI CẢM TẠ ............................................................................................................ iii
TÓM TẮT ................................................................................................................. iv
MỤC LỤC ................................................................................................................. vi
DANH SÁCH CÁC CHỮ VIẾT TẮT ........................................................................x
DANH SÁCH CÁC HÌNH ....................................................................................... xi
Chƣơng 1 TỔNG QUAN ...........................................................................................1
1.1. Tổ ng quan chung về liñ h vƣ̣c nghiên cƣ́u ........................................................1
1.1.1. Giới thiệu...................................................................................................1
1.1.2. Ứng dụng phát hiện làn đƣờng trên các hãng xe ......................................5
1.2. Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố ................................6
1.2.1. Các kế quả nghiên cứu trong nƣớc............................................................6
1.2.2. Các kết quả nghiên cứu ngoài nƣớc ..........................................................7
1.3. Mục đích của đề tài ..........................................................................................7
1.4. Nhiệm vụ của đề tài và giới hạn đề tài .............................................................8
1.4.1. Nhiệm vụ ...................................................................................................8
1.4.2. Giới hạn đề tài ...........................................................................................8
1.5. Phƣơng pháp nghiên cứu..................................................................................8
Chƣơng 2 CƠ SỞ LÝ THUYẾT ..............................................................................10

vi


2.1. Lý thuyết tổng quan về xử lý ảnh...................................................................10
2.1.1. Xử lý ảnh số là gì ? .................................................................................10
2.1.2. Biểu diễn một ảnh số ...............................................................................11
2.1.3. Các vấn đề cơ bản trong xử lý ảnh ..........................................................19
2.1.4. Biên và các phƣơng pháp phát hiện biên ................................................26
2.1.5. Các mô hình màu ....................................................................................26
2.2. Biến đổi Hough (Hough Transform) ..............................................................30

2.2.1. Biến đổi Hough cho đƣờng thẳng ...........................................................30
2.2.2. Biến đổi Hough cho đƣờng thẳng trong tọa độ cực ................................32
Chƣơng 3 PHẦN MỀM ỨNG DỤNG .....................................................................33
3.1. Matlab.............................................................................................................33
3.1.1. Giới thiệu Matlab ....................................................................................33
3.1.2. Các thành phần cơ bản của Matlab .........................................................34
3.1.3. Malab GUI ..............................................................................................42
3.1.4. Phân đoạn và tách đƣờng viền trong Malab............................................44
3.1.5. Biến đổi Hough trong MATLAB ............................................................45
3.2. Image Acquisition Toolbox............................................................................50
3.2.1. Chức năng ...............................................................................................50
3.2.2. Các bƣớc thu thập hình ảnh cơ bản .........................................................51
3.3. Computer Vision System Toolbox ................................................................54
3.3.1. Chức năng ...............................................................................................54
3.3.2. Các hàm xử lí video ................................................................................54
3.4. Image Processing Toolbox .............................................................................61
3.4.1. Đọc ảnh ...................................................................................................61

vii


3.4.2. Hiển thị ảnh .............................................................................................61
3.4.3. Ghi ảnh ....................................................................................................62
3.4.4. Chuyển đổi giữa các lớp ảnh và các loại ảnh ..........................................63
Chƣơng 4 CHƢƠNG TRÌNH ĐIỀU KHIỂN ..........................................................64
4.1. Mô hình tổng quát ..........................................................................................64
4.2. Chọn và thiết lập camera ................................................................................65
4.3. Mô hình đƣờng và phạm vi quan sát ..............................................................66
4.4. Tiến trình xử lí ảnh .........................................................................................66
4.4.1. Xác định dấu phân cách làn đƣờng .........................................................66

4.4.2. Xác định dấu phân cách trái – phải và chèn đánh dấu làn đƣờng ...........69
4.4.3. Xuất tín hiệu ............................................................................................69
4.5. Lập trình giao diện .........................................................................................71
4.5.1. Các nút điểu khiển...................................................................................71
Chƣơng 5 THỰC NGHIỆM VÀ ĐÁNH GIÁ .........................................................73
5.1. Dữ liệu thực nghiệm .......................................................................................73
5.1.1. Địa điểm thực nghiệm .............................................................................73
5.1.2. Về tốc độ xử lí .........................................................................................73
5.2. Các hình ảnh chạy thử nghiệm chƣơng trình .................................................74
5.3. Phƣơng pháp đánh giá và tiêu chí đánh giá ...................................................75
5.4. Tiêu chí về tốc độ ...........................................................................................75
5.5. Đánh giá về độ chính xác ...............................................................................76
5.6. Đánh giá về sự sai lệch...................................................................................76
Chƣơng 6 KẾT LUẬN .............................................................................................78
6.1. Kết quả đạt đƣợc của đề tài ............................................................................78

viii


6.2. Những vấn đề còn tồn tại ...............................................................................78
6.3. Hƣớng phát triển đề tài...................................................................................79
TÀI LIỆU THAM KHẢO .........................................................................................80
Các trang Web. ......................................................................................................82
PHỤ LỤC ..................................................................................................................83
A. Chƣơng trình chính. .........................................................................................83
B. Xác định dấu chỉ làn đƣờng. .............................................................................90
C. Xác định dấu phân cách trái / phải. ..................................................................91
D. Nút Start Webcam. ...........................................................................................93
E. Nút Detection & Tracking. ...............................................................................94
F. Nút Stop. .........................................................................................................101

G. Nút Exit. .........................................................................................................102
H. Nút Connect....................................................................................................102
I. Nút Send. .........................................................................................................105

ix


DANH SÁCH CÁC CHỮ VIẾT TẮT
MATLAB

Maxtrix Laboratory

CMU

Carnegie Mellon University

MIT

Massachusetts Institute of Technology

DARPA

Defense Advanced Research Projects Agency

HDTV

High-definition television

ROI

Regions of Interest

RGB

Red, Green, Blue

HSL

Hue, Saturation, Luminance

2D

Two Demension

TIFF

Targed Image File Format

JPEG

Joint Photographics Experts Group

GIF

Graphics Interchange Format

BMP

Window Bitmap

PNG

Portable Network Graphics

XWD

X Window Dump

PCX

Personal Computer Exchange

CMY

Cyan, Magnenta, Yellow

x


DANH SÁCH CÁC HÌNH
Hình 1.1: Minh họa các mục tiêu khác nhau trong bài toán phát hiện làn đƣờng ......2
Hình 1.2: Những ví dụ về các tình huống trong bài toán phát hiện làn đƣờng ...........3
Hình 1.3: Mô hình tổng quát giải quyết bài toán phát hiện làn đƣờng. ......................5
Hình 1.4: Hê ̣ thố ng hỗ trơ ̣ làn đƣờng. .........................................................................5
Hình 2.1: Ảnh tƣơng tự và ảnh số hóa ......................................................................11
Hình 2.2: Điể m qui chiế u không gian của điể m ảnh (0,0). .......................................12
Hình 2.3: Ảnh nhị phân .............................................................................................13
Hình 2.4: Ảnh xám hóa .............................................................................................14
Hình 2.5: Ảnh màu RGB trong Matlab. ....................................................................15
Hình 2.6: Điểm ảnh ở trong một miền lân cận. .........................................................16

Hình 2.7: Lấy mẫu hình chữ nhật liên thông. ...........................................................16
Hình 2.8: Các bƣớc cơ bản trong một hệ thống xử lý ảnh .......................................19
Hình 2.9: Biểu diễn ảnh bằng ma trận điểm .............................................................20
Hình 2.10: Sơ đồ chung của hệ thống nhận dạng. ...................................................23
Hình 2.11: Ảnh thu nhâ ̣n và ảnh mong muố n ...........................................................24
Hình 2.12: Các mô hình màu ....................................................................................27
Hình 2.13: Hê ̣ to ̣a đô ̣ màu RGB ................................................................................28
Hình 2.14: Mô hình màu HSV ..................................................................................29
Hình 2.15: Bảng chỉ số giá trị 0 ................................................................................31
Hình 2.16: Đƣờng thẳng Hough trong hệ tọa độ Đề-các ..........................................32
Hình 3.1: Giao diện khi khởi động............................................................................33
Hình 3.2: Cửa sổ làm việc .........................................................................................35
Hình 3.3: Của sổ GUIDE Quick Start. ......................................................................42
Hình 3.4: Cửa sổ tƣơng tác. ......................................................................................43
Hình 3.5: Ảnh tách biên. ...........................................................................................45
Hình 3.6: Ảnh góc mạch điện. ..................................................................................46
Hình 3.7: Dùng biến đổi Hough. ...............................................................................47

xi


Hình 3.8: Kết quả dùng houghpeaks .........................................................................48
Hình 3.9: Kết quả sử dụng hàm houghlines. .............................................................50
Hình 3.10: Mở file video dùng vision.VideoPlayer. .................................................55
Hình 3.11: Ảnh cƣờng độ ..........................................................................................57
Hình 4.1: Mô hình tổng quát. ....................................................................................64
Hình 4.2: Mô hình cụ thể. .........................................................................................65
Hình 4.3: Vùng quan tâm. .........................................................................................67
Hình 4.4: Ảnh đƣợc trích xuất ..................................................................................67
Hình 4.5: Hình giới hạn quan sát. .............................................................................68

Hình 4.6: Ảnh cƣờng độ. ...........................................................................................68
Hình 4.7: Ảnh nhị phân .............................................................................................68
Hình 4.8: Chƣơng trình mô phỏng Proteus. ..............................................................70
Hình 4.9: Chƣơng trình tạo Virtual Serial Port Driver. ............................................70
Hình 4.10: Giao diện ngƣời dùng..............................................................................71
Hình 4.11: Giao diện. ................................................................................................72
Hình 5.1: Vị trí khi đi đúng làn đƣờng ......................................................................74
Hình 5.2: Lệch trái. ...................................................................................................74
Hình 5.3: Lệch phải ...................................................................................................75
Hình 5.4: Sai lệch do dấu chỉ đƣờng ……………………………………………....77

xii


Chƣơng 1

TỔNG QUAN
1.1. Tổ ng quan chung về linh
̃ vƣc̣ nghiên cƣ́u
1.1.1. Giới thiệu
Nhận dạng đƣờng đi là một trong những vấn đề rất quan trọng trong nhiều
ứng dụng về các hệ thống hỗ trợ giao thông tự động, đặc biệt trong các hệ thống đều
khiển xe tự động. Cùng với sự phát triển vƣợt bậc vềt độ xử lý của máy tính, giá
thành của các thiết bị hỗ trợ ngày càng giảm thì các nghiên cứu về hệ thống điều
khiển xe tự động ngày càng đƣợc phát triển cùng với sự phát triển của hệ thống giao
thông thông minh. Đã có nhiều nghiên cứu tập trung vào bài toán phát hiện làn
đƣờng và một số kết quả bƣớc đầu đạt đƣợc đã cho thấy những tín hiệu khả quan.
Trong bài toán phát hiện làn đƣờng có 3 loại mục tiêu chính là: (i) cảnh báo khi
chuyển làn đƣờng, (ii) hỗ trợ ngƣời trong quá trình lái xe, và (iii) điều khiển xe tự
động.

i) Hệ thống thông báo khi chuyển làn đường1: Trong mục tiêu này, yêu cầu
đặt ra là hệ thống phải thông báo đƣợc khi xe thay đổi làn đƣờng. Vấn đề quan
trọng nhất cần giải quyết ở đây là làm sao dự đoán đƣợc chính xác quỹ đạo của xe
tƣơng ứng với đƣờng biên của làn đƣờng.
ii) Hệ thống hỗ trợ người điều khiển xe2: Trong mục tiêu này, vấn đề quan
trọng là giúp ngƣời điều khiển xe chú ý đƣợc làn đƣờng dễ dàng hơn. Hay nói cách
khác, ngƣời điều khiển sẽ đƣợc hệ thống gợi ý các làn đƣờng. Hầu hết các nghiên
cứu đều tập trung ở mục tiêu này.
iii) Hệ thống hỗ trợ điều khiển xe tự động3: Với mục tiêu hỗ trợ điều khiển
xe tự động, yêu cầu đặt ra là hệ thống cần đƣa ra đƣợc làn đƣờng sắp tới mà xe sẽ di

1

Lane-Departure-Warning Systems
Driver-Attention Monitoring Systems
3
Automated Vehicle-Control Systems
2

1


chuyển. Vấn đề quan trọng đối với mục tiêu này là hạn chế đƣợc sai số tính toán
trong việc ƣớc lƣợng vị trí của xe và làn đƣờng.

Hình 1.1: Minh họa các mục tiêu khác nhau trong bài toán phát hiện làn đường
a) Mục tiêu khi thay đổi làn đường. b) Mục tiêu hỗ trợ người điều khiển xe. c)
Mục tiêu điều khiển xe tự động. [1]
Trong các mu ̣c tiêu trên , mục tiêu phục vụ cho hệ thống điều khiển xe tự
động đƣợc đánh giá là khó nhất. Hiện tại hƣớng nghiên cứu này đang thu hút đƣợc

nhiều sự quan tâm của các nhóm nghiên cứu, trong đó có cả những nhóm lớn nhƣ
nhóm của CMU4, hay nhóm của MIT5 với những cuộc thi lớn nhƣ DARPA. Nghiên
cứu của đề tài nằm chủ yếu ở mục tiêu này.
Tuy vậy vẫn còn nhiều khó khăn tồn tại trong việc giải quyết bài toán với
mục tiêu này nói riêng cũng nhƣ toàn bộ bài toán phát hiện làn đƣờng nói chung.
Các khó khăn có thể chỉ ra nhƣ sau:
-

Phần lớn yêu cầu đòi hỏi ứng dụng phải xử lý ở thời gian thực. Trong rất
nhiều nghiên cứu, nhƣ ở [2] các kết quả đạt đƣợc khá tốt, tuy nhiên nghiên
cứu này vẫn chƣa thực thi đƣợc trong thời gian thực.

4
5

Carnegie Mellon University
Massachusetts Institute of Technology

2


-

Sự khó khăn do các dấu phân cách làn đƣờng (lane-marking) không rõ nét
hoặc bị che lấp… Các ví dụ này đƣợc thể hiện trong Hình 1.2 đƣợc lấy từ kết
quả khảo sát của McCall và cộng sự trong [1].

Hình 1.2: Những ví dụ về các tình huống trong bài toán phát hiện làn đường
a) Làn đường thông thường. b) Làn đường bị che bởi bóng nắng. c) Làn đường
không rõ nét. d) Làn đường kết hợp nhiều loại. e) Làn đường bị che bởi bóng

cây. f) Làn đường hoàn toàn bị mất dấu. [1]

3


-

Sự phức tạp của địa hình. Trong phần lớn các nghiên cứu nhƣ [3], [4], [5],
[6], [7], và [8] đều giả định mặt đƣờng cần xử lý là phẳng. Cho đến thời điểm
thực hiện đề tài, có rất ít nghiên cứu nhƣ ở [9] là tiếp cận theo hƣớng toàn bộ
đƣờng theo dạng 3 chiều.

-

Độ cong của làn đường: Độ cong của làn đƣờng là một phần rất quan trọng
cho việc giải quyết bài toán. Một số nghiên cứu giả định làn đƣờng chỉ là
những đoạn thẳng nhƣ ở [8], hay là những đƣờng cong B-spline nhƣ ở [2].
Một số khác, chỉ xét làn đƣờng nhƣ những đƣờng cong có độ cong rất nhỏ
nhƣ [9] và [10]. Để đạt đƣợc giả định này, các nghiên cứu đã tiến hành
chuyển ảnh sang chiều nhìn từ trên xuống (top-down view hay còn đƣợc gọi
là bird‟s eye view) nhƣ ở [10], [5], [7], và [8].

-

Các tình huống phức tạp: khi gặp giao lộ, hoặc khi làn đƣờng thay đổi độ
lớn, hay làn đƣờng phân đôi hoặp ghép lại… cho tới thời điể m thƣ̣c hiê ̣n đề
tài, vẫn chƣa th ấy có nghiên cứu nào tiếp cận đến việc giải quyết các tình
huống này.
Vì những lý do khó khăn kể trên cũng nhƣ tầm quan trọng của bài toán, vấn

đề đặt ra cho đề tài là tìm ra phƣơng pháp hiệu quả để có thể một mặt thực thi đƣợc
trong thời gian thực, mặt khác giải quyết đƣợc phần lớn các khó khăn kể trên, đặc
biệt hỗ trợ đƣợc cho mục tiêu ứng dụng vào hệ thống điều khiển xe tự động.
Mô hin
̀ h tổ ng quát giải quyế t vấ n đề .

4


Hình 1.3: Mô hình tổng quát giải quyết bài toán phát hiện làn đường [9]
1.1.2. Ứng dụng phát hiện làn đƣờng trên các hãng xe

Hình 1.4: Hê ̣ thố ng hỗ trợ làn đường [28]
Hê ̣ thố ng hổ trơ ̣ làn đƣờng có thể hổ trơ ̣ và cảnh báo khi ngƣời lái xe vô ý rời
khỏi làn đƣờng hoặc chuyển làn đƣờng mà không có tín hiệu . Trên các tuyế n đƣờng
dài, ngƣời lái có thể vô tiǹ h để chiế c xe trôi ra lề đƣờng hoă ̣c qua làn đƣờng khác
Điề u này dễ gây nên tai na ̣n bởi khi ngƣời lái phát hiê ̣n ra , họ thƣờng hoảng hốt.

5

.


Mô ̣t số nhà sản xuấ t đã phát triể n công nghê ̣ cảnh báo ngƣờ i lái xe khi xe di
chuyể n gầ n tới va ̣ch kẻ đƣờng bằ ng âm thanh hoă ̣c rung tay lái
khiể n tay lái để giƣ̃ cho xe đi đúng làn đƣờng

, hoă ̣c hổ trơ ̣ điề u

. Các nhà sản xuất rất quan tâm tới

ngƣời lái trong cảnh báo , nên mô ̣t vài hañ g xe chỉ cảnh báo ở tố c đô ̣ cao.
Hê ̣ thố ng đƣơ ̣c thƣ̣c hiê ̣n bởi các camera gắ n trƣớc gƣơng chiế u hâ ̣u để theo
dỏi làn dƣờng đƣợc đánh dấu bởi các vạch chỉ đƣờng . Hiê ̣u quả của hê ̣ thố ng này sẽ
giảm nếu thời tiết xấu, ví dụ nhƣ trời mƣa hoă ̣c có tuyế t .
Mô ̣t số hañ g xe sƣ̉ du ̣ng Lane Support Systems điể n hin
̀ h:
-

Skoda: Skoda Lane Assistant (2013) trên xe Skoda Octavia 2013.

-

Audi: Audi Active Lane Assist (2012) trên xe Audi A3.

-

Ford: Ford Lane Keeping Aid (2011) trên xe Ford Focus 2012, Ford Lane
Keeping Alert (2012) trên xe Ford Transit Custom 2012.

-

Seat: Seat Lane Assist (2012) trên xe Seat Leon 2012.

-

Infiniti: Infiniti Lane Departure Prevention (LDP) (2011) trên xe Infiniti FX
2009.

-

Opel: Opel Eye (2010) trên xe Opel/Vauxhall Astra GTC 2011, insignia,
Zafiratourer.

-

Volkswagen: Volkwagen Lane Assist (2010) trên xe Golf, Passat 2005.

Và gần đây nhất là hai hãng xe nỗi tiếng là Mercedes-Benz và Nissan đã thử
nghiệm xe tự lái trên S500 Intelligent Drive và Nissan Leaf. Dự kiến sẽ tung ra thị
trƣờng trong thời gian sớm nhất. [30]
1.2. Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố
1.2.1. Các kế quả nghiên cứu trong nƣớc
Ở nƣớc ta, nền công nghiệp ô tô phát triển chƣa mạnh so với sự phát triển
ngành này nhƣ ở nƣớc trong khu vực và trên thế giới. Điều kiện đƣờng sá cũng nhƣ
các hệ thống giao thông thông minh phát triển chƣa đúng mức, và đúng chuẩn. Do
đó, cho tới thời điểm này chƣa có một công trình nghiên cứu nào về nhận dạng làn
đƣờng cho ô tô chạy tự động ở Việt Nam đƣợc công bố.

6


1.2.2. Các kết quả nghiên cứu ngoài nƣớc
Trên thế giới đã có nhiều nghiên cứu về nhận dạng làn đƣờng cho ô tô với
nhiều mục đích cũng nhƣ sử dụng các phƣơng pháp tiếp cận khác nhau. Trong đó,
điển hình là các nghiên cứu của Nicholas Apostoloff và Alexander Zelinsky với đề
tài “Robust vision based lane tracking using multiple cues and particle filtering"
năm 2003. Nichlas và Alexande đã sử dụng hai phƣơng pháp đó là Particle filtering
và Multiple cues để phát hiện biên cũng nhƣ theo dỏi làn đƣờng. [3]
Nghiên cứu của M. Bertozzi và A. Broggi về đề tài "GOLD: A parallel realtime stereo vision system for generic obs a le and lane detection" năm 1998. Thu

thập dữ liệu song song của camera để phát hiện làn đƣờng cũng nhƣ chƣớng ngại
vật dựa trên hàng loạt bộ lọc hình thái học để đƣa ra cảnh báo cho ngƣời lái xe.[4]
Nghiên cứu của ZuWhan Kim về đề tài "Realtime Lane Tracking of Curved
Local Road" công bố năm 2006 sử dụng kỹ thuật Particle Filtering và thuật toán
RANSAC (RANdom SAmple Concensus) để phát hiện làn đƣờng.[5]
Nghiên cứu của Stephan Sehestedt, Sarath Kodagoda, Alen Alempijevic và
Gamini Dissanayake về đề tài "Robust Lane Detection in Urban Environments"
năm 2007 cũng sử dụng kỹ thuật Particle Filtering bằng công cụ Ora2/C++ để phát
hiện làn đƣờng.[8]
Nghiên cứu của Jiang Ruyi, Klette Reinhard và Vaudrey Tobi, Wang
Shigang đã sử dụng kỹ thuật Particle Filtering và Phép Biến đổi khoảng cách
Euclidean để phát hiện và theo dỏi làn đƣờng trong đề tài “Lane detection and
tracking using a new lane model and distance transform ” năm 2011.[11]
“Real-time lane tracking using Rao-Blackwellized particle filter” là đề tài
đƣợc công bố năm 2012 của Marcos Nieto, Andoni Corte‟s, Oihana Otaegui, Jon
Arro‟spide và Luis Salgado. Nghiên cứ đã sử dụng phƣơng pháp Rao-Blackwellized
particle filter (RBPF) để phát hiện làn đƣờng và xử lý trong thời gian thực.[12]
1.3. Mục đích của đề tài
Công nghệ xe tự lái đƣợc cho là an toàn hơn, đơn giản vì máy móc hoạt động
nhanh hơn con ngƣời. Số khung hình mỗi giây mà mắt thƣờng chúng ta nắm bắt ít

7


hơn một máy quay tốc độ cao, não chúng ta xử lý dữ liệu và phản ứng chậm hơn
CPU máy tính. Và chân tay con ngƣời thua xa về tốc độ làm việc so với những cơ
cấu điện tử.
Ở Việt Nam, cơ sở hạ tầng giao thông đang dần đƣợc cải thiện. Việc xây
dựng một hệ thống giao thông thông minh là vấn đề cấp thiết trong công cuộc công
nghiệp hóa, hiện đại hóa đất nƣớc. Nghiên cứu, xây dựng các công cụ hổ trợ cho hệ

thống giao thông thông minh trong đó có phƣơng tiện giao thông thông minh là yêu
cầu của thời đại. Ứng dụng xử lý ảnh để nhận dạng đƣờng đi cho ô tô chạy tự động
nhằm mục đích đó.
1.4. Nhiệm vụ của đề tài và giới hạn đề tài
1.4.1. Nhiệm vụ
Sử dụng các công cụ xử lý ảnh để xây dựng chƣơng trình nhận dàng làn
đƣờng cho ô tô chạy tự động.
1.4.2. Giới hạn đề tài
-

Nghiên cứu trên mô hình đƣờng nhựa có dấu phân cách làn đƣờng.

-

Các dấu phân cách làn đƣờng là các vạch sơn thẳng.

-

Vân đƣờng đồng nhất.

-

Bề rộng của làn đƣờng, tức là khoảng cách giữa các dấu phân cách làn đƣờng
là hằng số.

1.5. Phƣơng pháp nghiên cứu
Để thƣ̣c hiê ̣n viê ̣c ƣ́ng du ̣ng x ử lý ảnh để nhận d ạng đƣờng đi cho ô tô cha ̣y
tƣ̣ đô ̣ng, hƣớng tiế p câ ̣n của đề tài đƣơ ̣c đề xuấ t các bƣớc nhƣ sau:
1. Nghiên cƣ́u các cơ sở lý thuyế t : Lý thuyết về xử lý ảnh , xe chạy tƣ̣ đô ̣ng,
tham khảo và ƣ́ng du ̣ng các phƣơng pháp của các công trình nghiên cƣ́u

đã công bố để xây dựng một phƣơng pháp mang tin
́ h đổ i mới.
2. Tìm hiểu các loại camera và xác định các tham số của camera

: Đây là

mô ̣t bƣớc rấ t quan tro ̣ng bởi đề tài xây dƣ̣ng trên cơ sở ƣ́ng du ̣ng xƣ̉ lý
ảnh.

8


3. Nghiên cƣ́u các công cu ̣ xƣ̉ lý

ảnh phù hợp để thu thập và xử lý

:

LabVIEW, Matlab, OpenCV…
4. Thu nhâ ̣n hình ảnh và xƣ̉ lý dƣ̣a trên các ảnh thu nhâ ̣n đƣơ ̣c : Viế t chƣơng
trình thu thập dữ liệu là hình ảnh từ các camera để nhận biết các dấu hiệu
phân cách đƣờng trên cơ sở ƣ́ng du ̣ng các phầ n mề m xƣ̉ lý ảnh.
5. Theo vế t làn đƣờng : Dƣ̣a trên kế t quả của bƣớc 4 xây dƣ̣ng chƣơng trình
bám theo vết làn đƣờng thông qua bám biên của làn đƣờng.
6. Xây dƣ̣ng thuâ ̣t toán điề u khiể n , chƣơng trình nhận dạng đƣờng đi để
xuất tín hiệu điều khiển phần cứng.

9

Chƣơng 2

CƠ SỞ LÝ THUYẾT
2.1. Lý thuyết tổng quan về xử lý ảnh
Ứng dụng của xử lý ảnh rất rộng trong cuộc sống . Tác động mạnh mẽ nhất là
trong liñ h vƣ̣c y tế , anh ninh. Gầ n gũi với cuô ̣c số ng gia đin
̀ h là cải tiế n ảnh tivi , xƣ̉
lý ảnh số có tác động quyết định đến việc cải thiện chất lƣợng hình ảnh của hệ
truyề n hiǹ h có đô ̣ phân giải cao (HDTV).
Ngƣời máy càng ngày càng đ óng vai trò quan trọng trong công nghiệp và gia
đình. Chúng sẽ thực hành những công việc nhàm chán hoặc nguy hiểm

, và những

công viê ̣c mà tố c đô ̣ và đô ̣ chin
́ h xác vƣơ ̣t quá khả năng của con ngƣời

. Khi ngƣời

máy trở nên tinh vi hơn, thị giác máy tính (Computer Vision) sẽ đóng vai trò ngày
càng quan trọng . Ngƣời ta sẽ đòi hỏi ngƣời máy không nhƣ̃ng phát hiê ̣n và nhâ ̣n
dạng các bộ phận công nghiệp , mà còn “hiểu” đƣợc những gì chúng “thấy” và đƣa
ra nhƣ̃ng hành đô ̣ng phù hơ ̣p. Xƣ̉ lý ảnh sẽ có tác đô ̣ng lớn đế n thi ̣giác máy tính .
Nhìn chung, nhƣ̃ng ƣ́ng du ̣ng của xƣ̉ lý ảnh số là vô ha ̣n.
2.1.1. Xử lý ảnh số là gì ?
Xử lý ảnh số sử dụng các máy tính số, chúng đƣợc phát triển để đáp ứng ba
vấn đề chính liên quan đến các bức ảnh là :
-

Số hóa và mã hóa các bức ảnh để đơn giản hóa quá các quá trình truyền

thông, in ấn và lƣu giữ ảnh.

-

Cải thiện chất lượng và khôi phục ảnh để hiểu biết nhiều hơn nội dung thông
tin chứa trong mỗi bức ảnh, chẳng hạn nhƣ các bức ảnh chụp bề mặt các
hành tinh xa xôi do vệ tinh gửi về hoặc các ảnh nội soi, công hƣởng từ trong
khảo sát y học.

-

Phân đoạn và mô tả ảnh, nhằm tạo nên các ảnh nhƣ một tín hiệu lối vào cho
một hệ thống nhìn nhân tạo hoặc để tách các thông tin chứa trong một ảnh
thu đƣợc [13]. Phân đoạn và mô tả ảnh còn đƣợc gọi là lý giải ảnh.

10