Ứng dụng xử lý ảnh và mạng nơ ron trong nhận dạng biển số

bộ giáo dục và đào tạo
trường đại học bách khoa hà nội
******************

Luận văn thạc sĩ KHOA HC

Ngành : O LNG VÀ HỆ THÔNG ĐIỀU KHIỂN
ỨNG DỤNG XỬ LÝ ẢNH VÀ MẠNG NƠ-RƠN TRONG
NHẬN DẠNG BIỂN SỐ

NGUYỄN THÀNH TRUNG

Hµ néi 2008


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
--------*--*--------

LUẬN VĂN THẠC SĨ KHOA HỌC

ỨNG DỤNG XỬ LÝ ẢNH VÀ MẠNG
NƠ -RÔN TRONG NHẬN DẠNG BIỂN SỐ XE

NGÀNH: ĐO LƯỜNG VÀ HỆ THỐNG ĐIỀU KHIỂN

NGUYỄN THÀNH TRUNG
Người hướng dẫn khoa học: PGS.TSKH. TRẦN HỒI LINH

Hµ néi – 2008

Tóm tắt luận văn
Đề tài:” Ứng dụng xử lý ảnh và mạng nơ-rôn trong nhận dạng biển số xe”
Nội dung của luận văn tập trung giải quyết các vấn đề sau:
-

Nhận dạng tự động biển số xe ô tô đang chuyển động trên đường quốc lộ,
với các loại xe biển số khác nhau (biển trắng, ...).

Để thực hiện nội dung trên, luận văn được chia làm 3 phần chính
Phần I Tổng quan.
Trình bày vấn đề khoa học, thực tiễn của đề tài, tóm tắt nội dung chính sẽ thực
hiện trong luận văn. Đưa ra mơ hình được xây dựng về nhận dạng tự động biển số
xe trên cơ sở mô hình đã có trước đây.
Phần II. Phân tích, thiết kế hệ thống nhận dạng biển số xe từ ảnh camera.
Nội dung chính bao gồm:
-

Mơ hình hệ thống: tóm tắt mơ hình thực hiện trong luận văn qua sơ đồ khối
chức năng.

-

Chi tiết từng khối chức năng: Đây là phần chính của luận văn tập trung giải
quyết các vấn đề sau:
o Đọc file video từ camera
o Nhận dạng và lọc đầu xe
o Tách biển số khỏi đầu xe
o Lọc và nhận dạng ký tự trong biển số

Phần III. Kết quả thực hiện
Đưa ra kết quả đã thực hiện được trên cơ sở của bộ mẫu đã thu thập, tập trung
phân tích những kết quả đã nhận dạng thành công và những kết quả chưa được
trong đó tập trung phân tích những các trường hợp chưa thành công.
-

Đưa các kiến nghị

-

Thực hiện demo chương trình.

Dự kiến kết quả
-

Có được hiểu về ảnh số, xử lý ảnh số, các kỹ thuật trong xử lý ảnh số và ứng
dụng trong các bài toán nhận dạng hình ảnh

-

Xây dựng được mơ hình nhận dạng tự động xe ô tô đang di chuyển trên
đường quốc lộ, lọc và tách được biển số xe cho các xe này

-

Mở rộng nhận dạng đối với nhiều loại biển số khác nhau.


Mục lục
Phần I. Tổng Quan ..................................................... 1

I. Đặt vấn đề .............................................................. 1
II Giải pháp thực hiện ............................................... 3
1. Mơ hình thực tế hiện nay ...................................... 3
2. Mơ hình xây dựng trong đồ án.............................. 4

Phần II. Các bước thực hiện bài toán nhận dạng biển
số xe. .......................................................................... 6
I. Các bước thực hiện bài toán nhận dạng biển số ... 6
1.

Sơ đồ khối mơ hình.......................................... 6

2.

Chức năng từng khối mơ hình ......................... 7

2.1. Khối đọc file video từ camera. ............................ 7
2.2. Khối chuẩn hóa. .................................................. 7
2.3. Khối nhận dạng và lọc đầu xe ............................. 8
2.4. Khối tách biển số ra khỏi đầu xe ......................... 8
2.5. Khối lọc và nhận dạng ký tự có trong biển số xe 8
2.6. Khối kiểm tra mơ hình ........................................ 9

II. CHI TIẾT TỪNG KHỐI CHỨC NĂNG .............. 9
1.

Khối thu thập dữ liệu. ...................................... 9

1.1 Camera thu thập ................................................... 9
1.2 Đọc file video từ Camera và chuẩn hóa ............... 9

1.2.1. Chuẩn độ sáng cho ảnh .................................. 10


1.2.2. Chuyển đổi ảnh từ ảnh RGB về dạng ảnh xám
và ảnh nhị phân ........................................................ 13
1.3. Đại cương về ảnh số.......................................... 13
1.3.1 Ảnh số ............................................................. 13
1.3.2 Mơ hình màu theo 3 kênh R - G – B ............... 14
1.3.3 Chuyển đổi màu .............................................. 16
Xử lý ảnh trong Matlab ............................................ 18
2. Khối nhận dạng và lọc đầu xe. ............................. 19
2.1 Nhận dạng tự động đầu xe có trong file video. .. 19
2.2 Lọc đầu xe khỏi ảnh từ phim. ............................ 23
3. Tách biển số ra khỏi đầu xe ................................. 25
3.1. Các phương pháp tách....................................... 25
3.1.1 Thuật toán nhị phân hoá ảnh đầu vào ............. 25
3.1.2 Thuật toán gán nhãn ........................................ 25
3.1.3 Thuật toán opening và closing ........................ 26
3.1.4 Thuật toán chuyển đổi Hough ......................... 27
3.1.5. Mạng Kohonen và ứng dụng trong nhận dạng
biển số xe ................................................................. 29
4. Nhận dạng ký tự trong biển số ............................. 38
4.1. Lọc nhiễu cho biển số xe .................................. 38
4.1.1. Lọc điểm cô lập .............................................. 38
4.1.2. Lọc bỏ viền khung biển số ............................. 38
4.1.3. Kỹ thuật làm trơn biên ................................... 39


4.2. Tách ký tự ......................................................... 40
4.2.1. Phương pháp lược đồ chiếu ........................... 40

4.2.2. Phương pháp gán nhãn đối tượng .................. 41
4.2.3. Phương pháp tách tĩnh –Giải pháp lựa chọn .. 42
4.3 Nhận dạng ký tự ................................................. 44

Phần III: Kết quả thực hiện ...................................... 46
I. Kết quả thực hiện trên tập số liệu mẫu ............... 46
1.

Cấu trúc của bộ số liệu dùng trong luận văn . 46

2.1. Chương trình ..................................................... 46
2.2. Kết quả chạy ..................................................... 50
2.2.1 Lưu đồ thuật toán ........................................... 50
2.2.2 Các bước thực hiện trong bài toán ................. 56
2.2.3 Một số trường hợp nhận dạng sai .................. 58
Thực hiện demo chương trình .................................. 61
2.2.4 Tổng hợp kết quả trên 2 tập số liệu mẫu ......... 64

II. Tổng kết và hướng phát triển của đề tài.............. 65
1. Kết quả của đồ án................................................. 65
2. Hướng phát triển của đề tài ................................... 65

Tài liệu tham khảo ................................................... 66


Danh mục hình vẽ
Hình 1.1: Mơ hình hệ thống trong thực tế ...................................................................................................... 3
Hình 1.2: Mơ hình nhận dạng tự động biển số xe được xây dựng trong luận văn (bỏ qua khâu sensor) ....... 4
Hình 2.1: Sơ đồ khối mơ hình thực hiện trong luận án .................................................................................. 6
Hình 2.2: Ảnh mẫu ở dạng RGB................................................................................................................... 11

Hình 2.3: Ảnh xám và histogram của mẫu ................................................................................................... 12
Hình 2.4: Ảnh và histogram chụp trong điều kiện ánh sáng kém ................................................................. 12
Hình 2.5: Ảnh và histogram sau khi đã được điều chỉnh độ sáng ................................................................ 12
Hình 2.6: Đường cong cảm nhận S1, S2, S3 ............................................................................................... 14
Hình 2.7: Hệ tọa độ RGB ............................................................................................................................ 16
Hình 2.8: Ảnh gốc dạng RGB ....................................................................................................................... 17
Hình 2.9: Ảnh xám chuyển đổi theo cơng thức trên ..................................................................................... 17
Hình 2.10: Ảnh gốc dạng RGB ..................................................................................................................... 18
Hình 2.11: Ảnh xám chuyển đổi theo cơng thức trên ................................................................................... 18
Hình 2.12: Ảnh gốc dạng RGB ..................................................................................................................... 18
Hình 2.13: Ảnh xám chuyển đổi theo cơng thức trên ................................................................................... 18
Hình 2.14: Ảnh nền và vị trí hai mặt nạ để kiểm tra .................................................................................... 19
Hình 2.15: Khi có sự xuất hiện của xe tại vị trí mặt nạ 1 ............................................................................. 20
Hình 2.16: Mặt nạ 1 được tách ra để so sánh với mẫu ban đầu .................................................................. 20
Hình 2.17: Mức xám của mẫu ...................................................................................................................... 21
Hình 2.18: Khi có sự xuất hiện của xe, mức xám thay đổi. .......................................................................... 21
Hình 2.19: Vị trí phát hiện xe lần đầu tiên xuất hiện trong frame ............................................................... 22
Hình 2.20: Vị trí cắt đầu xe sau khi phát hiện xe trong frame lần đầu tiên ................................................. 23
Hình 2.21 Ảnh đầu xe được lọc ra ................................................................................................................ 23
Hình 2.22: Ảnh đầu xe trên đã được lọc các thành phần nhiễu ................................................................... 24
Hình 2.23: Tọa độ phát hiện đầu xe lần lượt theo 2 trục x và y có được từ hình 2.22 ................................. 24
Hình 2.24: Đầu xe được cắt ra ..................................................................................................................... 24
Hình 2.25: Đầu xe được cắt ra lần cuối ....................................................................................................... 25
Hình 2.26: Đường thẳng trong khơng gian (x,y) .......................................................................................... 28
Hình 2.27: Biến đổi Hough .......................................................................................................................... 28
Hình 2.27b: Quá trình dịch chuyển của các trọng tâm ................................................................................ 30
từ vị trí ngẫu nhiên ban đầu về các vùng số liệu .......................................................................................... 30
Hình 2.28: Mẫu 1 ......................................................................................................................................... 31
Hình 2.29: Loại biển số dùng mẫu 1 để dị................................................................................................... 31
Hình 2.30: Mẫu 2 ......................................................................................................................................... 32

Hình 2.31: Loại biển số dùng mẫu 2 để dị................................................................................................... 32
Hình 2.32: Mẫu biển số ................................................................................................................................ 32
Hình 2.33: Loại biển số dung mẫu 3 để dị................................................................................................... 32
Hình 2.34: Ảnh đầu xe được nhận dạng ....................................................................................................... 33
Hình 2.35: Ảnh đầu xe được cắt ra .............................................................................................................. 34
Hình 2.36: Đầu xe ........................................................................................................................................ 34
Hình 2.37: Biển số được tách ra .................................................................................................................. 34
Hình 2.38: Ảnh có xe được nhận dạng ......................................................................................................... 35
Hình 2.39: Ảnh đầu xe đã được cắt ra ......................................................................................................... 35
Hình 2.40: Đẫu xe ........................................................................................................................................ 35
Hình 2.41: Biển số được tách ra .................................................................................................................. 35
Hình 2.42: Hình ảnh xe được phát hiện_biển vng .................................................................................... 36
Hình 2.43: Hình đầu xe được cắt ra_biển vng ......................................................................................... 36
Hình 2.44: Đẫu xe_biển vng ..................................................................................................................... 36
Hình 2.45: Biển số được tách ra_biển vng ............................................................................................... 36
Hình 2.47: Ảnh xe_ Biển xanh ...................................................................................................................... 37
Hình 2.48: Cắt đầu xe_ Biển xanh ............................................................................................................... 37
Hình 2.49: Đẫu xe_biển xanh ....................................................................................................................... 37
Hình 2.50: Biển số được tách ra_Biển xanh ................................................................................................ 37
Hình 2.51: Biển số sau khi cắt bị nhiễu viền khung ..................................................................................... 39
Hình 2.52: Sau khi lọc nhiễu viền khung ...................................................................................................... 39
Hình 2.53: Biển số được bo khung sát với ký tự ........................................................................................... 39


Hình 2.54: Sau khi được chuyển đổi ngược ................................................................................................. 39
Hình 2.55:Biển lọc ra ................................................................................................................................... 39
Hình 2.56: Sau khi bỏ viền và bo khung. ...................................................................................................... 39
Hình 2.57:Biển lọc ra ................................................................................................................................... 39
Hình 2.58: Sau khi bỏ viền và bo khung và chuyển đổi. ............................................................................... 39
Hình 2.59: Biển số được làm sạch................................................................................................................ 40

Hình 2.60: Lược đồ chiếu dọc của biển số ................................................................................................... 40
Hình 2.61: Biển số đã được lọc nhiễu .......................................................................................................... 41
Hình 2.62: Lược đồ mức xám của biển số .................................................................................................... 41
Hình 2.63: Ảnh biển số ................................................................................................................................. 41
Hình 2.64: Các kí tự đã được tách ra khỏi biển số....................................................................................... 41
Hình 2.65: Biển số cần tách ......................................................................................................................... 42
Hình 2.66: Các ký tự đã được tách............................................................................................................... 42
Hình 2.67: Biển số đã được lọc nhiễu .......................................................................................................... 43
Hình 2.68: Biển số được tách đơi ................................................................................................................. 43
Hình 2.69: Phân tách ký tự nửa dưới của biển số vuông ............................................................................. 43
Hình 2.70: Phân tách ký tự nửa trên của biển số vng .............................................................................. 43
Hình 2.71: Bộ mẫu các chữ số ..................................................................................................................... 44
Hình 2.72: Bộ mẫu các chữ cái .................................................................................................................... 45
Hình 3.1: Lưu đồ thuật tốn chương trình chính.......................................................................................... 50
Hình 3.2: Lưu đồ thuật tốn chương trình dị xe trong ảnh ......................................................................... 51
Hình 3.3: Lưu đồ thuật tốn chương trình dị biến số (tmp) ........................................................................ 52
Hình 3.4: Lưu đồ thuật tốn chương trình dị biển số (tổng hợp) ................................................................ 53
Hình 3.5: Lưu đồ thuật tốn chương trình lọc nhiễu cho biển số ................................................................. 53
Hình 3.6: Lưu đồ thuật tốn chương trình tách ký tự ................................................................................... 54
Hình 3.7: Lưu đồ thuật tốn chương trình tách ký tự (tổng hợp) ................................................................. 54
Hình 3.8: Lưu đồ thuật tốn chương trình nhận dạng ký tự ......................................................................... 55
Hình 3.9: Ảnh đầu vào được trích từ phim .................................................................................................. 56
Hình 3.10: Trường hợp có xe xuất hiện........................................................................................................ 56
Hình 3.11: Xe được phát hiện và chuẩn hóa ................................................................................................ 56
Hình 3.12: Đẫu xe được lọc ra ..................................................................................................................... 57
Hình 3.13: Biển số được tách ....................................................................................................................... 57
Hình 3.14: Biển số được lọc nhiễu ............................................................................................................... 57
Hình 3.15: Ký tự được tách và nhận dạng ................................................................................................... 57
Hình 3.16: Hình ảnh khơng nhận dạng được đầu xe do các xe nối tiếp nhau .............................................. 58
Hình 3.17: Hình xe khơng được nhận dạng khi đi q xa làn đường quy định ........................................... 59

Hình 3.18: Khơng nhận dạng được biển số do vùng biển quá mờ ............................................................... 60


Lời cám ơn
Em xin gửi lời cảm ơn sâu sắc PGS.TSKH.TRẦN HỒI LINH, người đã
tận tình giúp đỡ em rất nhiều trong quá trình học tập và làm luận án.
Em xin chân thành cảm ơn TS. VŨ QUANG THÀNH – Giám đốc công
ty TNHH Tin hoc & Điện tử Thăng Long, người đã giúp đỡ em rất nhiều về
kiến thức và kinh nghiệm thực tế.
Em xin cảm ơn các thầy cô giáo trường Đại Học Bách Khoa, bộ môn Kỹ
thuật đo – Tin học công nghiệp đã cho em những kiến thức, kinh nghiệm và
những bài học giúp trưởng thành trong quá trình học tập ở trường.
Xin cảm ơn các đồng nghiệp trong Công ty TNHH Tin học - Điện tử
Thăng Long, xin cảm ơn bạn bè đã tạo điều kiện giúp đỡ, cho tơi nhiều lời
khun bổ ích trong quá trình thực tập tốt nghiệp và làm luận án.
Cuối cùng cho con gửi lời biết ơn và kính trọng sâu sắc nhất tới bố mẹ,
người luôn luôn bên con trong những lúc khó khăn nhất, và ln là chỗ dựa
tinh thần vững chắc cho con.
Hà Nội ngày 15 tháng 10 năm 2008
Sinh viên thực hiện
Nguyễn Thành Trung


Lời cam đoan
Tơi xin cam đoan đây là cơng trình nghiên cứu của tôi và chưa được công
bố trong bất cứ cơng trình nào và chưa được đăng trong bất cứ tài liệu nào,
tạp chí, hội nghị nào khác. Những kết quả nghiên cứu trong luận văn là
trung thực
Hà Nội, tháng 10 năm 2008
Tác giả luận văn

Nguyễn Thành Trung


I TỔNG QUAN

Phần I. Tổng Quan
I. Đặt vấn đề
Bài toán nhận dạng tự động biển số xe trên thế giới hiện đã được thực hiện
khá lâu, tuy nhiên ở Việt Nam hiện nay, đã có vài nghiên cứu về lĩnh vực này
song mới chỉ dừng lại ở lý thuyết, chưa bám sát được với nhu cầu thực tế và
còn dở dang.
Nhu cầu đi lại bằng các phương tiện ô tô, xe máy ngày nay là rất lớn, đi
cùng với nó là các bài tốn về phân luồng giao thơng, kiểm sốt lưu lượng xe
qua lại, gửi xe tại các trạm..địi hỏi việc nghiên cứu ứng dụng bài toán nhận
dạng tự động phương tiện đi lại vào trong thực tế môi trường Việt Nam hiện
nay là cần thiết.
Sự phát triển của công nghệ camera kỹ thuật số đã giúp cho việc ứng dụng
bài toán nhận dạng biển số xe tự động khơng cịn khó khăn như trước. Các
camera có độ phân giải đủ cho việc nhận dạng biển số xe ngày nay tương đối
rẻ, dễ sử dụng và sẵn có trên thị trường (loại có độ phân giải 480x640 với tốc
độ ghi hình khoảng 30 hình/giây chỉ có giá thành khoảng vài trăm hồn tồn
có thể sử dụng cho bài tốn nhận dạng biển số xe).
Kỹ thuật xử lý ảnh số phát triển mở ra một hướng nghiên cứu mới về các
phương pháp xử lý không tiếp xúc. Cùng với những ưu điểm của phương
pháp xử lý không tiếp xúc, kỹ thuật xử lý ảnh số cho phép ta có thể tác động
tới từng pixel của đối tượng. Kỹ thuật hoàn tồn có thể đáp ứng tốt cho bài
tốn nhận dạng biển số xe tự động về độ chính xác và u cầu về tính thời
gian thực.
Xét về bài tốn kinh tế: Ứng dụng thành cơng bài tốn nhận dạng tự động

biển số xe giúp giảm một phần lớn lượng chi phí cho các trạm gửi xe, kiểm
sốt vé, góp phần giải quyết bài tốn phân luồng giao thơng hiện nay.

1


I TỔNG QUAN

Vì vậy, với các điều kiện thuận lợi về kinh tế, kỹ thuật cùng với nhu cầu xã
hội thực tế hiện nay, việc thực hiện thực hiện bài tốn trong điều kiện hiện
nay của Việt Nam là hồn toàn khả thi và cần thiết.
Từ những nghiên cứu thực tế như vậy tôi đã chọn đề tài:” Ứng dụng xử lý
ảnh và mạng nơ-rôn trong nhận dạng biển số xe”
Nội dung của luận văn tập trung giải quyết các vấn đề sau:
- Nhận dạng tự động biển số xe ô tô đang chuyển động trên đường quốc
lộ, với các loại xe biển số khác nhau (biển trắng, ...).
Để thực hiện nội dung trên, luận văn được chia làm 3 phần chính
Phần I Tổng quan.
Trình bày vấn đề khoa học, thực tiễn của đề tài, tóm tắt nội dung chính sẽ
thực hiện trong luận văn. Đưa ra mơ hình được xây dựng về nhận dạng tự
động biển số xe trên cơ sở mơ hình đã có trước đây.
Phần II. Phân tích, thiết kế hệ thống nhận dạng biển số xe từ ảnh
camera.
Nội dung chính bao gồm:
- Mơ hình hệ thống: tóm tắt mơ hình thực hiện trong luận văn qua sơ đồ
khối chức năng.
- Chi tiết từng khối chức năng: Đây là phần chính của luận văn tập trung
giải quyết các vấn đề sau:
o Đọc file video từ camera
o Nhận dạng và lọc đầu xe

o Tách biển số khỏi đầu xe
o Lọc và nhận dạng ký tự trong biển số
Phần III. Kết quả thực hiện
- Đưa ra kết quả đã thực hiện được trên cơ sở của bộ mẫu đã thu thập,
tập trung phân tích những kết quả đã nhận dạng thành cơng và những
kết quả chưa được trong đó tập trung phân tích những các trường hợp
chưa thành cơng.
- Đưa các kiến nghị
2


I TỔNG QUAN

- Thực hiện demo chương trình.
Dự kiến kết quả
- Có được hiểu về ảnh số, xử lý ảnh số, các kỹ thuật trong xử lý ảnh số
và ứng dụng trong các bài tốn nhận dạng hình ảnh
- Xây dựng được mơ hình nhận dạng tự động xe ơ tô đang di chuyển
trên đường quốc lộ, lọc và tách được biển số xe cho các xe này
- Mở rộng nhận dạng đối với nhiều loại biển số khác nhau.

II Giải pháp thực hiện
1. Mơ hình thực tế hiện nay
Một hệ thống nhận dạng biển số xe thực tế có sơ đồ như sau:
Máy tính
Điều khiển:

Camera

·

·
·
·

Hiển thị
Lưu trữ
In biển số
...

`

Máy in
Sensor

Connection

Hình 1.1: Mơ hình hệ thống trong thực tế

Nhiệm vụ các khối:
Camera: Thu thập dữ liệu đầu vào, các camera thường được đặt cố định tại
các vị trí thu thập, do yêu cầu thực tế của việc nhận dạng chính xác biển số xe
và thời gian đáp ứng nên độ phân giải của các ảnh thu được từ camera không
yêu cầu cao, các camera thường được đặt chế độ quay liên tục.
Sensor: Dùng để phát hiện xe, khi có xe chạy qua, tín hiệu sẽ được báo về
cho máy tính trung tâm, các sensor này phải đảm bảo được yêu cầu không báo
nhầm xe (xe ô tô, xe máy, xe đạp,...).

3

I TỔNG QUAN

Máy tính trung tâm: Nhận tín hiệu từ sensor, ra lệnh chụp ảnh từ camera
và nhận ảnh từ camera về, xử lý nhận dạng biển số, thực hiện in biển số, đưa
ra các cảnh báo, yêu cầu…
Máy in: In biển số xe.

2. Mơ hình xây dựng trong đồ án
Mơ hình thực hiện chỉ gồm 3 khâu chính:
· Camera thu thập: Thực hiện với camera có độ phân giải 480x640
pixel
· Máy tính xử lý
Khối sensor sẽ được thay thế bởi phần mềm tự động nhận dạng đầu xe. Mơ
hình nhận dạng thực hiện offline, nghĩa là dòng video sẽ được quay liên tục
các phương tiện trên đường, phần mền xử lý sẽ đọc file video liên tục để phát
hiện sự có mặt của xe ơ tơ trong từng frame hay không?. Khi phát hiện ra sự
xuất hiện của xe ô tô, ảnh của xe sẽ được lưu lại và xử lý nhận dạng biển số
xe ứng với xe đó.

Hình 1.2: Mơ hình nhận dạng tự động biển số xe được xây dựng trong luận văn (bỏ
qua khâu sensor)

Ưu điểm của mơ hình:

4


I TỔNG QUAN

- Dễ dàng ứng dụng trong các bài toán nhận dạng biển số xe tại các

điểm bất kỳ, các bài toán đo lưu lượng xe cộ đi lại trên đường.
- Thuật toán nhận dạng mềm dẻo, dễ dàng điều chỉnh để nhận dạng
với nhiều loại biển xe khác nhau (biển xanh, biển trắng, biển đỏ,
biển vuông, biển chữ nhật) của các vùng, các nước khác nhau.
- Trong thực tế, để đảm bảo nhận dạng chính xác là xe ô tô trên
đường của khối sensor thường không cao. Do trên đường ln có
rất nhiều nhiễu của các loại phương tiện đi lại khác nhau, ảnh
hưởng của việc lắp đặt ngồi trời.., Giải quyết được bài tốn nhận
dạng tự động xe giúp giải quyết được các vấn đề này.
Bài toán nhận dạng xe đang chạy trên đường quốc lộ với tốc độ trung bình
(khoảng 30-40 km/h) sẽ rất phù hợp trong ứng dụng vào bài toán đo lưu lượng
xe qua lại trên quốc lộ, giải quyết bài toán phân luồng giao thơng cho xe.
Đảm bảo được tính tối ưu của thuật tốn cũng như độ chính xác của
chương trình nhận dạng, trong điều kiện thực hiện của luận văn thì các yêu
cầu sau đây được đảm bào.
· Camera được chụp trong điều kiện độ sáng tốt (phải nhìn rõ được
biển số trong các file video xuất hiện ô tô).
· Các camera được đặt ở một góc quay cố định, các xe chỉ được nhận
dạng ở một làn đường.
· Ảnh màu, độ phân trung bình khoảng 480x640 để đảm bảo đáp ứng
được tính thời gian thực khi xử lý cho hệ thống.
· Vùng làn đường nhận dạng xe ơ tơ có ít xe máy qua lại.
· Tốc độ vùng xe qua lại dao động trong khoảng 30 -40 km/h
· Mật độ xe qua lại khoảng 60-70 xe/phút.

5


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG

Phần II. Các bước thực hiện bài toán nhận dạng
biển số xe.
I.

Các bước thực hiện bài toán nhận dạng biển số
1. Sơ đồ khối mơ hình

Để cụ thể hóa bài tốn nhận dạng biển số xe trên cơ sở phân tích ảnh ta
cần phân tích thành các bước như trên mơ hình tổng qt sau:

Hình 2.1: Sơ đồ khối mơ hình thực hiện trong luận án

6


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG

2. Chức năng từng khối mơ hình
2.1. Khối đọc file video từ camera.
Khối này có chức năng đọc file video từ camera vào trong chương trình
để xử lý offline nhận dạng biển số xe.
Trong nội dung của tập mẫu test trong luận văn, camera có độ phân giải
480x640, được đặt trực tiếp và cố định trên đường quốc lộ, tại vị trí mà
phương tiện đi lại chủ yếu là xe ô tô, tốc độ khoảng 30 đến 40 km/h, mật độ
trung bình 70 xe/phút.
Các file video quay xe trên đường có thể sẽ được nhận dạng online hoặc
offline tại bộ xử lý trung tâm.
Ứng với camera đã lựa chọn, tần suất lấy mẫu của các file video là 30
frame/s.

2.2. Khối chuẩn hóa.
Đây là khối xử lý sơ bộ dữ liệu ảnh sau trước khi đưa vào phân tích các
dặc tính của ảnh. Nhiệm vụ của khối này bao gồm:
- Chuẩn hóa độ sáng các ảnh thu từ camera: Các camera thu thập ở các
thời điểm khác nhau vì vậy ảnh thu được tương ứng cũng sẽ có độ
sáng khác nhau, để thuận tiện cho việc xử lý các ảnh trước khi xử lý
sẽ được chuẩn về cùng mức sáng (theo chuẩn được lựa chọn).
- Chuyển đổi các ảnh từ dạng ảnh màu RGB về ảnh xám và ảnh nhị
phân tương ứng: Trong nội dung của luận văn, các việc nhận dạng
vùng biển số và các ký tự bên trong biển số ta hồn tồn có thể thực
hiện trên ảnh nhị phân. Vì vậy để giảm khối lượng xử lý ta chuẩn hóa
các ảnh RGB thu từ camera về dạng ảnh nhị phân.

7


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG

2.3. Khối nhận dạng và lọc đầu xe
Khi các ảnh thu thập được từ file video được chuẩn hóa sẽ được tiến hành
nhận dạng xem có xe hay khơng.
Nếu trong frame có xuất hiện xe, đầu xe sẽ được bắt và lưu lại, xử lý.
Khối này không những đảm bảo bắt đủ (khơng sót) các xe qua lại mà cịn
phải đảm bảo bắt chính xác các xe (phải đảm bảo loại được các nhiễu như xe
máy, xe đạp, người đi bộ..). Thuật toán xử lý nhận dạng sự xuất hiện của
đầu xe được làm trong luận văn dựa trên sự thay đổi mức xám của ảnh kiểm
tra.

2.4. Khối tách biển số ra khỏi đầu xe
Sau khi đã có được ảnh chứa đầu xe, khối này thực hiện chức năng sau:

· Lọc vùng biển số trong ảnh đầu xe (Trong bước này bao gồm cả việc
thực hiện nhận dạng biển số xe là biển vuông hay chữ nhật).
· Lọc các nhiễu ảnh hưởng đến các ký tự trong biển số xe (bao gồm lọc
các nhiễu bụi, nhiễu viền khung,..).

2.5. Khối lọc và nhận dạng ký tự có trong biển số xe
Từ ảnh biển số xe, các ký tự sẽ được lọc ra và nhận dạng tại khối này. Mơ
hình nhận dạng ký tự theo phương pháp khớp mẫu (template matching).
Phương pháp nhận dạng này đảm bảo được độ chính xác của mơ hình
nhận dạng do:
- Các ký tự trong biển số xe là các ký tự được chuẩn hóa (theo TCVN
về ký tự trong biển số xe).
- Trước khi tiến hành nhận dạng ký tự, biển số đã được lọc nhiễu nhằm
đảm bảo các ký tự được khoanh vùng chính xác theo đúng mẫu nhận dạng

8


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG

2.6. Khối kiểm tra mơ hình
Để có thể xây dựng được một mơ hình có độ tin cậy cao, ta thực hiện xây
dựng mơ hình trên cơ sở kiểm chứng với 2 tập số liệu riêng biệt. Một tập số
liệu được dùng để xây dựng mơ hình (xác định các thơng số của mơ hình),
một tập số liệu được dùng để kiểm tra. Theo lý thuyết, mơ hình chỉ đạt chất
lượng nếu như mức sai số hoạt động trên cả hai tập số liệu đều đạt yêu cầu,
trong đó sai số trên tập số liệu kiểm tra có tính quyết định hơn

II. CHI TIẾT TỪNG KHỐI CHỨC NĂNG
1. Khối thu thập dữ liệu.

1.1 Camera thu thập
Camera có rất nhiều loại, do nhiều hãng sản xuất khác nhau. Nhưng
camera được chia làm 2 loại chính:
- Camera ống loại CCID: là loại tín hiệu tương tự, quét ảnh với tần
số 1/25 và mỗi ảnh gồm 625 dòng.
- Camera loại CCD (Charge Coupled Device): Là loại tín hiệu số.
Loại này gồm các photo điốt và làm tương ứng một cường độ sáng
tại một điểm ảnh ứng với một phần tử ảnh (pixel).

1.2 Đọc file video từ Camera và chuẩn hóa
Chương trình xử lý nhận dạng biển số xe có đầu vào là các file video.
Các file video được đọc offline từ Camera thu thập.
Xe sẽ được nhận dạng khi đang di chuyển trên đường, bài tốn cần giải
quyết ở đây là chọn tần số trích đọc ảnh từ file video sao cho đảm bảo không
bị sót xe đang lưu thơng, đồng thời phần mền xử lý phải đảm bảo việc
không nhận nhầm và đọc lại xe.

9


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG
Ảnh trước khi xử lý nhận dạng sẽ được qua khâu chuẩn hóa, ảnh thu thập
từ camera là dạng ảnh màu RGB sẽ được chuẩn về dạng ảnh xám và ảnh nhị
phân cho thuận tiện việc xử lý

1.2.1. Chuẩn độ sáng cho ảnh
Độ sáng của ảnh là một đặc tính rất quan trọng. Nó quyết định đến việc
xử lý và nhận dạng đối tượng. Nếu độ sáng quá kém hay quá chói đều dẫn
đến việc không thể nhận dạng được đối tượng hoặc có nhận được cũng bị
mất thơng tin về đối tượng.

Do điều kiện thu nhận ảnh khác nhau, do kỹ thuật thu nhận ảnh cịn thủ
cơng nên độ sáng của các ảnh hay giữa các phần của ảnh không được đồng
đều. Vì vậy, ta phải điều chỉnh sao cho độ sáng giữa các ảnh hay các vùng
của ảnh phải đồng đều.
Phương pháp thực hiện: Chọn một ảnh mẫu đầu vào có độ sáng giữa các
vùng là đồng đều. Rồi chuẩn hoá độ sáng của các ảnh khác theo mẫu này
bằng phương pháp chuyển đổi thực hiện theo hàm tuyến tính f  a  x  b
Trong đó:
x : là mức xám (độ sáng) của ảnh ban đầu
f : là mức sáng của ảnh sau khi đã hiệu chỉnh
a, b : là các hệ số
Giả sử ảnh mẫu có độ sáng là y
Ta phải đi tìm các hệ số a, b sao cho f  y . Các hệ số a, b được tìm theo
phương pháp bình phương cực tiểu.
Nội dung phương pháp này như sau:
Ta cần tìm các hệ số a, b sao cho sai số E tính theo công thức sau đạt nhỏ
nhất:

E

1 n
[ yi  (axi  b)]2  min

2 i1

Sai số E sẽ đạt cực tiểu khi a, b thỏa mãn điều kiện sau:

10

II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG
n
n
E
 n   n 
 0   ( yi  axi  b)( xi )  0   xi yi  a   xi2   b   xi  ;
a
i 1
i 1
 i 1   i 1 
n
n
n
E


 0   ( yi  axi  b)(1)  0   yi  a   xi   bn;
b
i 1
i 1
 i 1 

Đưa hệ phương trình trên về dạng ma trận của hệ hai phương trình hai ẩn
a và b ta có:

 n 

 n

x

n
y
  i 


i


  i1 
  a    i1 
 n 2   n  b   n

  xi    xi 
 xi yi 
 i1

 i1   i1 
Hàm thực hiện phương pháp bình phương cực tiểu:
· [a,b]=Min_square(x,y)
· Input

: ma trận x và y.

· Output : hệ số a, b thỏa mãn y  ax  b với sai số bé nhất.
Trên ảnh mẫu và ảnh vào ta chọn ra 5 điểm để so sánh mức sáng và hiệu
chỉnh độ sáng của 5 điểm đó trên ảnh vào theo ảnh mẫu.
Hàm thực hiện hiệu chỉnh độ sáng của ảnh:
· B = relight_images(A,mau)
Trong đó:
· A : ảnh đầu vào cần hiệu chỉnh độ sáng

· mau : ảnh mẫu có độ sáng chuẩn và đồng đều
· B : ảnh đầu ra đã được hiệu chỉnh

Hình 2.2: Ảnh mẫu ở dạng RGB

11


II. CÁC BƯỚC THỰC HIỆN BÀI TỐN NHẬN DẠNG

Hình 2.3: Ảnh xám và histogram của mẫu

Khi ảnh cần xử lý được chụp trong điều kiện độ sáng kém giống như ảnh
dưới đây:

Hình 2.4: Ảnh và histogram chụp trong điều kiện ánh sáng kém

Theo histogram ở trên thì các điểm đã co dần về gốc 0. Điều đó chứng tỏ
độ sáng của ảnh đã giảm xuống rõ rệt. Vì vậy, để xử lý được thì ta phải điều
chỉnh cho độ sáng tăng lên. Kết quả sau khi đã điều chỉnh độ sáng :

Hình 2.5: Ảnh và histogram sau khi đã được điều chỉnh độ sáng

12


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG
Sau khi điều chỉnh độ sáng thì ảnh tối có mức sáng được cải thiện rất
nhiều. Điều đó được thể hiện trên histogram: các điểm đã giãn ra khỏi gốc 0.

1.2.2. Chuyển đổi ảnh từ ảnh RGB về dạng ảnh xám và
ảnh nhị phân
Quy trình chuẩn hóa chuyển đổi ảnh từ dạng ảnh màu sang dạng ảnh nhị
phân được trình bày cụ thể trong phần đại cương về ảnh số.

1.3. Đại cương về ảnh số
1.3.1 Ảnh số
Ảnh có thể biểu diễn dưới dạng tín hiệu tương tự hoặc số. Trong biểu diễn
số của các ảnh đa mức xám, một ảnh được biểu diễn dưới dạng một ma trận
hai chiều. Mỗi phần tử của ma trận biểu diễn cho mức xám hay cường độ
ảnh tại vị trí đó. Mỗi phần tử ảnh trong thơng thường được kí hiệu là pixel.
Mỗi pixel tương ứng với một cặp tọa độ (x, y). Tọa độ (x, y) tạo nên độ phân
giải của ảnh. Một ảnh phức tạp là tập hợp của nhiều điểm ảnh
- Với ảnh đen trắng: Nếu dùng 8 bit để biểu diễn mức xám, thì số các mức
xám có thể biểu diễn được là 28 hay 256. Mỗi mức xám được biểu diễn dưới
dạng một số nguyên nằm trong khoảng từ 0 đến 255, với mức 0 biểu diễn
cho mức cường độ đen nhất định và 255 biểu diễn cho mức cường độ sáng
nhất.
- Với ảnh màu: Cách biểu diễn cũng tương tự như với ảnh đen trắng, chỉ
khác là các số tại mỗi phần tử của ma trận biểu diễn ba màu riêng biệt gồm:
đỏ (Red - R), lục (Green - G) và lam (Blue - B). Để biểu diễn cho ba màu
riêng rẽ cần 24 bit, 24 bit này được chia thành ba khoảng 8 bit. Mỗi khoảng
này biểu diễn cho cường độ sáng của một trong các màu chính

13


II. CÁC BƯỚC THỰC HIỆN BÀI TỐN NHẬN DẠNG

1.3.2 Mơ hình màu theo 3 kênh R - G – B

Ánh sáng màu là tổ hợp của các ánh sáng đơn sắc. Có 3 thuộc tính chủ
yếu trong cảm nhận màu:
- Brigtness: sắc màu, cịn gọi là độ chói.
- Hue: sắc lượng, còn gọi là sắc thái màu.
- Saturation: độ bão hòa.
Với nguồn sáng đơn sắc, độ Hue tương ứng với bước sóng  . Với một điểm
W cố định, các kí hiệu R, G, B chỉ vị trí tương đối của các phổ màu đỏ, lục
và lơ. Do sự tán sắc ánh sáng mà ta nhìn rõ màu. Theo Maxwell, trong võng
mắt có thể cảm thụ đựoc 3 màu cơ bản ứng với 3 phổ hấp thụ S 1(  ), S2(  )
và S3(  ).  min=380nm;  max=780nm.

Hình 2.6: Đường cong cảm nhận S1, S2, S3

Nếu phổ năng lượng của một nguồn sáng màu kí hiệu là C(  ) thì đáp ứng
phổ ( i (c) ) như sau:

i (c) 

max

 S ()c()d
i

min

với i = 1,2,3
Phương trình (2.1) gọi là phương trình biểu diễn màu.
Phương pháp tổ hợp màu:
14

(2.1)


II. CÁC BƯỚC THỰC HIỆN BÀI TOÁN NHẬN DẠNG
Một trong những vấn đề cơ bản của lý thuyết biểu diễn màu là sử dụng
một tập các nguồn sáng (màu) để biểu diễn màu từ 3 màu cơ bản R, G, B.
giả sử ba nguồn sáng cơ bản có phổ năng lượng là pk(  ) với k=1,2,3 và:
 max



pk ( )d   1

(2.2)

 min

Để tạo ra một màu C(  ), giả sử ba màu cơ bản được tổ hợp theo tỉ lệ k ( ) ,
k=1,2,3 như vậy

3

  () p ()
k 1

k

k

sẽ cho C(  ). Thay giá trị vào phương trình

(2.1) ta được:
i (c) 

 max

3

3

 max

3

 min

k 1

k 1

 min

k 1

với: ai, k=

 Si ()[ k () pk ()]d   k ()

 Si ()[ pk ()]d   k ()ai,k (2.3)

 max

S ( )[ p ( )]d . Như vậy có thể tổ hợp màu theo phép cộng màu


i

k

min

theo công thức tổng quát sau:
X=  1 R +  2 G +  3 B;

(2.4)

với  i là hệ số tổ hợp
Tổ chức quốc tế về chẩn hóa màu CIE đã đưa ra hệ chuẩn màu CIE dùng
3 màu cơ bản R, G, B, một màu cơ bản sẽ là tổ hợp của 3 màu cơ bản theo tỉ
lệ nào đấy. Như vậy một ảnh màu kí hiệu Px được viết:
 red 
p   green
 blue 

Người ta dùng hệ tọa độ màu R-G-B (tương ứng với hệ tọa độ x-y-z) để
biểu diễn màu như sau:

15