Ứng dụng mạng nơ ron, phương pháp hình thái học và biến đổi Hough nhận dạng biển số xe

Ứng dụng mạng noron, phương pháp hình thái học và biến đổi Hough nhận dạng
biển số xe
Application of neural network, morphological Analysis and Hough transform in
recognizing license plate
ThS.Hoàng Thị An, ThS.Vũ Bảo Tạo, ThS.Hoàng Thị Ngọc Diệp
Tóm tắt
Abstract –
Bài báo trình bày một giải pháp
This article presents a solution of using
sử dụng mạng noron, phương pháp
neural network, morphological analysis
hình thái học và biến đổi Hough nhận
and Hough transform in identifying
dạng biển số xe. Giải pháp thực hiện
license plates. The solution consists of
gồm ba bước: 1-định vị biển số xe, 23 main steps: 1-license plate location,
tách ký tự và 3-nhận dạng ký tự. Biến
2-characters separation, and 3đổi Hough và phương pháp hình thái
characters
identification.
học được sử dụng để định vị biển số xe,
Morphological method, and Hough
tách ký tự, mạng noron Perpectron
transform are used to locate the license
nhiều lớp với thuật toán lan truyền
plates and separate the characters;
ngược được sử dụng để nhận dạng. Các
Multilayer Perceptron neural network
kết quả thực nghiệm với trạng thái biển
with back –propagation algorithm is
số xe thẳng hoặc nghiêng cho độ chính

used to identify the characters. The
xác trên 95%.
experimental results with the state of
straight and tilted license plates
ensures the high precision of more than
95%.
Từ khóa: Nhận dạng biển số xe, biến
Keywords: Plate license recognition,
đổi Hough, mạng noron, phương pháp
Hough
transform,
Morphological
hình thái học, nhận dạng ký tự.
Analysis, Neural network, Character
recognition.
Tự động nhận dạng, lưu trữ biển số xe là một phương pháp hữu hiệu để tiết
kiệm thời gian cho quá trình gửi, giữ. Đã có nhiều nghiên cứu về nhận dạng biển số xe
được công bố trong các nghiên cứu [1],[6], [8], [10], [14] về nhận dạng biển số xe, các
phương pháp các tác giả đề xuất có thể chia thành 3 nhóm: Phương pháp biến đổi
Hough, phương pháp hình thái học, phương pháp so khớp mẫu.
Phương pháp biến đổi Hough [2][3],[9], [15]: Dựa vào đặc trưng cạnh biên trích
được, áp dụng các phương pháp xác định đường thẳng như phép biến đổi Hough để
phát hiện các cặp đường thẳng gần song song ghép thành một ảnh biển số. Ngoài ra
còn một số ràng buộc về tỷ lệ chiều cao và chiều ngang, tâm các ký tự phải nằm trên
một đường thằng, chiều cao của mỗi ký tự phải lớn hơn nửa chiều cao biển số trích
được. Theo hướng tiếp cận hình thái học [6], [8], [9], [14], việc thống kê về đường
biên và các toán tử hình thái được sử dụng để trích xuất biển số xe sau đó loại bỏ các
vùng không đúng bằng cách kiểm tra các ràng buộc. Hai phương pháp này có ưu điểm
là không phụ thuộc vào màu sắc của biến số xe, tuy nhiên chúng phụ thuộc nhiều vào
kết quả trích chọn đặc trưng biên cạnh.

Trong phương pháp so khớp mẫu, biển số được coi là một đối tượng có khung
nền riêng. Phương pháp sử dụng các cửa sổ dò để trích từng đối tượng, sử dụng học
máy SVM [14] hoặc mạng noron so khớp và nhận dạng [5], [12]. Phương pháp này


đơn giản, dễ cài đặt, tuy nhiên nó chưa hiệu quả khi biển số xe thu được ở nhiều góc
độ chụp khác nhau và thời gian thực hiện khá lâu.
Các nghiên cứu trên đa số đều đề xuất nhận dạng vùng ảnh chứa biển số xe nói
chung, chủ yếu là biển số xe ô tô. Trên thực tế, tại các nơi trông giữ xe, đa số là xe
máy, biển số xe máy có đặc trưng về kích thước và màu sắc riêng. Xuất phát từ thực tế
đó, nhóm tác giả đề xuất giải pháp nhận dạng biển số xe kết hợp phương pháp hình
thái học (Morphology), biến đổi Hough và mạng noron.
Phần tiếp theo của bài báo trình bày tổng quan về phương pháp hình thái học,
biến đổi Hough, mạng noron Perpectron nhiều lớp với thuật toán lan truyền ngược
được trình bày trong phần 2. Phần 3 giới thiệu bài toán nhận dạng biển số xe và triển
khai hệ thống nhận dạng biển số xe sử dụng biến đổi Hough và phương pháp hình thái
học định vị biển số xe, tách ký tự; mạng noron để nhận dạng ký tự. Một số kết quả
thực nghiệm và thảo luận được nêu trong mục 5. Kết luận và hướng phát triển được
tóm tắt trong phần 6.
2. Phương pháp hình thái học, biến đổi Hough và mạng noron
2.1. Phương pháp hình thái học
Phương pháp hình thái học thường được sử dụng để nhận dạng đối tượng, nâng
cao chất lượng ảnh, phân đoạn ảnh và kiểm tra khuyết điểm trên ảnh. Các phép toán
xử lý hình thái học được thực hiện chủ yếu trên ảnh nhị phân và ảnh xám. Hình thái
học được xây dựng dựa trên cơ sở lý thuyết tập hợp. Tập hợp đại diện cho các đối
tượng trong một ảnh.
Phần lớn các phép toán hình thái học được định nghĩ từ hai phép toán cơ bản là
phép xói mòn/co ảnh (Erosion) và giãn nở/giãn ảnh (Dilation). Yếu tố quan trọng trong
các phép toán này là lựa chọn một phần tử cấu trúc có hình dáng phù hợp. Phần tử cấu
trúc là một ảnh có kích thước nhỏ gồm các phần tử có giá trị {0,1}. Phần tử cấu trúc

thường được sử dụng trên ảnh nhị phân: dạng hình vuông, hình elip, đường theo chiều
ngang và dọc, hình thoi,…Trong các phép toán hình thái học, một phần tử có cấu trúc
B có kích thước nxn được di chuyển khắp ảnh A và thực hiện phép tính với từng pixel
của ảnh với n2-1 pixel lân cận (trừ điểm ở tâm).
Phép giãn nở (Dilation): Có tác dụng làm cho đối tượng ban đầu trong ảnh tăng
lên về kích thước (giãn nở ra). Phép giãn nở được biểu diễn bởi công thức sau:
AB={c|c=a+b,aA, bB}
(1)
Theo (1), phép giãn nở chính là phép cộng giữa A và B.
Phép xói mòn (Erosion): Có tác dụng trong việc giảm kích thước đối tượng
thậm chí loại bỏ các vùng nhỏ, tách rời các đối tượng gần nhau. Phép xói mòn được
biểu diễn bởi công thức sau:
(2)
Theo (2), kết quả phép xói mòn là một tập điểm ảnh c thuộc A, nếu di chuyển
phần tử cấu trúc B theo c thì B nằm trong đối tượng A.
Tóm lại, phép giãn nở làm các đường biên của một đối tượng trong ảnh được
cộng thêm các pixel, trong khi đó, phép ăn mòn làm các đường biên của đối tượng
trong ảnh lại bị bỏ bớt đi. Số lượng các pixel được cộng thêm hay bớt đi khỏi đối
tượng trong ảnh phụ thuộc vào kích thước và hình dáng của cấu trúc phần tử được
dùng để xử lý. Sự giãn nở có xu hướng mở rộng các đường biên, vùng, trong khi sự ăn
mòn có xu hướng giảm hoặc thậm chí loại bỏ các vùng nhỏ.


2.2 Phương pháp biến đổi Hough (Hough Transform)
Những thuật toán dùng biến đổi Hough thường xác định một số điểm đen và
dùng biến đổi Hough tác động lên các điểm đó. Biến đổi Hough ánh xạ một đường
thẳng trong mặt phẳng thành các cặp (r,) trong không gian Hough với r là khoảng
cách từ gốc tọa độ tới đường thẳng đó và  là góc nghiêng của đường thẳng đó so với
trục ngang.

Hình 1. Minh họa biến đổi Hough
Phương trình đường thẳng được biểu diễn lại:
(3)
Từ công thức (3) ta có: r= x cos + y sin. Do đó, với mỗi đường thẳng được xác định
trong không gian Hough sẽ có duy nhất một cặp (r,). Như vậy với mỗi điểm bất kỳ
(x0,y0) trên mặt phẳng ảnh với trục tọa độ thì các đường đi qua nó có dạng:
r()=x0*cos + y0*sin.
Gọi (rm, m) là cặp giá trị của đường thẳng đi qua nhiều điểm trên ảnh nhất. Từ
(3) ta có: cosm/sinm là hệ số góc của phương trình đường thẳng. Gọi α là góc cần
tính, ta có: - cosm/sinm = tg(α) -cotg(m)=tg(α) mà tg(α)=-cotg(900+ α)
Vậy góc cần tính:
α =m - 900
(4)
Với góc α tìm được, ta sẽ xoay đối tượng về phương ngang hoặc thẳng đứng.
2.3. Mạng noron
Hiện nay, phương pháp phổ biến nhất để nhận dạng ký tự là sử dụng mạng
noron. Trong nghiên cứu này, nhóm tác giả lựa chọn mạng noron Perceptron đa lớp
(MLP: Multi Layer Perceptron) sử dụng thuật toán lan truyền ngược (back-propagation
algorithm) do việc thiết kế đơn giản cũng như giải thuật huấn luyện hội tụ nhanh.
Mạng noron Perceptron đa lớp sử dụng thuật toán lan truyền ngược [1], [5],
[12] gồm 3 lớp: lớp vào, lớp ẩn, lớp ra. Có hai bộ trọng số tại liên kết từ lớp đầu vào
đến lớp ẩn và từ lớp ẩn đến lớp đầu ra.

Hình 2. Mạng Perceptron tổng quát


Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơron nhận tín hiệu
vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của
hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc tầng ẩn thứ nhất; các
nơron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ

2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả.
Thuật toán học lan truyền ngược được áp dụng cho mạng truyền thẳng nhiều
lớp trong đó các noron có thể sử dụng các hàm chuyển là các hàm liên tục có các dạng
khác nhau. Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào – đầu ra để
luyện mạng. Với mỗi cặp đầu vào – đầu ra (x(k), d(k)) thuật toán lan truyền ngược thực
hiện hai giai đoạn:
+ Giai đoạn thứ nhất, mẫu đầu vào x(k) được truyền từ lớp vào tới lớp ra, kết quả
đầu ra tính được là y(k).
+ Giai đoạn tiếp theo, tín hiệu lỗi được tính từ sự sai khác giữa d(k) và y(k) sẽ
được lan truyền ngược lại từ lớp ra đến các lớp trước để điều chỉnh các trọng số của
mạng.
Quá trình dừng khi sai số nhỏ hơn hoặc bằng sai số tối đa cho phép.
3. Bài toán nhận dạng biển số xe
Bài toán nhận dạng biển số xe được mô hình theo sơ đồ sau:
Tiền xử lý ảnh vào
Định vị biển số xe
Cắt biển số xe, tách
ký tự
Nhận dạng ký tự
Hình 3. Sơ đồ giải quyết bài toán
Bài toán nhận dạng biển số xe được chia thành ba bước chính: Định vị biển số
xe, tách ký tự và nhận dạng ký tự. Ở bước định vị biển số xe, nhóm tác giả sử dụng
phương pháp hình thái học để tìm chính xác vùng chứa biển số, biến đổi Hough để
xoay biển số trong trường hợp bị nghiêng. Ở bước thứ 2, phương pháp hình thái học
được sử dụng để tách ký tự. Ở bước nhận dạng ký tự, mạng noron đã được huấn luyện
sẽ được sử dụng để nhận dạng các ký tự được tách ra ở bước 2.
3.1. Định vị biển số xe
Ảnh đầu vào có thể bị nhiễu (bụi bẩn), độ tương phản thấp (thiếu ánh sáng, ánh
sáng đèn của xe sau) nên bước đầu tiên cần khử nhiễu bằng bộc lọc trung vị và tăng độ
tương phản bằng cân bằng lược đồ xám

Theo phương pháp hình thái học, biển số xe đa số là nến trắng chữ đen nên ảnh
sau khi nhị phân hóa sẽ có nhiều vùng màu trắng, bằng thực nghiệm, những ảnh có
kích thước nhỏ hơn 30 x 40 không đủ để nhận ra có biển số xe. Nhóm đề tài chọn ra
vùng màu trắng có diện tích [1200, 610000].


Theo [16], biển số xe máy là hình chữ nhật có kích thước không đổi: Chiều
ngang 19 cm, chiều cao 14 cm. Nên điều kiện theo tỷ lệ chiều cao và chiều ngang
[0.68, 0.91] (0.91 là trường hợp biển số xe nghiêng không quá 200).
Đôi khi biển số xe chụp được thường bị nghiêng, nhóm tác giả sử dụng thêm
biến đổi Hough để tìm góc nghiên của ảnh (theo công thức (4)), sau đó thực hiện xoay
ảnh về phương thẳng đứng (hình 4).

Hình 4. Ảnh biển số trước và sau khi xoay
3.2. Tách ký tự
Kết quả của bài toán thứ nhất là ảnh màu RGB có chứa biển số xe. Để nhận
dạng ký tự trong biển số xe, nhóm nghiên cứu tiến hành phân đoạn ký tự trong biển số
- cắt ký tự trong biển số xe.
Để thực hiện việc tách ký tự, ảnh màu RGB được chuyển sang ảnh nhị phân,
được chuẩn hóa về kích thước 50x150, chuyển ảnh âm bản sau đó tiến hành tách ký tự.
Kết quả của quá trình này là một ma trận chứa các ảnh nhị phân của ký tự. Ảnh nhị
phân thu được chính là dữ liệu vào của quá trình tách ký tự. Ảnh nhị phân được chia
thành từng hàng và lần lượt đưa từng hàng vào chương trình.
Định dạng biển số xe máy ở Việt Nam gồm 8 hoặc 9 ký tự [16]. Trong đó 2 ký
đầu (chữ số) là mã tỉnh, hai ký tự sau là mã vùng (2 chữ cái hoặc 1 chữ cái và 1 chữ
số), 4 hoặc 5 ký tự sau là số thứ tự của xe. Tách ký tự chính là việc tách ra được 8 hoặc
9 vùng chứa các ký tự. Mỗi ký tự trên biển số sẽ là một đối tượng có đặc điểm về kích
thước, tỷ lệ giữa hai chiều thay đổi tương đối ít vì ảnh biển số sau khi được tách đều
đưa về cùng kích thước. Từ đó ta tách từng ký tự theo các bước:
- Đưa ảnh về cùng kích thước 160 x 210, sau đó xóa biên ảnh.

- Nhị phân ảnh theo ngưỡng sử dụng thuật toán Otsu [13] để xác định ngưỡng.
- Lọc nhiễu cho ảnh theo phương pháp lọc trung vị [9].
- Tách các vùng thỏa mãn điều kiện:
8 pixel ≤Chiều ngang ≤ 45 pixel
45 pixel ≤Chiều cao ≤ 85 pixel
3.3. Nhận dạng ký tự
Nhóm tác giả sử dụng mạng noron Perceptron đa lớp với thuật toán lan truyền
ngược gồm 3 lớp: lớp vào, lớp ẩn, lớp ra để nhận dạng ký tự. Mỗi mạng huấn luyện
nhận dạng 1 ký tự, ta có tổng cộng 36 ký tự, nên cần huấn luyện nhận dạng 36 ký tự:
Từ 0 9, A Z.
Mỗi mạng của 36 mạng được huấn luyện theo các thông số:
- Lớp đầu vào: 48 giá trị, lớp các noron ẩn: 24 noron, lớp các noron đầu ra: 1
noron.
- Hệ số học: = 0.001, hằng số quán tính (bước đà): =0.7.
- Số vòng huấn luyện: Từ 300 đến 1500 vòng tùy từng ký tự.
- Độ chính xác huấn luyện mong muốn: 99.99%.


Tập cơ sở dữ liệu gồm 3 tập mẫu: tập huấn luyện, tập kiểm tra, tập kiểm thử lại:
- Tập huấn luyện gồm 30 mẫu cho mỗi ký tự.(A  Z; 0  9)
- Tập mẫu dùng để kiểm tra gồm 5 mẫu cho mỗi ký tự
- Tập mẫu dùng thử lại gồm 5 mẫu cho mỗi ký tự.
Mạng noron sau khi được huấn luyện được lưu lại và được sử dụng để nhận
dạng ký tự. Quá trình nhận dạng được thực hiện qua các bước:
- Duyệt qua từng ký tự của biển số.
- Lấy đặc trưng của ký tự và cho chạy qua 36 mạng noron.
- Tổng hợp 36 kết quả đầu ra của 36 mạng noron, ta chọn kết quả lớn nhất.
- Kết quả được chọn ở mạng nào thì ký tự ở mạng đó có kết quả.
4. Kết quả thực nghiệm
Nhóm tác giả thiết kế hệ thống nhận dạng biển số xe bằng Visual Studio C#

2013 kết hợp EMGU 3.0. Để hệ thống được tự động hóa hơn, nhóm tác giả sử dụng
thêm thiết bị đọc ghi thẻ từ. Quy trình nhận gửi xe như sau:
+ Trường hợp xe vào: Xe được chụp lại biển số, hệ thống tự động nhận dạng,
đưa ra biển số xe. Cùng thời gian đó, chủ xe tự quét thẻ để lấy thông tin. Thông tin về
biển số xe, thời gian vào, mã thẻ được lưu vào cơ sở dữ liệu.
+Trường hợp xe ra: Xe được chụp lại biển số, hệ thống tự động nhận dạng và
đưa ra biển số xe, chủ xe tự quét thẻ. Hệ thống tiến hành so khớp, nếu thông tin giống
nhau, hệ thống thông báo đúng và lưu vào cơ sở dữ liệu. Ngược lại, sẽ cảnh báo để
nhân viên kiểm tra.
Nghiên cứu sử dụng 900 ảnh huấn luyện, 350 ảnh kiểm thử cho nhận dạng ký
tự. 1120 ảnh huấn luyện, 450 ảnh kiểm thử cho nhận dạng biển số xe. Các ảnh biển số
xe máy được chụp bằng máy ảnh, điện thoại và lấy từ internet với độ phân giải
640x480. Các ảnh được chụp với điều kiện chiếu sáng khác nhau (sáng, tối), góc
nghiêng khác nhau.
Kết quả thực nghiệm như sau:
- Trường hợp biển số xe với góc chụp và hướng chụp khác nhau: Chụp thẳng các
ký tự rõ nét nên kết quả nhận dạng chính xác 100%. Góc chụp chéo, góc
nghiêng lớn hơn 200 không nhận dạng được.
- Trường hợp khoảng cách chụp khác nhau: Ảnh thu được thường có kích thước
khác nhau, nhóm tác giả điều chỉnh về 640x 480 rồi mới nhận dạng nên không
bị ảnh hưởng bởi khoảng cách. Tuy nhiên, nếu biển số xe trong ảnh có kích
thước nhỏ hơn 30x 40 thì không nhận ra được.
- Trường hợp điều kiện ánh sáng khác nhau: Điều kiện thời tiết tốt, kết quả nhận
dạng chính xác. Điều kiện thời tiết trời tối, mưa, ảnh biển số bị mờ và có độ
tương phản thấp, ảnh biển số xe có nhiễu đốm do nước mưa sau khi sử dụng
phương pháp nhị phân hóa và khử nhiễu thu được ảnh biển số xe chất lượng tốt,
cho kết quả chính xác 98.6%.
Bảng 1. Kết quả hệ thống nhận dạng biển số xe
Thuật toán
Tỷ lệ đúng (%)

Tỷ lệ sai (%)
Trích biển số xe
98.3
1.7
Tách ký tự
98.6
1.4
Nhận dạng ký tự
96.3
3.7
Kết quả nhận dạng
95.6
4.4


5. Kết luận và hướng phát triển
Kết quả thực nghiệm cho thấy khi áp dụng mạng noron Perceptron đa lớp sử
dụng thuật toán lan truyền ngược và phương pháp hình thái học, biến đổi Hough cho
độ chính xác đạt 95.6%. Độ chính xác này có thể được áp dụng vào thực tế: xây dựng
bãi gửi xe tự độ cho trường Đại học Sao Đỏ với vị trí đặt camera cố định, điều kiện
ánh sáng tốt.
Để nâng cao độ chính xác của hệ thống, trong thời gian tới, chúng tôi sẽ nghiên
cứu thêm các phương pháp trích biển số xe khác nhằm tăng độ chính xác hơn và áp
dụng trường hợp biển số xe bị nghiêng nhiều.
6. Tài liệu tham khảo
[1] Trương Quốc Bảo, Võ Văn Phúc, Giải thuật mới cho bài toán định vị và nhận
dạng biển số xe ô tô, Tạp chí Khoa học Trường Đại học Cần Thơ, Phần A: Khoa
học Tự nhiên, Công nghệ và Môi trường: 27 (2013): 44-55.
[2] Amin Sarafraz, Detects lines in a binary image using common computer vision
operation known as the Hough Transform, University of Tehran, Iran, 2004.

[3] Aggarwal, N; Karl, W.C; Line detection in images through regularized hough
transform, IEEE Transactions on Image Processing, Volume 15, Issue 3,pp, 582 –
591, 2006
[4] M Ahmed and R Ward, Rotation Invariant Rule – Based Thinging Algorithm for
Character Recognition, IEEE. Trans. Pattern Analysis and Machine Interlligence,
vol. 24, No. 12, December 2002.
[5] Christos
Stergiou
and
Dimitrios
Siganos.
Neural
Networks.
/>[6] Haris Al-Qodri Maarif, and Sar Sardy, 2006. Plate Number Recognition by Using
Artificial Neural Network, J. Electronc and Electrical (Network), Vol. 3, No. 1, pp.
176-182.
[7] Humayun Karim Sulehria, Ye Zhang, Extraction of Vehicle Number Plates Using
Mathematical Morphological Techniques, Proceedings of the 8th WSEAS
International Conference on Automation and Information, Vancouver, Canada,
June 19-21, 2007 pp.258-261.
[8] Lensky, A.A.; Kang-Hyun Jo ; Gubarev, V.V.; Vehicle License Plate Detection
using Local Fractal Dimension and Morphological Analysis; The 1st International
Forum on Strategic Technology, pp,47 – 50, 2006
[9] [9]Linda Shapiro and George Stockman, Computer Vision E-book,
pp.97-99: Histogram, pp.101-105: Binary Threshoding, pp.150-153: Noise &
Smoothing, pp.156-160: Edge detection.Ballard Brown, “Computer Vision”,
pp.123-129: Line Detection with The Hough Algorithm., 2000
Http://www.dai.ed.ac.uk/homes/rbf/BANDB/LIB/bandb4_3.pdf
[10] VinhDu Mai , Duoqian Miao, Ruizhi Wang, Hongyun Zhang, An improved method
for Vietnam License Plate location, International Conference on Multimedia

Technology (ICMT), pp, 2942 - 2946 , 2011.
[11] Megalingam; Rajesh Kannan; Krishna, P.; Somarajan, P.; Pillai, V.A.; Hakkim,
R.U., Extraction of license plate region in Automatic License Plate Recognition,
The 2nd International Conference on Mechanical and Electrical Technology
(ICMET), pp, 496 – 501, 2010,


[12] Nikola K. Kasabov, Foundations of Neural Networks, Fuzzy Systems, and
Knowledge Engineering. Massachusetts Institute of Technology.
[13] Otsu, N., A Threshold Selection Method from Gray-Level Histograms, IEEE
Transactions on Systems, Man, and Cybernetics, Vol. 9, No. 1, pp. 62-66, 1979.
[14] Renuka Devi, D.; Kanagapushpavalli, D., Automatic license plate recognition, The
3th International Conference on Trendz in Information Sciences and Computing
(TISC), pp, 75 – 78, 2011.
[15] Srihari S.N. and Fovindraju V., Analysis of textual image using Hough Transform,
Machine vision Applications 2, pp 141- 153, 1989.
[16] />_Vi%E1%BB%87t_Nam (cập nhật ngày 12/11/2015)
[17] />