Nhận dạng biển số xe dùng phương pháp học sâu CNNs (Luận văn thạc sĩ)

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------

NGUYỄN DUY LONG

NHẬN DẠNG BIỂN SỐ XE
DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs

LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)

TP. Hồ Chí Minh – 2018


HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------

NGUYỄN DUY LONG

NHẬN DẠNG BIỂN SỐ XE
DÙNG PHƢƠNG PHÁP HỌC SÂU CNNs

Chuyên ngành: Hệ thống thông tin
Mã số:8480104
LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)
NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS. TS. LÊ HOÀNG THÁI

TP. Hồ Chí Minh – 2018

i

LỜI CAM ĐOAN

Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai
công bố trong bất kỳ công trình nào khác.

Tp. Hồ Chí Minh, ngày 20 tháng 4 năm 2018
Học viên thực hiện luận văn

Nguyễn Duy Long


ii

LỜI CẢM ƠN
Tôi xin bày tỏ lòng biết ơn chân thành nhất đến PGS.TS. Lê Hoàng Thái,
Thầy đã tận tâm chỉ dẫn, truyền đạt những kiến thức và kinh nghiệm quý báu cho
tôi suốt quá trình thực hiện luận văn này.
Tôi cũng xin đƣợc gửi lời cảm ơn đến các quí Thầy Cô giáo trong khoa Đào
tạo Sau đại học, Học Viện Công Nghệ Bƣu Chính Viễn Thông cơ sở tại thành phố
Hồ Chí Minh đã trang bị cho tôi những kiến thức nền tảng quan trọng trong suốt
quá trình tôi theo học.
Tôi xin chân thành cảm ơnquý công ty Tâm Toàn Thắng đã tạo điều kiện và
cung cấp số liệu cho tôi hoàn thiện luận văn này.
Và cuối cùng, tôi xin đƣợc gửi lời cảm ơn đến gia đình và bạn bè, những
ngƣời đã động viên tôi trong suốt thời gian vừa qua.
Mặc dù đã cố gắng song luận văn cũng không tránh khỏi những thiếu sót. Tôi
rất mong nhận đƣợc những ý kiến đóng góp của Thầy Cô để tôi có thể hoàn thiện

hơn đề tài của mình.
Xin trân trọng cảm ơn.

Tp. Hồ Chí Minh, ngày 20 tháng 4 năm 2018
Học viên thực hiện luận văn

Nguyễn Duy Long


iii

Mục Lục

LỜI CAM ĐOAN ......................................................................................................i
LỜI CẢM ƠN .......................................................................................................... ii
Mục Lục .................................................................................................................. iii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .............................................v
DANH SÁCH BẢNG ..............................................................................................vi
DANH SÁCH HÌNH VẼ....................................................................................... vii
MỞ ĐẦU ..................................................................................................................1
Chƣơng 1 – TỔNG QUAN ......................................................................................3
1.1. Khái niệm về hệ thống nhận dạng biển số xe...................................................3
1.1.1. Khái niệm...................................................................................................3
1.1.2. Lịch sử và phát triển ..................................................................................3
1.1.3. Cách thức hoạt động của hệ thống .............................................................4
1.1.4. Ứng dụng thực tiễn tại Việt Nam ..............................................................4
1.2. Một số nghiên cứu về phƣơng pháp cách ly biển số, phân đoạn ký tự từ ảnh
chụp của camera ......................................................................................................5
1.2.1. Chuyển đổi Hough .....................................................................................5
1.2.2. Hình thái học..............................................................................................5

1.3. Một số nghiên cứu về phƣơng pháp nhận dạng ký tự trong biển số từ ảnh
chụp của camera ......................................................................................................6
1.4. Đề xuất phƣơng pháp áp dụng trong luận văn .................................................7
Chƣơng 2 – CƠ SỞ LÝ THUYẾT ...........................................................................8
2.1. Tổng quan về mạng noron, luật học delta và lan truyền ngƣợc .......................8
2.1.1. Giới thiệu về mạng noron ..........................................................................8
2.1.2. Một số kiểu mạng noron ..........................................................................10
2.1.3. Mạng noron lan truyền ngƣợc MLP ........................................................11
2.2. Giới thiệu về mạng noron tích chập và kỹ thuật cải tiến ...............................15


iv

2.2.1. Giới thiệu về mạng noron tích chập ........................................................15
2.2.2. Convolution .............................................................................................15
2.2.3. Mô hình mạng noron tích chập ................................................................16
2.2.4. Xây dựng mạng noron tích chập ..............................................................17
2.3. Phƣơng pháp cải tiến gần đây ........................................................................21
2.3.1. Phƣơng pháp học không giám sát để huấn luyện bộ trọng ban đầu. .......21
2.3.2. Phƣơng pháp Dropout trong Deep Neural Networks. .............................21
Chƣơng 3 – THỰC NGHIỆM ................................................................................24
3.1.Thực nghiệm mạng noron căn bản tự xây dựng trên bộ dữ liệu ảnh sƣu tập ..24
3.2. Thực nghiệm mạng noron căn bản dùng thƣ viện trên bộ dữ liệu ảnh sƣu tập
27
3.3.Thực nghiệm phƣơng pháp phân lớp truyền thống dựa vào hình thái học sử
dụng thƣ viện open CV trên bộ dữ liệu ảnh sƣu tập .............................................28
3.4. Thực nghiệm mạng noron đa lớp trên bộ dữ liệu ảnh sƣu tập .......................31
Chƣơng 4 – CÀI ĐẶT VÀ KIỂM THỬ.................................................................33
4.1. Cài đặt ứng dụng ............................................................................................33
4.1.1. Nền tảng công nghệ sử dụng ...................................................................33

4.1.2. Các chức năng của chƣơng trình .............................................................35
4.2. Kiểm thử và đánh giá .....................................................................................38
4.3. Nhận xét .........................................................................................................42
KẾT LUẬN ............................................................................................................44
DANH MỤC CÁC TÀI LIỆU THAM KHẢO ......................................................45


v

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
Viết tắt

Tiếng Anh

Tiếng Việt

ANN

Artificial Neural Network Mạng noron nhân tạo

ALPR

Automatic License Plate
Recognition

Tự động nhận dạng biển
số xe

CNNs

Convolutional Neural
Network

Mạng noron tích chập

FNN

Feedforward Neural
Network

Mạng noron truyền thẳng

MLP

MultiLayer Perceptron

Mạng noron có một hoặc
nhiều tầng ẩn

ME

Mean Error

Sai số trung bình

MSE

Mean Squared Error

Sai số trung bình tổng

bình phƣơng

MPE

Mean Percentage Error

Phần trăm sai số trung
bình


vi

DANH SÁCH BẢNG
Bảng 4.1: Bảng thống kê kết quả nhận dạng trên ảnh tự tạo ....................................41
Bảng 4.2: Bảng thống kê kết quả nhận dạng trên ảnh thực tế ...................................41
Bảng 4.3: So sánh các kỹ thuật áp dụng của luận văn với công ty Tâm Toàn Thắng.
...................................................................................................................................42


vii

DANH SÁCH HÌNH VẼ
Hình 2.1: Mô hình một noron sinh học ............................................................................... 9
Hình 2.2: Mô hình một noron nhân tạo của McCulloch và Pitts ........................................ 9
Hình 2.3: Ánh xạ phi tuyến trong noron ........................................................................... 11
Hình 2.4: Mô hình mạng noron truyền thẳng đơn giản ..................................................... 12
Hình 2.5: Cơ chế tích chập ................................................................................................ 16
Hình 2.6: Ví dụ mạng noron tích chập .............................................................................. 17
Hình 2.7: Ý tƣởng mạng noron tích chập .......................................................................... 17
Hình 2.8: Ví dụ phép toán tích chập.................................................................................. 18

Hình 2.9: Ví dụ áp dụng phép tính Conv trên ảnh ............................................................ 18
Hình 2.10: Các thành phần của Conv ................................................................................ 19
Hình 2.11: Phƣơng pháp học không giám sát cho bộ trọng .............................................. 21
Hình 2.12: Mạng noron chuẩn/mạng áp dụng Drop - Out ................................................ 22
Hình 3.1: Mẫu biển 11 ký tự (Nhãn: 74-DY038.45_1) ..................................................... 24
Hình 3.2: Mẫu biển 9 ký tự (Nhãn: 09-T13567_1) ........................................................... 24
Hình 3.3: Biển số nhãn:82-T8242.84_0 ............................................................................ 25
Hình 3.4: Biển số nhãn: 79-V41104_0.............................................................................. 25
Hình 3.5: Ảnh đầu vào sau khi vecto hóa ......................................................................... 25
Hình 3.6: Nhãn của ảnh đầu vào sau khi vecto hóa .......................................................... 25
Hình 3.7: Noron căn bản sau huấn luyện .......................................................................... 26
Hình 3.8: Tập tin bộ trọng ................................................................................................. 26
Hình 3.9: Kết quả kiểm thử mạng noron căn bản ............................................................. 27
Hình 3.10: Thực nghiệm noron căn bản dùng thƣ viện..................................................... 28
Hình 3.11: Giao diện đăng ký ứng dụng TTT-SP ............................................................. 29
Hình 3.12: Giao diện chức năng chính ứng dụng TTT-SP ............................................... 29
Hình 3.13: Sau khi đăng nhập thành công ........................................................................ 30
Hình 3.14: Giao diện vận hành TTT-SP ........................................................................... 30
Hình 3.15: Thực nghiệm mạng CNNs đơn giản................................................................ 31
Hình 4.1: Mô hình mạng ................................................................................................... 34
Hình 4.2: Huấn luyện sau 460 lần lặp ............................................................................... 34


viii

Hình 4.3: Huấn luyện sau 32460 lần lặp ........................................................................... 35
Hình 4.4: Giao diện trang chủ của chƣơng trình ............................................................... 36
Hình 4.5: Chọn ảnh cần nhận dạng ................................................................................... 36
Hình 4.6: Bƣơc tiến hành nhận dạng ................................................................................. 37
Hình 4.7: Đăng nhập vào chƣơng trình ............................................................................. 37

Hình 4.8: Đăng nhập với quyền quản trị ........................................................................... 38
Hình 4.9: Tiếp tục huấn luyện mô hình mạng của chƣơng trình ....................................... 38
Hình 4.10: Kiểm thử với bộ ảnh thực tế ............................................................................ 39
Hình 4.11: Tọa độ các cửa sổ ............................................................................................ 40
Hình 4.12: Biển số nhận dạng sai ...................................................................................... 40


1

MỞ ĐẦU
Trong bối cảnh toàn cầu hóa và hội nhập quốc tế hiện nay, cùng với sự bùng
nổ thông tin, sự phát triển của khoa học kỹ thuật và nhu cầu đi lại ngày càng tăng số
lƣợng phƣơng tiện giao thông trên đƣờng ngày càng xuất hiện nhiều. Với số lƣợng
phƣơng tiện giao thông lớn và còn không ngừng tăng lên nhƣ vậy đã làm nảy sinh
nhiều vấn đề trong việc kiểm soát cũng nhƣ quản lý các phƣơng tiện. Để giải quyết
vấn đề này nhu cầu đặt ra là áp dụng các hệ thống tự động. Một trong những hệ
thống nhƣ vậy là hệ thống tự động nhận dạng biển số xe là hệ thống có khả năng thu
nhận hình ảnh cũng nhƣ là “đọc” và “hiểu”các biển số xe một cách tự động.
Một hệ thống nhƣ vậy có thể đƣợc sử dụng trong rất nhiều các ứng dụng
chẳng hạn nhƣ: trạm cân và rửa xe tự động hoàn toàn, bãi giữ xe tự động, kiểm soát
lƣu lƣợng giao thông, giám sát tai nạn hay trong các ứng dụng về an ninh nhƣ tìm
kiếm xe mất cắp...
Nhƣ mọi hệ thống tự động khác, hệ thống nhƣ vậy cũng sẽ yêu cầu có cả
phần cứng lẫn phần mềm. Phần cứng của nó có phần chính sẽ là một camera có tác
dụng thu nhận hình ảnh còn phần mềm sẽ có tác dụng xử lý hình ảnh đó. Với sự
phát triển của kỹ thuật điện tử, các camera sẽ dễ dàng có khả năng thu nhận đƣợc
hình ảnh do đó mà vấn đề đặt ra và luôn là vấn đề quan trọng nhất trong hệ thống,
quyết định tính hiệu quả của hệ thống xử lý ảnh nhƣ vậy sẽ là phần mềm xử lý ảnh.
Với vai trò nhƣ đã phân tích ở trên nghiên cứu này tập trung vào giải quyết các vấn
đề đặt ra khi xử lý ảnh để đƣara chính xác biển số đăng ký xe.

Trƣớc đây, đã có những nghiên cứu đáng kể về việc phát hiện biển số [1], [2]
và những kỹ thuật nhận dạng [3], [4], [5], [6]. Tuy nhiên hầu hết đều có những hạn
chế nhất định, làm việc với camera tĩnh, góc nhìn, độ phân giải cố định, chỉ sử dụng
cho một mẫu hay loại biển số cụ thể, phụ thuộc vào font chữ dùng trên biển số. Đặc
biệt là độ chính xác không đƣợc tốt dƣới những điều kiện khác nhau nhƣ ảnh chụp
không trực diện (thay đổi về tƣ thế), nhạy cảm với độ sáng (chói sáng, thiếu sáng),
hiệu ứng sáng tối.


2

Chính vì các lý do cơ bản trên, việc lựa chọn đề tài nghiên cứu “Nhận dạng
biển số xe dùng phƣơng pháp học sâu CNNs” là cần thiết và đáp ứng yêu cầu cấp
thiết của mục tiêu cải thiện độ chính xác cho hệ thống nhận dạng biển số tự động.
Luận văn đƣợc bố cục nhƣ sau:
Chƣơng 1 –Tổng quan – Cơ sở lý luận.
Chƣơng 2 – Cơ sở lý thuyết.
Chƣơng 3 –Thực nghiệm.
Chƣơng 4 – Cài đặt và kiểm thử.


3

Chƣơng 1 – TỔNG QUAN
1.1. Khái niệm về hệ thống nhận dạng biển số xe
1.1.1. Khái niệm
Hệ thống nhận dạng biển số xe là hệ thống có khả năng phân tích hình ảnh và
xác định vùng chứa biển số trên xe, thông qua ảnh chụp, video, thiết bị ghi hình [7]

1.1.2. Lịch sử và phát triển

Năm 1992, công nghệ ALPR (Automatic License Plate Number) hay còn
gọi là tự động nhận dạng biển số xe, đƣợc phát triển tại Đại học Cambridge
ởVƣơng quốc Anh để ứng phó với chủ nghĩa khủng bố.
Đến năm 1996, công nghệ ALPR đã đƣợc hoàn thiện tại mỗi cổng phía tây
Vƣơng quốc Anh để đọc tất cả các biển đăng ký xe từ Ireland. Công nghệ
ALPRtiếp tục đƣợc nghiên cứu và phát triển tại Anh. Kể từ tháng ba năm 2006, hầu
hết các con đƣờng, các trung tâm thị trấn, cảng, trạm xăng của London đã đƣợc
lắp đặt camera chạy phần mềm ALPR.
Trên thế giới hiện nay, bài toán nhận dạng biển số xe đƣợc nghiên cứu và
phát triển một cách sâu rộng. Nhiều tác giả với các công trình nghiên cứu đƣợc
công bố với tỉ lệ nhận dạng ngày càng chính xác. Một số bài báo cáo nghiên cứu
của các tác giả tiêu biểu trong vài năm trở lại đây nhƣ:
Chirag N. Paunwala, 2010 [11] với nội dung: rút trích vùng số xe trong ảnh.
Ảnh đầu vào đƣợc tiền xử lý bằng cách phƣơng pháp nâng cao chất lƣợng ảnh,
sau đó tìm biên bằng Vertical Edge và xử lý một lần nữa bằng Opening và
Closing. Các vùng ứng viên sau đó đƣợc kiểm tra bằng thuật toán scan theo dòng để
tìm đƣợc vùng chứa biển số xe chính xác. Kết quả nhận dạng 750 ảnh trong các
điều kiện khác nhau cho tỉ lệ 742/750 = 99.2.
Choo Kar Soon, 2012 [12] với nội dung: nhận dạng biển số xe tại Malaysia,
sử dụng giải thuật Adaboots để training tập dữ liệu gồm gần 100 ảnh biển số. Các
ký tự đƣợc nhận dạng bằng phƣơng pháp KNN. Kết quả nhận dạng biển số 98%
và nhận dạng ký tự 95% trên ảnh tĩnh.


4

1.1.3. Cách thức hoạt động của hệ thống
Hệ thống ALPR (Automatic License Plate Recognition) gồm phần
cứngvà phần mềm, trong đó phần cứng là camera thu nhận ảnh xe và phần mềm có
chức năng nhận dạng biển số xe từ ảnh chụp của camera. Camera thu nhận ảnh

đƣợc đặt tại một vị trí cố định sao cho có thể quét đƣợc hình ảnh xe một cách rõ
ràng và chụp lại hình ảnh đối tƣợng xe có chứa biển số. Ảnh này đƣợc đƣa vào
phần mềm nhận dạng để trích ra chính xác biển số xe có trong ảnh, sau đó một
thuật toán OCR (Optical Character Recognition) đƣợc sửdụng để lấy từng ký
tự và chuyển đổi thành định dạng mà máy tính có thểphân biệt đƣợc các chữ và số
nhƣ dạng text…Cùng với sự phát triển của công nghệ, camera ngày nay đã có thể
chụp một cách rõ nét trong điều kiện xe chạy với tốc độ cao nhƣ ở các đƣờng cao
tốc.
Không có một hệ thống ALPR nào có thể nhận dạng chính xác 100%.
Điều đó phụ thuộc vào nhiều yếu tố nhƣ thời tiết, độ sáng, góc của camera tới
xe,…Một số yếu tố ảnh hƣởng đến độ chính xác của hệ thống là:
 Độ phân giải của ảnh kém hoặc ảnh bị mờ.
 Điều kiện ánh sáng yếu, bị phản chiếu hoặc che bóng.
 Các đối tƣợng có dạng tƣơng tự nhƣ biển số xe ở ngoại cảnh.
 Sự khác nhau về cấu trúc biển số xe của mỗi nƣớc

1.1.4. Ứng dụng thực tiễn tại Việt Nam
Hệ thống nhận dạng biển số xe đƣợc xây dựng nhằm mục đích giám sát,
kiểm soát các phƣơng tiện. Dƣới đây chúng ta đề cập đến một số ứng dụng
phổ biến đối với hệ thống nhận dạng biển số xe:
 Thu phí giao thông: Lắp đặt hệ thống “Nhận dạng biển số xe” tại các trạm
thu phí nhằm hỗ trợ hoặc tự động hóa công tác thu phí.
 Kiểm soát xe tại các đƣờng biên giới: Mỗi quốc gia đều có những quy định
riêng về biển số xe, để phục vụ cho công tác quản lý và phát hiện những
phƣơng tiện giao thông (xe) vƣợt biên giới bất hợp pháp. Việc lắp hệ thống


5

“Nhận dạng biển số xe” tại các trạm kiểm soát sẽ góp phần hỗ trợ công tác

kiểm tra và an ninh quốc gia.
 Các trạm gác cổng: Việc lắp đặt hệ thống “Nhận dạng biển số xe” sẽ hỗ trợ
hoặc tự động hóa công tác mở cổng cho xe vào. Ngoài ra, hệ thống còn đƣợc
ứng dụng vào công tác chống trộm xe, các bãi giữ xe tự động, điều tiết giao
thông.

1.2. Một số nghiên cứu về phƣơng pháp cách ly biển số, phân đoạn
ký tự từ ảnh chụp của camera
1.2.1. Chuyển đổi Hough
Dò đặc trƣng biên ngang, dọc: làm nổi bật các viền bao của tất cả các đối
tƣợng trong ảnh trong đó có viền bao biển số. Phƣơng pháp sử dụng các bộ lọc
gradient để trích đƣợc các đặc trƣng cạnh biên này. Nghiên cứu này sửdụng bộ lọc
Sobel để tiến hành dò. Dùng chuyển đổi Hough tìm các đoạn thẳng ngang
dọc trên cở sở của ảnh nhị phân biên cạnh thu đƣợc từ bƣớc trên. Tách các đoạn
thẳng ngang, dọc có thể là cạnh của biển số.
Trích ứng viên biển số: thành lập các hình chữ nhật là ứng viên cho biển
số với tiêu chí cụ thể là các bộ 4 đoạn thẳng thu đƣợc sẽ qua đánh giá vềkích thƣớc,
tỉ lệ chiều rộng trên chiều cao so với một ngƣỡng nào đó.
Ƣu điểm: độ chính xác cao, không phụ thuộc vào màu sắc của biển sốxe.
Nhƣợc điểm: Độ phức tạp tính toán khá cao. Khi ảnh có thêm nhiêu đối
tƣợng khác thì khối lƣợng tính toán tăng lên rất nhiều do mục đích là phải xác định
đƣợc vùng con nào chứa biển số xe và phụ thuộc rất lớn vào bƣớc tríchđặc trƣng
biên cạnh dẫn đến là các đoạn thẳng ứng viên thu đƣợc thƣờng ngắn hơn nhiều so
với chiều dọc cũng nhƣ chiều ngang của biển số.

1.2.2. Hình thái học
Nội dung của phƣơng pháp: Dựa vào đặc trƣng quan trọng là biển số xe máy
có độ sáng (tức mức xám khi chuyển bức ảnh về dạng xám) là tƣơng đối khác so
với các vùng khác trong bức ảnh, cũng nhƣ sự phân bố mức xám là khá đồng

6

đềutrên biển số và vì vậy khi đƣợc nhị phân hoá, vùng biển số là một đối tƣợng
có đặc thù hình thái, có thể phân biệt đƣợc với các vùng khác . Nhƣ vậy các
bƣớc thực hiện là:
 Xác định ngƣỡng xám. Thực chất là không có phƣơng pháp nào chọn cho
đúng ngƣỡng xám để thực hiện. Thay vào đó, ngƣỡng xám sẽ đƣợc quét
trong một khoảng nào đó. Thông qua lƣợc đồ xám ta nhận thấy vùng biển số
thƣờng sẽ có độ sáng tƣơng đối lớn (từ 130-200) vì vậy ta sẽ xác định
ngƣỡng xám cần chọn sẽ thuộc vùng này nhờ đó ta sẽ giảm đƣợc thời gian
lặp tìm ngƣỡng xám.
 Nhị phân hoá ảnh xám đầu vào với ngƣỡng xám đã xác định.
 Lọc các nhiễu gây ảnh hƣởng xấu tới đối tƣợng biển số.
 Gắn nhãn cho các đối tƣợng trong ảnh nhị phân thu đƣợc.
 Trích ra các đối tƣợng ứng viên biển số theo tiêu chí cụ thể của biển số xe
về chiều cao, chiều rộng, tỉ lệ các cạnh, diện tích, trọng tâm, số điểm cắt…

1.3. Một số nghiên cứu về phƣơng pháp nhận dạng ký tự trong
biển số từ ảnh chụp của camera
Phƣơng pháp phổ biến nhất để nhận dạng ký tự là sử dụng mạng noron
(hoặc SVM, K-NN,…), tức là huấn luyện cho máy tính để nhận dạng các ký tự.
Tuy nhiên do số lƣợng ký tự trên biển số là không nhiều nên để đảm bảotốc độ
xử lý, chúng ta cũng có thể sử dụng phƣơng pháp Hình thái học để giải quyết khâu
này bởi vì các ký tự đều có những đặc điểm hình thái đặc biệt có thể phân biệt với
nhau chẳng hạn nhƣ “0” có lỗ trống ở giữa, “8” có 2 lỗ trống hay “X” đối xứng 2
trục dọc và ngang…Khâu này đƣợc thực hiện trên cơ sở xây dựng cây nhị phân tối
ƣu của các đặc điểm hình thái nên đảm bảo tính khoa học và tính chính xác cao.
Thuật toán cơ bản của bƣớc này nhƣ sau:
 Quan sát chọn ra các đặc tính phân biệt ký tự để xây dựng ma trận đặc tính.

 Xây dựng cây nhị phân tối ƣu từ ma trận đặc tính và tập ký tự thu đƣợc.


7

 Quan sát cây nhị phân, kiểm tra số đặc tính nhƣ vậy đã đủ để nhận dạng
chƣa, thiếu (dƣ) thì phải bổ sung (bỏ đi) và quay lại bƣớc đầu tiên.
 Tiến hành nhận dạng các ký tự trên cơ sở cây nhị phân tối ƣu tìm đƣợc

1.4. Đề xuất phƣơng pháp áp dụng trong luận văn
Các công trình nghiên cứu là những cơ sở quý báo, và các công trình này
bƣớc đầu cũng đã áp dụng.Trong đồ án này, công việc cần phải giải quyết vấn đề
phát hiện vùng chứa biển số xe và nhận dạng ký tự trong biển số. Cả bài toán phát
hiện vùng chứa biển số và bài toán nhận dạng ký tự sẽsử dụng mô hình
Convolutional Neural Networks để tiến hành nhận dạng cho các biển đăng ký xe
của Việt Nam.


8

Chƣơng 2 – CƠ SỞ LÝ THUYẾT
2.1. Tổng quan về mạng noron, luật học delta và lan truyền ngƣợc
2.1.1. Giới thiệu về mạng noron
Mạng Nơron nhân tạo là sự mô phỏng sinh học bằng máy tính bộ não của
con ngƣời. Nó có cấu trúc song song đƣợc cấu thành từ nhiều phần tử (Nơron nhân
tạo) liên kết với nhau thông qua các trọng số, tập hợp các trọng số này tạo thành bộ
trọng của mạng Nơron nhân tạo. Mỗi Nơron nhân tạo là một hệ thống động phi
tuyến có khả năng tự học. Các Nơron và bộ trọng cấu thành cấu trúc mạng. Do đó
mạng Nơron có khả năng học từ kinh nghiệm hay từ tập mẫu. Mạng Nơron đƣợc
gọi là mô hình liên kết vì vai trò quan trọng của sự kết nối giữa chúng. Bộ trọng liên

kết chính là “bộ nhớ” của hệ thống.
Mạng nơron nhân tạo, Artificial Neural Network (ANN) là một mô
hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron
sinh học. Nó đƣợc tạo nên từ một số lƣợng lớn các phần tử (nơron) kết nối với
nhau thông qua các liên kết (trọng số liên kết) làm việc nhƣ một thể thống nhất để
giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo đƣợc cấu hình cho
một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu,...) thông qua một quá
trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh
trọng số liên kết giữa các nơron.
Một Nơron nhân tạo cũng giống nhƣ một Nơron sinh học đƣợc cấu thành từ
hai khối chính: nối kết và thân với nhân bên trong. Mỗi khối này chịu trách nhiệm
cung cấp hai kiểu biến đổi toán học khác nhau hình thành lên cơ chế xử lý thông tin
của một Nơron: Biến đổi toán học nối kết và biến đổi toán học bên trong thân
Nơron. Mô hình tổng quát của một Nơron đƣợc mô tả trong hình sau:


9

Hình 2.1: Mô hình một noron sinh học

m

yi  f ( wij x j   i )
j 1

“Cháy”
“Không
cháy”

z  0

1 if
f ( z)  
otherwise
0

Hình 2.2: Mô hình một noron nhân tạo của McCulloch và Pitts

Sự tƣơng ứng giữa một nơron sinh học và một nơron nhân tạo.
Trọng số wi tƣợng trƣng cho cƣờng độ của synapse (gọi là sự kết nối) từ
nơron nguồn j đến nơron đích i. Một trọng số dƣơng tƣơng ứng với một synapse
kích hoạt, một trọng số âm tƣơng ứng với một synapse cản trở. Nếu wi = 0 tức là
không có sự kết nối giữa hai nơron.
Mặc dù với cấu trúc đơn giản với đầu ra chỉ là giá trị nhị phân nhƣng nơron
M-P có một khả năng tính toán tiềm ẩn to lớn, nó có thể thực thi các thao tác logic
nhƣ NOT, OR, AND khi các trọng số và các ngƣỡng đƣợc chọn lựa tùy theo. Bởi vì
nhiều hàm kết hợp có nhiều biến có thể đƣợc thực thi bởi các thao tác cơ bản nên
một sự đồng bộ hóa kết hợp của các nơron có khả năng tính toán rất lớn.
Một cách tổng quát, mạng nơron nhân tạo là một cấu trúc xử lý thông tin
phân phối song song có các đặc điểm sau:


10

1. Là một mô hình toán học.
2. Chứa một số lƣợng lớn các node (thành phần xử lý) bên trong.
3. Các trọng số tích lũy các tri thức.
4. Các node có phản ứng động đến các input của nó và sự phản ứng hoàn toàn
phụ thuộc vào thông tin cục bộ của nó, đó là: các tín hiệu input đến các node
và các trọng số kết nối.
5. Có khả năng học, nhớ lại, tổng quát hóa từ dữ liệu học bởi việc điều chỉnh

trọng số kết nối.
6. Có khả năng tính toán mạnh mẽ và không là một nơron mang thông tin đơn
lẻ.
Bởi vì các đặc tính trên, các tên gọi khác thƣờng sử dụng cho mạng nơron
nhân tạo là: mô hình xử lý phân phối song song, mô hình kết nối, hệ thống tự tổ
chức.
2.1.2. Một số kiểu mạng noron
Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi
nơron đều đƣợc kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially
connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau. Ngƣời ta
chia ra hai loại kiến trúc mạng chính:
 Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các
nơron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp
 Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào và đầu
ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer
Perceptron), mạng Kohonen, … thuộc loại này.
 Ngoài ra tùy thuộc vào mạng có các kết nối ngƣợc (feedback connections) từ
các nơron đầu ra tới các nơron đầu vào hay không, ngƣời ta chia ra làm 2 loại
kiến trúc mạng:
 Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc
mạng không có các kết nối ngƣợc trở lại từ các nơron đầu ra về các nơron
đầu vào; mạng không lƣu lại các giá trị output trƣớc và các trạng thái kích


11

hoạt của nơron. Các mạng nơron truyền thẳng cho phép tín hiệu di chuyển
theo một đƣờng duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ
không ảnh hƣởng tới tầng đó. Các mạng kiểu Perceptron là mạng truyền
thẳng.

 Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các
kết nối từ nơron đầu ra tới nơron đầu vào. Mạng lƣu lại các trạng thái trƣớc
đó, và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà
còn phụ thuộc vào các trạng thái trƣớc đó của mạng. Mạng Hopfield thuộc
loại này
2.1.3. Mạng noron lan truyền ngƣợc MLP

Hình 2.3: Ánh xạ phi tuyến trong noron


12

Ánh xạ phi tuyến bao gồm:
Phép toán hợp nhất: đồ án xử dụng phép hợp nhất tuyến tính (Integration
Linear Function)

Hàm truyền phi tuyến: đồ án sử dụng hàm sigmoid với  = 1

Đồ án xây dựng mô hình mạng neuron truyền thẳng đơn giản ba lớp với lớp
nhập, lớp ẩn và lớp xuất

Hình 2.4: Mô hình mạng noron truyền thẳng đơn giản


13

Công thức tính độ lỗi tổng cộng của tất cả các neuron trong mạng (bình
phƣơng bé nhất – squared error function):

Cập nhật trọng số sau khi lan truyền đến neuron output sử dụng đạo hàm để

trọng số hội tụ về giá trị tối ƣu (độ lỗi là bé nhất có thể): giả sử lúc này đang cập
nhật trọng số thứ 5 của neuron output (w5). Ta xem xét trọng số w5 ảnh hƣởng nhƣ
thế nào đến độ lỗi tổng cộng



(1)



(2)

(3)


14

Lƣu ý: Output của neuron ẩn phía trƣớc (outh1) chính là input cho neuron output
phía sau. Nhƣ vậy (3) chính bằng input tƣơng ứng.
Nhƣ vậy:
Công thức cập nhật trọng số (giả sử w5)
với eta (  ) là hệ số học có miền giá trị [0,1].
Nhƣ vậy các bƣớc cần tính toán nhƣ sau:
+Tính toán lan truyền thẳng đến đầu ra.

+Tính toán sai số cho tất cả neuron trong lớp output: (1) * (2) = E_out
+ Tính toán sai số cho tất cả neuron trong lớp ẩn: (1) * (2). Tuy nhiên ở lớp
ẩn công thức (1) đã thay đổi. Với mỗi neuron j trong lớp ẩn: (1) =

 w E _ out

ij

i

i

Lý do: giả sử nhƣ neuron ẩn h1 độ lỗi tại đây qui về tổng độ lỗi của các neuron lớp
trƣớc (hình bên dƣới). Sau khi phân tích tƣơng tự nhƣ trên đã đƣa ra công thức thay
đổi


15

+ Cập nhật trọng số cho tất cả neuron dựa vào (1)*(2)*(3) tƣơng ứng với
công thức cho mỗi lớp (tầng). Với (3) là input tƣơng ứng với mỗi neuron nhƣ đã đề
cập trong lƣu ý.
2.2. Giới thiệu về mạng noron tích chập và kỹ thuật cải tiến
2.2.1. Giới thiệu về mạng noron tích chập
Những năm gần đây, chúng ta đã chứng kiến đƣợc nhiều thành tựu vƣợt bậc
trong ngành Thị giác máy tính. Các hệ thống xử lý ảnh lớn nhƣ Facebook,
Google hay Amazon đã đƣa vào sản phẩm của mình những chức năng thông minh
nhƣ nhận diện khuôn mặt ngƣời dùng, phát triển xe hơi tự lái hay drone giao
hàng.
Convolutional Neural là một trong những mô hình Deep Learning tiên tiến
giúp cho chúng ta xây dựng đƣợc những hệ thống thông minh với độ chính xác cao
nhƣ hiện nay.
2.2.2. Convolution
Để dễ hình dung, ta có thể xem tích chập nhƣ một cửa sổ trƣợt
(sliding window) áp đặt lên một ma trận. Bạn có thể theo dõi cơ chế của tích chập
qua hình minh họa Hình 2.5.