Tư động nhận dạng ký tự trên biển số xe

- 1 -
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
KHOA CÔNG NGHỆ THÔNG TIN
___o0o___
ĐỒ ÁN
TỐT NGHIỆP ĐẠI HỌC
Đề tài:
TỰ ĐỘNG NHẬN DẠNG
KÝ TỰ TRÊN BIỂN SỐ XE
Giảng viên hướng dẫn : PGS.TS. TỪ MINH PHƯƠNG
Sinh viên thực hiện : NGUYỄN MINH TUẤN
Lớp : D05CNPM
Khoá : 2005-2010
Hệ : Đại học chính quy
Hà Nội, tháng … /2009
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
ĐỀ TÀI ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC
Họ và tên sinh viên: NGUYỄN MINH TUẤN
Lớpp: D05CNPM Khoá: I (2005-2010)
Ngành đào tạo: Công nghệ thông tin Hệ đào tạo: Đại học chính quy
1/ Tên đồ án tốt nghiệp:
TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ XE
2/ Nội dung chính của đồ án:
1/Tìm hiểu bài toán tự động nhận dạng biển số xe
2/Tìm hiểu một số kỹ thuật xử lý và nhận dạng ảnh
3/Tìm hiểu thư viện mã nguồn mở OpenCV và LibSVM
4/ Cài đặt thử nghiệm chương trình tự động nhận dạng ký tự trên biển số xe
3/ Cơ sở dữ liệu ban đầu
Dữ liệu là tập ảnh thu thập tại:
• Bãi giữ xe khu đô thị Văn Quán
• Xung quanh khu đô thị Văn Quán

• Nhà để xe của chung cư CT2B khu đô thị Văn Quán
• Trên mạng internet
4/ Ngày giao đồ án: 15/12/2009
5/ Ngày nộp đồ án : … /… /2009
TRƯỞNG BỘ MÔN (Duyệt) GIÁO VIÊN HƯỚNG DẪN
(Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên)

TRƯỞNG KHOA
GVHD: PGS.TS.Từ Minh Phương - 2 - SVTH: Nguyễn Minh Tuấn
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
KHOA CÔNG NGHỆ THÔNG TIN
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
LỜI CẢM ƠN
Để có được thành quả ngày hôm này, em xin chân thành cảm ơn các thầy cô khoa Công
nghệ thông tin Học viện Công nghệ Bưu chính Viễn thông đã dạy dỗ, chỉ bảo em.
Em xin chân thành cảm ơn thầy giáo Từ Minh Phương – Trưởng Khoa Công Nghệ Thông
Tin, người đã trực tiếp hướng dẫn tận tình cho em trong đề tài này. Cảm ơn thầy đã dành thời
gian và những kinh nghiệm quý báu cho em. Em đã học được rất nhiều trong quá trình làm đồ án.
Một lần nữa xin chân thành cảm ơn thầy.
Trong báo cáo của em, em đã sử dụng tài liệu “Giáo trình xử lý ảnh” của thầy Đỗ Năng
Toàn – Viện công nghệ thông tin, “Nhập môn xử lý ảnh” của Đại học Bách Khoa Hà Nội và một
tố tạp chí khoa học để tham khảo và nghiên cứu.
Em xin chân thành cảm ơn.
GVHD: PGS.TS.Từ Minh Phương - 3 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN
Hà Nội, ngày …/… /2009

Giáo viên hướng dẫn
(Kí và ghi đủ họ tên, chức danh)
PGS.TS. TỪ MINH PHƯƠNG
GVHD: PGS.TS.Từ Minh Phương - 4 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN
Hà Nội, ngày …/… /2009

Giáo viên phản biện
(Kí và ghi đủ họ tên, chức danh)
GVHD: PGS.TS.Từ Minh Phương - 5 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
MỤC LỤC
DANH MỤC CÁC HÌNH VẼ 7
MỞ ĐẦU 8
Chương 1: BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE 10
Chương 2: CÁC KỸ THUẬT XỬ LÝ ẢNH LIÊN QUAN 21
Chương 3: TÁCH KÝ TỰ 28
Chương 4: NHẬN DẠNG KÝ TỰ 37
Chương 5: CÀI ĐẶT THỰC NGHIỆM 50
GVHD: PGS.TS.Từ Minh Phương - 6 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Sơ đồ hệ thống tự động nhận dạng biển số xe
Hình 1.2: Lưu đồ chi tiết của hệ thống tự động nhận dạng biển số xe
Hình 1.3: Biển trắng
Hình 1.4: Biển xanh
Hình 1.5: Biển đỏ
Hình 1.6: Kích thước biển trước

Hình 1.7: Kích thước biển sau
Hình 1.8: Ứng dụng của hệ thống tự động nhận dạng biển số xe
Hình 1.9: Các module trong hệ thống tự động nhận dạng biển số xe
Hình 1.10: Tách biển bằng dò biên và Hough
Hình 1.11: Các bước tách ký tự sử dụng kỹ thuật tách ngưỡng
Hình 1.12: Các bước tách ký tự sử dụng kỹ thuật sobel
Hình 1.13: Noron sinh học
Hình 2.1: Chuẩn hóa histogram
Hình 3.1: Lưu đồ tách ký tự
Hình 3.2: Ảnh qua quá trình nhị phân hóa
Hình 3.3: Biển số được chia ra thành 6 hình chữ nhật nhỏ với histogram và ngưỡng của riêng nó
Hình 3.4: Ảnh qua quá trình phát hiện biên sobel
Hình 3.5: Đồ thị chiếu ngang của biển số
Hình 3.6: Đồ thị chiếu ngang của biển số sau khi xóa phép chiếu ngang trong khoảng [b,t]
Hình 3.7: Đồ thị chiếu ngang đối với ảnh nhị phân hóa
Hình 3.8: Đồ thị chiếu ngang đối với ảnh phát hiện biên sobel
Hình 3.9: Đồ thị chiếu dọc đối với ảnh nhị phân hóa
Hình 4.1: Sơ đồ tổng quát một hệ nhận dạng
Hình 4.2: Siêu phẳng phân chia hai tập mẫu
Hình 4.3: Một mặt phân chia phi tuyến có thể trở thành một siêu phẳng trong không gian lớn hơn
Hình 4.4: Mặt phẳng [-1, 1] x [-1, 1] trong R2 thành mặt cong trong R3
Hình 4.5: RBF Gaussian Kernel có thể chuyển một mặt bất kỳ thành một siêu phẳng
Hình 4.6: Hàm nhận dạng SVM 2 - vs – rest có giá trị bé nhất, nên mẫu cần nhận dạng là lớp thứ
Hình 4.7: SVM loại trừ
Hình 4.8: Sơ đồ loại trừ trong các tình huống
Hình 5.1: Tập dữ liệu
Hình 5.2: Phương pháp tách ký tự được lựa chọn
Hình 5.3: Kết quả chọn tham số gama bằng tool của libSVM
Hình 5.4: Giao diện chính của chương trình
Hình 5.5: Giải thích giao diện chính của chương trình

GVHD: PGS.TS.Từ Minh Phương - 7 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
MỞ ĐẦU
Cùng với sự phát triển của công nghệ và khoa học kỹ thuật, các hệ thống giao thông thông
minh đang dần trở thành những công cụ hỗ trợ đắc lực cho con người. Có rất nhiều thành tựu
khoa học công nghệ trong giao thông vận tải giúp các nhà quản lý giám sát và điều khiển sự di
chuyển, hoạt động của các phương tiện giao thông ở các đô thị lớn. Một trong số đó là hệ thống
nhận dạng biển số xe tự động. Hệ thống này làm đơn giản hóa việc nhận dạng biển số xe bằng
cách áp dụng các kỹ thuật xử lý ảnh để xử lý ảnh hoặc một đoạn video có chứa phương tiện giao
thông.
Trong những năm gần đây, số lượng các phương tiện tham gia vào giao thông ngày càng
tăng do nhu cầu đi lại, sản xuất của người dân ngày càng nhiều. Lưu lượng các phương tiện giao
thông sử dụng ở những nơi công cộng rất lớn. Vấn đề quản lý các phương tiện giao thông tại các
địa điểm công cộng, bãi giữ xe là một bài toán lớn cho các nhà quản lý. Bên cạnh vấn đề quản lý
sao cho phù hợp, yêu cầu về kinh tế cũng không thể bỏ qua. Mặc dù việc sử dụng mắt người là
cách tốt nhất để đọc biển số xe nhưng đó không phải là cách giải quyết trên quy mô rộng lớn. Bài
toán đặt ra ở đây cho những người làm khoa học là cần phải xây dựng một hệ thống tự động quản
lý các phương tiện giao thông nơi công cộng với một chi phí phù hợp với điều kiện kinh tế Việt
Nam.
Trong hệ thống này cần có một chương trình nhận dạng biển số xe tự động trên ảnh. Kết
hợp chương trình này với phần cứng phù hợp thành một hệ thống hoàn chỉnh. Hệ thống này giúp
các nhà quản lý giảm thiểu nhân lực, tiết kiệm chi phí, triển khai trên quy mô rộng. Đồng thời hỗ
trợ con người trong những công việc tẻ nhạt như nhận xe, trả xe, ghi vé xe…Hệ thống nhận dạng
biển số xe tự động mong muốn phải làm việc được trong nhiều điều kiện và môi trường khác
nhau như thiếu ánh sáng, độ tương phản của ảnh đầu vào thấp, ảnh đầu vào nhòe, biển số bẩn,
điều kiện thời tiết khắc nghiệt.
Ngoài việc hỗ trợ coi giữ xe ở những nơi công cộng, hệ thống nhận dạng biển số xe còn
được lắp đặt với nhiều mục đích khác nhau. Hệ thống nhận dạng biển số xe được lắp cùng với hệ
thống tự động mở cổng, sẽ nhận dạng biển số xe của công ty, biển số xe của khách để tiến hành
mở cổng. Trên các trạm thu phí người ta sử dụng hệ thống tự động nhận dạng biển số xe để thu lộ

phí các phương tiện giao thông. Hay trên các xa lộ, các trọng điểm giao thông, người ta lắp đặt hệ
thống này để hỗ trợ công tác điều tra, truy bắt tội phạm…
Hiện nay, trên thế giới các hệ thống nhận dạng biển số xe tự động đang được áp dụng một
cách rộng rãi, điển hình là hệ thống tự động nhận dạng biển số xe ANPR (Automatic Number
Plate Recognition). Nhưng các hệ thống này yêu cầu sử dụng các thiết bị chuyên dụng có giá
thành cao, đồng thời khó áp dụng ở Việt Nam. Vì vậy việc xây dựng một hệ thống tương tự phù
hợp với điều kiện của Việt Nam là một yêu cầu thiết yếu. Ngoài ra do đặc thù biển số xe của mỗi
nước là khác nhau nên không thể áp dụng một cách trực tiếp hệ thống ANPR vào Việt Nam.
Nhìn chung các hệ thống nhận dạng biển số xe tự động được chia thành 3 phần chính:
phát hiện vùng chứa biển số (tách biển số), phân đoạn ký tự (tách ký tự) và nhận dạng kí tự đã
GVHD: PGS.TS.Từ Minh Phương - 8 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
tách. Đồ án này nhằm giải quyết hai vấn đề: phân đoạn ký tự (tách ký tự) và nhận dạng kí tự đã
tách.
Bố cục của đồ án này bao gồm 5 chương:
• Chương 1: Bài toán nhận dạng biển số xe
• Chương 2: Các kỹ thuật xử lý ảnh liên quan
• Chương 3: Tách kí tự
• Chương 4: Nhận dạng kí tự
• Chương 5: Cài đặt thử nghiệm
GVHD: PGS.TS.Từ Minh Phương - 9 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Chương 1: BÀI TOÁN NHẬN DẠNG BIỂN SỐ XE
1.1.Hệ thống tự động nhận dạng biển số xe
1.1.1. Giới thiệu
Hệ thống tự động nhận dạng biển số xe là hệ thống có khả năng phân tích, xử lý hình ảnh
biển số xe trên các hình ảnh chụp được từ các thiết bị thu hình, cho kết quả đầu ra là chuỗi ký tự
trên biển số. Nguồn hình ảnh cho ứng dụng có rất nhiều nhưng thường là hình ảnh được thu nhận
trực tiếp từ camera. Đầu vào của hệ thống là ảnh phương tiện giao thông có biển số xe. Đầu ra là
chuỗi ký tự trên biển số xe.

Hình 1.1: Sơ đồ hệ thống tự động nhận dạng biển số xe
Trong đồ án này, em xin phát triển một hệ thống tự động nhận dạng biển số xe với một số
giới hạn:
• Biển số là biển số Việt Nam tức là hệ thống chỉ hoạt động ở phạm vi trong nước.
Nếu đưa hệ thống ra hoạt động ở nước ngoài thì độ chính xác sẽ giảm.
• Hệ thống chỉ xử lý ảnh có chứa biển số nền trắng chữ đen.
• Vùng ảnh biển số có góc nghiêng ≤ 4
o

Từ những điều kiện trên, bài toán tự động nhận dạng biển số xe được phát biểu như sau:
Xây dựng hệ thống tự động nhận dạng biển số xe Việt Nam. Đầu vào là ảnh chụp phương tiện
cùng với biển số. Đầu ra là các ký tự trên biển số xe dưới dạng text.
1.1.2. Lưu đồ chi tiết của hệ thống
GVHD: PGS.TS.Từ Minh Phương - 10 - SVTH: Nguyễn Minh Tuấn
Tiền xử lý
Ảnh thu từ
camera
Phát hiện vùng
biển số
Nhận dạng ký
tự
Tách ký tự trên
biển số
Chuỗi ký tự
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Hình 1.2: Lưu đồ chi tiết của hệ thống tự động nhận dạng biển số xe
1.1.3. Một số quy định về biển số xe Việt Nam
Nhìn chung biển số xe đều có những đặc điểm: hình vuông hoặc hình chữ nhật, có màu
sáng, phủ sơn phản quang, có chứa một số ký tự, thường được gắn ở đằng trước hoặc đằng sau xe
hoặc cả hai. Tuy nhiên, ở mỗi quốc gia biển số xe lại có những đặc thù riêng về kích thước, tỷ lệ

chiều rộng/chiều dài, số lượng ký tự, kiểu ký tự…
GVHD: PGS.TS.Từ Minh Phương - 11 - SVTH: Nguyễn Minh Tuấn
Yêu cầu ảnh
Yêu cầu ảnh
Nâng cao chất lượng ảnh
Nâng cao chất lượng ảnh
Trích ký tự
Trích ký tự
Trích biển số
Trích biển số
Nhận dạng ký tự
Nhận dạng ký tự
Dữ liệu ký
tự
Dữ liệu ký
tự
Trainning
Trainning
Engine nhận
dạng ký tự
Engine nhận
dạng ký tự
Mạng noron
nhân tạo hoặc hệ
SVM (Super
vector Machine)
Mạng noron
nhân tạo hoặc hệ
SVM (Super
vector Machine)

Chuỗi ký tự
kết quả
Tiêu chí của
biển số
Chọn ngưỡng Phát hiện biên sobel
Chuẩn hóa ký tự
Chuẩn hóa ký tự
Kích thước chuẩn
Lọc nhiễu, chuẩn
hóa histogram
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Ở Việt Nam, biển số xe là tấm biển gắn trên mỗi xe cơ giới, được cơ quan công an cấp khi
mua xe mới hoặc chuyển nhượng xe. Biển số xe được làm bằng hợp kim nhôm sắt, có dạng hình
chữ nhật hoặc hơi vuông, trên đó có in những con số và chữ cho biết: vùng và địa phương quản
lý, các con số cụ thể khi tra trên máy tính còn cho biết danh tính người chủ hay đơn vị đã mua nó,
thời gian mua nó phục vụ cho công tác an ninh Đặc biệt trên đó còn có hình quốc huy của nước
CHXHCN Việt Nam.
Một số đặc điểm của biển số xe Việt Nam:
• Màu sắc:
o Nền biển màu trắng, chữ màu đen là xe thuộc sở hữu cá nhân và xe của các
doanh nghiệp.
Hình 1.3: Biển trắng
o Nền biển màu xanh dương, chữ màu trắng là biển xe của các cơ quan hành
chính sự nghiệp (dân sự).
Hình 1.4: Biển xanh
o Nền biển màu đỏ, chữ màu trắng là xe quân đội, xe của các doanh nghiệp quân
đội.
Hình 1.5: Biển đỏ
o Nền biển màu vàng chữ trắng là xe thuộc Bộ tư lệnh Biên phòng (ít gặp)
o Nền biển màu vàng chữ đen là xe cơ giới chuyên dụng làm công trình

• Kích thước của biển số:
GVHD: PGS.TS.Từ Minh Phương - 12 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
o Biển số xe ô tô gồm 2 biển không giống nhau về kích thước nhưng giống về
chữ và số trong biển. Một biển gắn phía trước và một biển gắn phía sau xe. Có
kích thước như sau:
- Biển trước: Chiều cao 110 mm, chiều dài 470 mm.
Hình 1.6: Kích thước biển trước
- Biển sau: Chiều cao 200 mm, chiều dài 280 mm.
Hình 1.7: Kích thước biển sau
o Biển số rơ moóc, sơ mi rơ moóc: 1 biển gắn phía sau thành xe. Kích thước:
Chiều cao 200 mm, chiều dài 280 mm.
o Biển số xe mô tô: 1 biến gắn phía sau xe. Kích thước: Chiều cao 140 mm,
chiều dài 190 mm.
1.1.4. Phân loại hệ thống nhận dạng biển số xe
Có một vài tiêu chí khác nhau để phân loại các hệ thống nhận dạng biển số xe như mục
đích sử dụng, kiểu ảnh đầu vào…Dựa trên loại ảnh mà hệ thống phân tích xử lý có thể chia ứng
dụng nhận dạng biển số xe thành hai loại sau:
• Loại 1: Ảnh đầu vào có giới hạn vùng nhìn:
- Đầu vào: Ảnh thu trực tiếp từ các thiết bị ghi nhận ảnh kỹ thuật số. Ảnh được
ghi nhận thường chỉ giới hạn trong vùng có biển số xe.
- Nguyên lý hoạt động: Các phương tiện giao thông phải chạy với một tốc độ đủ
chậm để máy ghi nhận hình ảnh co thể thu được ảnh vùng biển số xe.
- Ứng dụng: Những ứng dụng nhận dạng biển số xe loại này thường được dung
tại cac trạm kiểm soát, các trạm thu phí, các bãi gửi xe tự động, các trạm gác
cổng.
GVHD: PGS.TS.Từ Minh Phương - 13 - SVTH: Nguyễn Minh Tuấn
470mm
110mm
280mm

200mm
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
• Loại 2: Ảnh đầu vào không giới hạn vùng nhìn.
- Đầu vào: Ảnh đầu vào thu được từ các thiết bị ghi hình tự động, không phụ
thuộc vào góc độ, các đối tượng xung quanh, ảnh không cần bắt buộc chỉ chụp
vùng chứa biển số xe, mà có thể ảnh tổng hợp như chứa thêm các đối tượng
như người, cây, đường phố , miễn là vùng biển số xe phải đủ rõ để có thể thực
hiện nhận dạng được các ký tự trong vùng đó
- Nguyên lý hoạt động: Do đặc tính không giới hạn vùng nhìn mà ảnh đầu vào
có thể thu được từ một thiết bị ghi hình (camara, máy ảnh…). Và do đó, công
việc đầu tiên là dò tìm trong ảnh, để xác định đúng vùng nào là biển số xe. Sau
đó, thực hiện tách vùng và nhận dạng. Cuối cùng tùy thuộc vào mục đích sử
dụng mà kết quả nhận dạng được truyền đi hay lưu trữ để phục vụ nhu cầu của
người dùng cuối.
- Ứng dụng: Vì không phụ thuộc vào hình ảnh thu được nên có thể dùng ứng
dụng tại nhiều nơi như tại những nơi điều tiết giao thông, tại các vị trí nhạy
cảm của giao thông như ngã ba, ngã tư đường giao nhau. Kiểm soát, phát hiện
những hành vi vi phạm an toàn giao thông.
Trong quá trình tìm hiểu, xây dựng ứng dụng của mình. Ứng dụng mà em hướng tới trong
quá trình xây dựng là ứng dụng loại 1. Tức là ảnh đầu vào được giới hạn góc độ, số lượng các đối
tượng khác là tối thiểu.
1.1.5. Ứng dụng của hệ thống nhận dạng biển số xe
Hệ thống nhận dạng biến số xe được xây dựng nhằm mục đích giám sát, kiểm soát các
phương tiện. Dưới đây chúng ta đề cập đến một số ứng dụng phổ biến đối với hệ thống nhận
dạng biển số xe:
• Đối với các cơ quan: ứng dụng sẽ nhận dạng, và biết được xe đó có phải là xe của cơ
quan mình không, để tiến hành tự động đóng mở cổng
Hình 1.8: Ứng dụng của hệ thống tự động nhận dạng biển số xe
GVHD: PGS.TS.Từ Minh Phương - 14 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ

• Tại các bãi xe tự động: sẽ nhận biết được xe vào và ra khỏi nhà để xe….
• Tại các trạm thu phí: Ứng dụng hỗ trợ tự động thu phí giao thông. Mà không cần nhân
viên thu phí. Đảm bảo nhan chóng, chính xác
• Được sử dụng trong giao thông: hệ thống xác định những xe vi phạm giao thông, như
phóng vượt tốc độ cho phép, vượt đèn đỏ…
• Và còn được sử dụng trong nhiều lĩnh vực khác.
1.2.Các phương pháp đã phát triển
Với bài toán này, chúng ta có thể có rất nhiều hướng giải quyết tùy vào đặc thù của biển
số xe mỗi quốc gia và thuật toán được lựa chọn. Tuy nhiên nhìn chung thì có một số kỹ thuật
chung được áp dụng vào bài toán nhận dạng biển số xe. Những kỹ thuật này có thể kể ra đây như:
phương pháp hình thái học, phương pháp hough, phương pháp chiếu…
Vấn đề chính gặp phải khi xây dựng hệ thống tự động nhận dạng biển số xe là vấn đề
phân đoạn ảnh. Có hai giai đoạn phân đoạn ảnh chính. Thứ nhất là xác định và trích xuất vùng
biển số xe từ ảnh lớn hơn. Thứ hai là trích xuất các ký tự alpha từ vùng biển đã có.
Giải quyết bài toán này yêu cầu một hệ thống các thủ tục được sắp xếp hợp lý. Để dễ dàng
hơn, bài toán sẽ được chia thành hai bài toán nhỏ: bài toán tách biển số xe, bài toán tách ký tự và
nhận dạng ký tự.
Với thời khối lượng thời gian có hạn, quy mô bài toán nhỏ em xin phép được nghiên cứu
và giải quyết bài toán: tách ký tự và nhận dạng ký tự.
Hình 1.9: Các module trong hệ thống tự động nhận dạng biển số xe
1.2.1. Các phương pháp tách biển số xe
GVHD: PGS.TS.Từ Minh Phương - 15 - SVTH: Nguyễn Minh Tuấn
Nhận dạng
Phát hiện vùng
biển số
Tách ký tự
Nhận dạng ký
tự
Hệ thống tự
động nhận

dạng biển số xe
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
a. Hướng tiếp cận dò biên và biến đổi Hough
• Ý tưởng của cách tiếp cận này là: Biển số xe được bao bọc bởi đường viền. Do đó, có thể
dùng phương pháp phát hiện biên, sau đó dùng phép biến đổi Hough để tách những đoạn
thẳng dọc, ngang tồn tại trong ảnh. Giao điểm của những đoạn thẳng này chính là vùng
bao chứa biển số xe. Và cuối cùng là tiến hành nhận dạng các ký tự ở trên mỗi vùng con
[7] [4] [8].
Hình 1.10: Tách biển bằng dò biên và Hough
• Ưu điểm: độ chính xác cao. Và các hệ thống nhận dạng đa phần đều phát triển theo hướng
tiếp cận này.
• Nhược điểm: Độ phức tạp tính toán khá cao. Khi ảnh có thêm nhiều đối tượng khác thì
khối lượng tính toán tăng lên rất nhiều. Do mục đích là phải xác định được vùng con nào
chứa biển số xe.
b. Hướng tiếp cận dò biên sobel và chiếu
• Ý tưởng của cách tiếp cận này là: Trên biển số xe có rất nhiều ký tự nên khi dò biên sobel
có thể phát hiện ra các ký tự này, rồi dùng phép chiếu để tách dải ảnh có các ký tự này.
Sau đó dùng một số kỹ thuật phụ trợ để giới hạn lại độ rộng của dải ảnh, khi đó ta có thể
xác định được vùng biển số xe [3] [6].
• Ưu điểm: Khá nhanh và đơn giản do không phải xét nhiều các cặp đường thẳng như
phương pháp hough.
GVHD: PGS.TS.Từ Minh Phương - 16 - SVTH: Nguyễn Minh Tuấn
Tách ngưỡng
Tách ngưỡng
Phát hiện biên dọc
Phát hiện biên dọc
Biển đổi Hough
Biển đổi Hough
Phát hiện biên ngang
Phát hiện biên ngang

Biển đổi Hough
Biển đổi Hough
Trích các đoạn thẳng
Trích các đoạn thẳng
Trích các đoạn thẳng
Trích các đoạn thẳng
Trích vùng ứng cử
Trích vùng ứng cử
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
• Nhược điểm: Nếu gặp những ảnh có xen lẫn các đối tượng là ký tự thì dễ cho kết quả
không như mong muốn. Vùng được nhận ra không phải là vùng biển số mà có thể là vùng
chứa những ký tự đó. Đôi khi ảnh đầu vào có nhiều đối tượng khác cũng làm cho độ
chính xác của cách tiếp cận này giảm đi rất nhiều.
c. Hướng tiếp cận phát triển vùng
• Ý tưởng của phương pháp này: đó là biển số xe thường chứa một màu đồng nhất, chẳng
hạn màu trắng, và có diện tích tương đối nhất định. Vì vậy có thể dùng phương pháp phát
triển vùng, hoặc sử dụng khung chữ nhật di chuyển trong để tìm ra vùng có tính chất thỏa
mãn biển số xe và tiến hành nhận dạng.
• Ưu điểm: rất đơn giản, và xử lý rất nhanh đối với những ảnh chỉ chứa vùng biển số xe.
• Nhược điểm: khi ảnh có thêm nhiều đối tượng không phải là vùng biển số xe, chẳng hạn
là ảnh chụp tổng quát gồm cả cảnh vật bên ngoài thì cách tiếp cận này trở nên không hiệu
quả. Vì vậy phương pháp này rất hiệu quả đối với hệ thống trạm thu phí, trạm gác cổng,
gửi xe tự động
Ngoài những cách tiếp cận trên, còn có nhiều cách tiếp cận khác để xác định chính xác
vùng nào chứa biển số xe và bước cuối cùng là tiến hành nhận dạng ký tự. Mỗi cách tiếp cận có
một ưu và nhược điểm. Đa số các ứng dụng đều sử dụng cách tiếp cận biến đổi Hough.
1.2.2. Các phương pháp tách ký tự và nhận dạng ký tự
1.2.2.1. Tách ký tự
Bước tiếp theo sau khi tách được biển số xe là tách ký tự trên biển số. Đây là một bước
quan trọng trong quy trình nhận dạng biển số xe tự động bởi vì tất cả các bước sau đó đều phụ

thuộc vào bước này. Nếu tách ký tự không chính xác thì mọi cố gắng tiếp theo đều vô nghĩa.
Việc tách ký tự có thể gặp phải một số khó khăn như dính ký tự, dính viền biển số với ký
tự, không thể tách được ký tự do ký tự quá mờ hoặc biển số quá cũ. Đôi khi ký tự tách được lại
có một số nhiễu đi kèm. Đặc biệt đối với Việt Nam, rất nhiều ký tự trên biển số bị che lấp bởi các
đinh ốc gắn vào biển. Đây là một thách thức lớn đối với quá trình nhận dạng.
Có rất nhiều phương pháp để thực hiện tách ký tự, một số phương pháp có thể kể đến như
phương pháp chiếu, phương pháp hình thái học, phương phát phát hiện contour, phương pháp sử
dụng trí tuệ nhân tạo… Tuy nhiên phương pháp chiếu có vẻ như được lựa chọn nhiều hơn. Trong
bài báo cáo này em cũng tập trung vào phương pháp chiếu. Với phương pháp chiếu này chúng ta
cũng có nhiều cách thực hiện, có thể nhị phân ảnh rồi chiếu, có thể phát hiện biên rồi chiếu.
a. Phương pháp đã phát triển - Sử dụng ngưỡng xám và chiếu
Phương pháp này sử dụng một ngưỡng tự động để làm nổi ký tự rồi chiếu ngang, chiếu dọc
để phân tách ký tự [8].
GVHD: PGS.TS.Từ Minh Phương - 17 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Hình 1.11: Các bước tách ký tự sử dụng kỹ thuật tách ngưỡng
Các bước xử lý:
- Chuyển ảnh đầu vào thành ảnh xám 256 mức xám
- Tiền xử lý: lọc nhiễu, chuẩn hóa histogram…
- Nhị phân hóa ảnh xám bằng thuật toán tách ngưỡng. Thông thường người ta
thường dùng thuật toán tách ngưỡng Otsu hoặc thuật toán tách ngưỡng thích ứng
(adaptive thresolding)
- Chiếu ngang để phát hiện dòng chữ trên biển số xe
- Tách các dòng ký tự
- Chiếu dọc để phát hiện ra các ký tự
- Tách các ký tự
- Chuẩn hóa ký tự về một kích thước cố định
b. Phương pháp đề xuất - Sử dụng phát hiện biên sobel và chiếu
GVHD: PGS.TS.Từ Minh Phương - 18 - SVTH: Nguyễn Minh Tuấn
Ảnh đầu vào

Ảnh đầu vào
Ảnh xám
Ảnh xám
Nhị phân hóa
Nhị phân hóa
Tiền xử lý
Tiền xử lý
Chiếu ngang
Chiếu ngang
Chiếu dọc
Chiếu dọc
Tách dòng chữ
Tách dòng chữ
Tách ký tự
Tách ký tự
Chuẩn hóa ký tự
Chuẩn hóa ký tự
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Hình 1.12: Các bước tách ký tự sử dụng kỹ thuật sobel
Các bước xử lý:
- Chuyển ảnh đầu vào thành ảnh xám 256 mức xám
- Tiền xử lý: lọc nhiễu, chuẩn hóa histogram…
- Phát hiện biên dọc bằng thuật toán sobel
- Chiếu ngang để phát hiện dòng chữ trên biển số xe
- Tách các dòng ký tự
- Nhị phân hóa ảnh xám bằng thuật toán tách ngưỡng
- Chiếu dọc để phát hiện ra các ký tự
- Tách các ký tự
- Chuẩn hóa ký tự về một kích thước cố định
1.2.2.2. Nhận dạng ký tự

Sau khi tách rời được các ký tự, việc tiếp theo là nhận dạng ký tự. Bài toán nhận dạng ký
tự là bài toán đã được phát triển và sử dụng trong rất nhiều ứng dụng như nhận dạng chữ viết tay,
nhận dạng chữ in. Với bài toán nhận dạng biển số xe, số lượng ký tự ít, các kiểu font chữ ít cho
nên độ phức tạp cũng ít hơn, đó là một thuận lợi.
Phương pháp nhận dạng ký tự phổ biến là sử dụng mạng noron tức là huấn luyện cho máy
tính nhận dạng các ký tự. Phương pháp này cho kết quả khá chính xác [3] [4].
GVHD: PGS.TS.Từ Minh Phương - 19 - SVTH: Nguyễn Minh Tuấn
Ảnh đầu vào
Ảnh đầu vào
Ảnh xám
Ảnh xám
Tiền xử lý
Tiền xử lý
Sobel cho biên dọc
Sobel cho biên dọc
Chiếu ngang
Chiếu ngang
Chiếu dọc
Chiếu dọc
Tách dòng chữ
Tách dòng chữ
Tách ký tự
Tách ký tự
Chuẩn hóa ký tự
Chuẩn hóa ký tự
Nhị phân hóa
Nhị phân hóa
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Hình 1.13: Noron sinh học
Bên cạnh đó còn có một phương pháp khác là phương pháp hình thái học. Phương pháp

này sử dụng các hình thái đặc biệt của các ký tự để phân biệt các ký tự. Các ký tự đều có những
đặc điểm hình thái riêng có thể phân biệt với nhau chẳng hạn như ‘0’ có lỗ trống ở giữa, ‘8’ có 2
lỗ trống hay ‘X’ đối xứng 2 trục ngang và dọc…
Hai phương pháp trên đã được sử dụng khá nhiều, tuy nhiên ở đây em không sử dụng
phương pháp nào trong hai phương pháp trên. Phương pháp mà em lựa chọn là phương pháp
nhận dạng SVM (support vector machine).
Phương pháp SVM sử dụng một không gian đa chiều để phân hoạch các mẫu. Các mẫu
nhận dạng được biểu diễn dưới dạng véc tơ. Ban đầu, thuật toán dựa vào tập mẫu để phân hoạch
không gian véc tơ thành các không gian con. Mỗi không gian con tương ứng với một loại mẫu.
Dựa vào các không gian con này, phương pháp SVM có thể nhận dạng được các mẫu. Phương
pháp này sẽ được trình bày cụ thể ở những chương sau.
GVHD: PGS.TS.Từ Minh Phương - 20 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Chương 2: CÁC KỸ THUẬT XỬ LÝ ẢNH LIÊN QUAN
2.1.Các kỹ thuật nâng cao chất lượng ảnh
2.1.1. Chuẩn hóa histogram
Chuẩn hóa histogram là kỹ thuật phân bố lại histogram của ảnh. Những chỗ có độ tương
phản thấp sẽ đạt được độ tương phản cao hơn mà không làm ảnh hưởng đến đặc điểm của ảnh.
Khái niệm histogram [1]: Biểu đồ tần suất của mức xám g của ảnh I là số điểm ảnh có
giá trị g của ảnh I. Ký hiệu là h(g)
Ví dụ:
I =
Xét một ảnh một ảnh xám được định nghĩa bởi một hàm f(x,y). Cho I là tổng số mức xám
trong ảnh (ví dụ I = 256). Chúng ta sử dụng biểu đồ tần suất histogram để xác định tần suất của
mỗi mức xám i, i 0 … I – 1[3].
Trong đó:
- x, y: tọa độ điểm ảnh
- w: độ rộng của ảnh
- h: chiều cao của ảnh
Giá trị lớn nhất, nhỏ nhất và trung bình trong histogram được định nghĩa như sau:

Trong đó H
min
, H
max
, H
avg
thỏa mãn điều kiện sau:
GVHD: PGS.TS.Từ Minh Phương - 21 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Mục đích của việc chuẩn hóa histogram là để đạt được một histogram chuẩn mà H
min
= 0,
H
max
= I-1

, H
avg
= . Để đạt được mục đích này chúng ta sẽ xây dựng một hàm biến đổi g(i).
Cho [x
1
, y
1
] = [H
min
,0], [x
2
, y
2
] = [H

avg
, ] và [x
3
, y
3
] = [H
max
,I-1] thì hàm g(i) được định
nghĩa như sau[3]:
Có thể triển khai cụ thể như sau:
Thay lần lượt các điểm đã cho ở trên vào, với số mức xám 256 ta có:
GVHD: PGS.TS.Từ Minh Phương - 22 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
Hình 2.1: Chuẩn hóa histogram
2.1.2. Cân bằng histogram
Ảnh I được gọi là cân bằng “lý tưởng” nếu với mọi mức xám g, g’ ta có h(g) = h(g’) [1]
Giả sử , ta có:
- ảnh I ~ kích thước m x n
- new_level ~ số mức xám của ảnh cân bằng
- TB = (m x n)/new_level ~ số điểm ảnh trung bình của mỗi mức xám của
ảnh cân bằng
- ~ số điểm ảnh có mức xám ≤ g
Xác định hàm f: g → f(g), sao cho:

2.1.3. Tách ngưỡng tự động
Ngưỡng θ trong kỹ thuật tách ngưỡng thường được cho bởi người sử dụng. Kỹ thuật tách
ngưỡng tự động nhằm tìm ra ngưỡng θ một cách tự động dựa vào histogram [1].
Giả sử , ta có:
- ảnh I ~ kích thước m x n
- G ~ số là số mức xám của ảnh kể cả khuyết thiếu

- t(g) ~ số điểm ảnh có mức xám ≤ g
- ~ mô men quán tính TB có mức xám ≤ g
Hàm f: g → f(g)
Tìm θ sao cho:
GVHD: PGS.TS.Từ Minh Phương - 23 - SVTH: Nguyễn Minh Tuấn
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ
2.1.4. Phép cuộn và mẫu
Giả sử ta có ảnh I kích thước M x N, mẫu T có kích thước m x n khi đó, ảnh I cuộn theo
mẫu T được xác định bởi công thức.
Hoặc

Nhận xét: Trong quá trình thực hiện phép cuộn có một số thao tác ra ngoài ảnh, ảnh
không xác định tại những vị trí đó dẫn đến ảnh thu được có kích thước nhỏ hơn [1].
2.1.5. Khử nhiễu
2.1.5.1. Lọc trung vị
a. Định nghĩa
Cho dãy x1; x2 ; xn đơn điệu tăng (giảm). Khi đó trung vị của dãy ký hiệu là Med({xn}),
được định nghĩa[1]:
• Nếu n lẻ Med({xn}) = x[ ]
• Nếu n chẵn Med({xn}) = x[ ] hoặc Med({xn}) = x[ ]
b. Kỹ thuật lọc trung vị
Giả sử ta có ảnh I ngưỡng θ cửa sổ W(P) và điểm ảnh P. Khi đó kỹ thuật lọc trung vị phụ
thuộc không gian bao gồm các bước cơ bản sau[1]:
• Bước 1: Tìm trung vị
• Bước 2: Gán giá trị
2.1.5.2. Lọc trung bình
GVHD: PGS.TS.Từ Minh Phương - 24 - SVTH: Nguyễn Minh Tuấn
(CT.2 - 1)
(CT.2 - 2)
ĐỒ ÁN TỐT NGHIỆP TỰ ĐỘNG NHẬN DẠNG KÝ TỰ TRÊN BIỂN SỐ

a. Định nghĩa
Cho dãy x1, x2…, xn khi đó trung bình của dãy ký hiệu AV({xn}) được định nghĩa[1]:
b. Kỹ thuật lọc trung bình
Giả sử ta có ảnh I, điểm ảnh P, cửa sổ W(P) và ngưỡng θ. Khi đó kỹ thuật lọc trung bình
phụ thuộc không gian bao gồm các bước cơ bản sau[1]:
• Bước 1: Tìm trung bình
• Bước 2: Gán giá trị
2.2.Biên và phương pháp phát hiện biên
2.2.1. Giới thiệu
Biên là vấn đề quan trọng trong trích chọn đặc điểm nhằm tiến tới hiểu ảnh. Cho đến nay
chưa có định nghĩa chính xác về biên, trong mỗi ứng dụng người ta đưa ra các độ đo khác nhau
về biên, một trong các độ đo đó là độ đo về sự thay đổi đột ngột về cấp xám. Ví dụ: đối với ảnh
đen trắng, một điểm được gọi là điểm biên nếu nó là điểm đen có ít nhất một điểm trắng bên
cạnh. Tập hợp các điểm biên tạo nên biên hay đường bao của đối tượng. Xuất phát từ cơ sở này
người ta thường dùng hai phương pháp phát hiện biên cơ bản:
Phát hiện biên trực tiếp: Phương pháp này làm nổi biên dựa vào sự biến thiên mức xám
của ảnh. Kỹ thuật chủ yếu dùng để phát hiện biên ở đây là dựa vào sự biến đổi cấp xám theo
hướng. Cách tiếp cận theo đạo hàm bậc nhất của ảnh dựa trên kỹ thuật Gradient, nếu lấy đạo hàm
bậc hai của ảnh dựa trên biến đổi gia ta có kỹ thuật Laplace.
Phát hiện biên gián tiếp: Nếu bằng cách nào đó ta phân được ảnh thành các vùng thì
ranh giới giữa các vùng đó gọi là biên. Kỹ thuật dò biên và phân vùng ảnh là hai bài toán đối
ngẫu nhau vì dò biên để thực hiện phân lớp đối tượng mà khi đã phân lớp đối tượng xong nghĩa
là đã phân vùng được ảnh và ngược lại, khi đã phân vùng ảnh tức là đã phân lớp được đối tượng,
do đó có thể phát hiện được biên.
2.2.2. Kỹ thuật phát hiện biên Sobel
GVHD: PGS.TS.Từ Minh Phương - 25 - SVTH: Nguyễn Minh Tuấn