NHẬN DẠNG TRỰC TUYẾN XE MÔ TÔ HAI BÁNH

NHẬN DẠNG TRỰC TUYẾN
XE MÔ TÔ HAI BÁNH
Nguyễn Thị Hồng Minh
Giảng viên hướng dẫn : TS. Trương Đình Châu

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN
Báo cáo luận văn Thạc sĩ, 6/2008
11/19/2013 2
Mục tiêu luận văn
Xây dựng bộ cảm biến phát hiện ảnh biển
số bằng tia hồng ngoại.
Xây dựng một chương trình trực tuyến
(dùng camera) để chụp ảnh khi có xe qua
cổng, trích biển số, và nhận dạng biển số.
Dùng ngôn ngữ CSharp để hiện thực
chương trình.
11/19/2013 3
Cơ sở lý thuyết
Các hệ thống nhận dạng biển số xe
Xử lý ảnh
Mạng Neural nhân tạo
(xem chương 2 của nội dung luận văn)
11/19/2013 4
Mô hình tổng quát hệ thống
nhận dạng trực tuyến xe mô tô hai bánh
(1)
Thu nhận ảnh
(2)
Trích ảnh chứa biển số
(3)

Tách ký tự trong biển
số
(4)
Nhận dạng ảnh ký tự
(5)
Xử lý kết quả biển số

Chụp ảnh xe
Cảm ứng phát hiện xe
Kết thúc
11/19/2013 5
Thu nhận ảnh
 Thiết bị chụp ảnh được điều khiển bởi chương
trình thực hiện tại máy tính. Camera được điều
khiển chụp ảnh gián tiếp thông qua bộ cảm ứng
phát hiện chuyển động, truyền tín hiệu yêu cầu
chụp và lưu giữ tạm các ảnh chụp.
 Ảnh chụp nhận được là ảnh chụp phía sau xe,
có độ phân giải là 640x480 (theo cấu hình thiết
bị camera) chứa một phần xe và ảnh biển số.
 Ảnh biển số: trong phạm vi của đề tài này sẽ xử
lý các dạng biển số lưu thông do cơ quan cảnh
sát giao thông qui định.
11/19/2013 6
Bảng mô tả thông tin ảnh biển số xe mô tô
Dạng biển số: hình chữ nhật bao gồm 2
dòng chữ
Số ký tự trên biển số là 8 ký tự bao gồm:
 số: 0,…9
 21 ký tự chữ {A …Z} \ {I, J, O, Q, W}.

Kích thước biển số: 40 – 50
Ảnh có nền sáng chữ tối.
Thường nằm khoảng giữa ảnh.
Chiều rộng, cao của một ký tự: 7-10
11/19/2013 7
Thuật toán trích biển số
(Fast Fourier Transform)
 Input= ảnh thu được từ camera.
 Output= ảnh biển số trích được.
 Function fft ( image)
 {
 i=0; flag=0;
 for (i=0; i<image.Height;i++)
 {
 P=trung bình biên độ phổ của hàng pixel thứ i;
 If (P>=ngưỡng)
 If (flag=1) height=height+1;
 else
 { top=i; flag=1; }
 else if (height>=h) bottom=i;
 }
 Tách ảnh mới với đỉnh là top và đáy là bottom= RowImage
 i=0; flag=0;
 for (i=0; i<image.Width;i++)
 {
 P=trung bình biên độ phổ của cột pixel thứ i;
 If (P>=ngưỡng)
 If (flag=1)width=width+1;
 else
 { left=i; flag=1; }

 else if (width>=w) right=i;
 }
 Biển số xe= ảnh mới với cạnh trái là left và cạnh phải là right.
 }
11/19/2013 8
Trích biển số
Phân tích phổ ngang
11/19/2013 9
Trích biển số (tt)
Phân tích phổ dọc và trích biển số
11/19/2013 10
Tiền xử lý ảnh
 Dùng thư viện xử lý ảnh: AForge (Andrew Kirillov)
 Khởi tạo lại kích thước chuẩn cho ảnh:
IFilter filt = new ResizeBilinear(512, 256);
img = filt.Apply(img);
 Chuyển ảnh sang ảnh mức xám:
IFilter way_filt= new GrayscaleY();
img = way_filt.Apply(img);
 Phân ngưỡng ảnh:
way_filt = new Threshold(200);
img = way_filt.Apply(img);
 Đảo màu ảnh:
way_filt = new Invert();
img = way_filt.Apply(img);
11/19/2013 11
Tiền xử lý ảnh (tt)
 Bộ lọc Median:
way_filt = new Median();
img = way_filt.Apply(img);

 Bộ lọc BlobsFiltering:
BlobsFiltering filter = new BlobsFiltering();
filter.MinHeight = 30;
filter.MinWidth = 15;
filter.MaxHeight = 100;
filter.ApplyInPlace(process_image);
 Bộ lọc BlobsCounter:
BlobCounter blobs = new BlobCounter(imgArr[i]);
Blob[] words = blobs.GetObjects(imgArr[i]);
foreach (Blob word in words)
imgArr[i] = word.Image;
11/19/2013 12
Tách ký tự
(phân tích Histogram)
 Input: ảnh biển số trích được từ thuật toán trích biển số và đã qua tiền xử lý.
 Output: mảng các ký tự trên biển số.
 Function define_line ( image, thres)
 {
 i=0; c=0; flag=0;
 for (i=0; i<image.Height;i++)
 {
 P=trung bình mức xám của hàng pixel thứ i;
 If (P>=ngưỡng)
 If (flag=1) height=height+1;
 else
 { top[c]=i; flag=1;}
 else
 if (height>=h)
 {bottom[c]=i; c++;}
 }

 Tách ảnh mới với đỉnh là top và đáy là bottom= RowImage
 }
11/19/2013 13
Tách ký tự (tt)
(phân tích Histogram)
 Function define_pos ( image, thres)
 {
 i=0; c=0;flag=0;
 for (i=0; i<image.Width;i++)
 {
 P=trung bình mức xám của cột pixel thứ i;
 If (P>=ngưỡng)
 If (flag=1) width=width+1;
 else
 {left[c]=i;flag=1;}
 else
 if (width>=w)
 {right[c]=i;c++;}
 }
 Tách ảnh ký tự ‘c’ mới với cạnh trái là left[c] và cạnh phải là right[c].
 }
11/19/2013 14
Tách ký tự (tt)
(phân tích Histogram)
Biểu đồ mức xám và kết quả tách ký tự
11/19/2013 15
Chuẩn hóa ký tự
Trong luận văn này ta chọn kích thước chuẩn
là 20 x 10. Ảnh ký tự là ảnh nhị phân với pixel
trắng có giá trị tương ứng là 1, pixel đen có giá

trị tương ứng là 0. Đây là dữ liệu để đưa vào
mạng Neural huấn luyện.



ký tự được chuẩn hóa (20 x 10).
11/19/2013 16
Nhận dạng ký tự bằng mạng Neural
 Mô hình mạng Neural nhân tạo được sử dụng để huấn
luyện ở đây là mạng tiến đa mức lan truyền ngược sai
số ( Back – Propagation Neural Network) với 3 lớp: một
lớp vào, một lớp ẩn và một lớp ra.
 Lớp ngõ vào: 200 ( tương ứng 20 x 10 pixel)
 Lớp ẩn: 100
 Lớp ngõ ra:
 10: mạng nhận dạng số
 21: mạng nhận dạng chữ.
 Hàm kích hoạt:  = 0.05

 Qui tắc hiệu chỉnh trọng số: áp dụng phương pháp giảm
Gradiant với qui tắc học thích nghi.

1
1
2



 x
e

y

11/19/2013 17
Kết luận
 Các mặt đã đạt được
 Thu nhận được kết quả nhận dạng biển số
thông qua cảm ứng phát hiện chuyển động.
 Ứng dụng được thuật toán phân tích phổ tần
số để trích biển số xe mô tô và phân tích biểu
đồ mức xám trong việc tách ký tự.
 Sử dụng mạng Neural để nhận dạng ký tự
trên biển số.
 Xây dựng các kết quả nghiên cứu trên nền
Visual Studio Dot Net (CSharp).
 Ứng dụng được thư viện AForge trong xử lý
ảnh và thu nhận tín hiệu video.
11/19/2013 18
Kết luận (tt)
 Các mặt còn hạn chế
 Chưa xử lý được các trường hợp ảnh quá tối
hoặc quá sáng hoặc ảnh có chất lượng xấu.
 Chương trình chưa mang tính tổng quát cao
như nhận dạng các biển số chưa đa dạng, ví
dụ như các biển số xe có nền xanh chữ trắng
(nhà nước) hay nền đỏ chữ trắng ( quân đội).
 Khả năng nhận dạng tương đối, chưa xử lý
được các trường hợp chụp ảnh quá xa hay
quá gần so với khoảng cách qui định chụp
ảnh.
11/19/2013 19

Kết luận (tt)
 Hướng phát triển
 Xây dựng ứng dụng tổng quát hơn cũng như xử lý
với một số trường hợp biển số đặc biệt như: nền
xanh chữ trắng, hay nền đỏ chữ trắng,…
 Khắc phục khả năng trích bảng số với khoảng cách
linh động hơn, xử lý ảnh và nhận dạng tốt hơn đối với
bảng số xấu.
 Tăng tốc độ xử lý.
 Xây dựng ứng dụng để quản lý trong các cơ quan
chính phủ hay các điểm giữ xe mô tô hai bánh.
11/19/2013 20
Chân thành cảm ơn các Thầy Cô và các Bạn