Thiết kế hệ thống giám sát các phương tiện xe cộ sử dụng công nghệ nhận dạng biển số xe
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.62 MB, 101 trang )
Luận Văn Tốt Nghiệp
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
NGUYỄN ĐỨC QUẢNG
Thiết kế hệ thống giám sát các phương tiện xe cộ
sử dụng công nghệ nhận dạng biển số xe
Chuyên ngành:
KỸ THUẬT ĐIỆN TỬ
LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT ĐIỆN TỬ
NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS. NGUYỄN VĂN ĐỨC
HÀ NỘI – 2016
Nguyễn Đức Quảng
14BKTĐT
Trang: 1
CB140219
Luận Văn Tốt Nghiệp
LỜI NÓI ĐẦU
Ngày nay, trong giai đoạn phát triển mạnh mẽ về kỹ thuật điện tử và máy
tính, các hệ thống máy tính, camera, cũng như smart phone có trang bị camera
ngày càng phổ biến, là mảnh đất màu mỡ cho việc phát triển các ứng dụng liên
quan đến ảnh và xử lý biến đổi ảnh.
Nhận dạng biển số xe tự động là một công nghệ đã và đang được rất
nhiều công ty phần mềm, các phòng thí nghiệm quan tâm vì tính ứng dụng cao
và khả năng thương mại của nó. Công nghệ này được ứng dụng giải quyết các
bài toán liên quan đến quản lý xe cộ, bến bãi, thu phí tự động, giám sát giao
thông,…Tuy nhiên ở Việt Nam, với đặc thù biển số được quy định riêng, việc
phát triển các ứng dụng liên quan đến nhận dạng biển số tự động vẫn còn nhiều
cơ hội và thách thức.
Trên thế giới đã nghiên cứu và ứng dụng công nghệ nhận dạng biển số
xe vào giao thông từ lâu. Ở nước Anh, Mỹ, Ukraine, Hungary, Sweden,… các
hệ thống được ứng dụng rỗng rãi trong phát hiện, giám sát và quản lý giao
thông với hàng chục triệu bản ghi mỗi ngày. [1] [2]
Trong nước cũng có nhiều công ty cung cấp giải pháp công nghệ liên
quan, như Công ty TNHH Tiền Phong TF (Website: www.tf.com.vn) hiện
đang cung cấp phần mềm quản lý hệ thống nhận dạng biển số xe tự động, có
khả năng nhận dạng được các loại biển số xe của ô tô Việt Nam gồm xe quân
sự, nhà nước, tư nhân, liên doanh, ngoại giao,… Hoàng Kim Group (Website:
www.hoangkimgroup.vn) cung cấp phần mềm “đọc” biển số xe, đối chiếu với
cơ sở dữ liệu và điều khiển barier đóng mở cửa tự động cũng như tính phí
trông xe…. Ngoài ra tại các trường đại học cũng có những nhóm nghiên cứu
về giải pháp công nghệ này như Đại học Bách Khoa, Đại học Giao Thông Vận
Tải,…Tuy không phải là đề tài quá mới, nhưng tại Việt Nam lĩnh vực này vẫn
còn nhiều cơ hội và thách thức.
Dưới sự hướng dẫn tận tình của PGS.TS Nguyễn Văn Đức, em đã được
cung cấp những điều kiện và cơ sở cần thiết để thực hiện và hoàn thành luận
Nguyễn Đức Quảng
14BKTĐT
Trang: 2
CB140219
Luận Văn Tốt Nghiệp
văn này. Em rất biết ơn công lao chỉ dạy, hướng dẫn của PGS.TS Nguyễn Văn
Đức, qua thầy em đã biết cách tìm hiểu cơ sở lý thuyết, phân tích và tiếp cận
vấn đề, đưa ra và triển khai thực hiện ý tưởng. Em cũng rất biết ơn những công
lao chỉ dạy của tất cả các thầy, các cô trong quá trình tham gia học tập tại
trường Đại Học Bách Khoa Hà Nội, các thầy, các cô vừa trực tiếp và vừa gián
tiếp tạo điều kiện giúp đỡ em trong suốt thời gian qua. Em xin chân thành cảm
ơn!
Hà Nội, ngày 24 tháng 3 năm 2016
Học viên:
Nguyễn Đức Quảng
Nguyễn Đức Quảng
14BKTĐT
Trang: 3
CB140219
Luận Văn Tốt Nghiệp
MỤC LỤC
TRANG PHỤ BÌA….…………………………………………………………...…1
LỜI NÓI ĐẦU ..................................................................................................... 2
MỤC LỤC............................................................................................................ 4
LỜI CAM ĐOAN ................................................................................................ 9
DANH SÁCH CÁC KÍ HIỆU, CÁC TỪ VIẾT TẮT ....................................... 10
DANH MỤC CÁC BẢNG ................................................................................. 10
DANH MỤC HÌNH VẼ ..................................................................................... 11
MỞ ĐẦU ............................................................................................................ 15
Lý do chọn đề tài ............................................................................................ 15
Lịch sử nghiên cứu ......................................................................................... 15
Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu ........... 16
Mục tiêu của đề tài ......................................................................................... 16
Phương pháp nghiên cứu ............................................................................... 16
Nội dung của luận văn.................................................................................... 17
TỔNG QUAN VỀ CÔNG NGHỆ XỬ LÝ ẢNH .................... 18
Giới thiệu về hệ thống xử lý ảnh .......................................................... 18
Quá trình phát triển của xử lý ảnh ............................................... 18
Các giai đoạn trong quá trình xử lý ảnh ....................................... 19
Các bước xử lý ảnh cơ bản ............................................................ 19
1.1.3.1 Thu nhận ảnh .......................................................................... 20
1.1.3.2 Tiền xử lý ảnh ......................................................................... 20
1.1.3.3 Phân đoạn ảnh ........................................................................ 20
1.1.3.4 Biểu diễn và mô tả ................................................................... 20
1.1.3.5 Nhận dạng và nội suy ảnh ...................................................... 20
1.1.3.6 Cơ sở tri thức .......................................................................... 21
Giới thiệu về ảnh số .............................................................................. 21
Điểm ảnh ........................................................................................ 21
Ảnh số ............................................................................................. 21
Nguyễn Đức Quảng
14BKTĐT
Trang: 4
CB140219
Luận Văn Tốt Nghiệp
Kích thước ảnh............................................................................... 22
Phân loại ảnh số ............................................................................. 22
1.2.4.1 Ảnh màu RGB ......................................................................... 22
1.2.4.2 Ảnh đa mức xám ..................................................................... 23
1.2.4.3 Ảnh nhị phân........................................................................... 24
Một số khái niệm cơ bản trong kỹ thuật phân vùng ảnh.................... 25
Điểm biên ....................................................................................... 25
Đường biên ..................................................................................... 25
Ý nghĩa của đường biên trong xử lý ảnh ...................................... 25
TỔNG QUAN VỀ CÔNG NGHỆ NHẬN DẠNG BIỂN SỐ XE
26
Các bước cơ bản trong nhận dạng biển số xe ..................................... 26
Tiền xử lý ảnh đầu vào .................................................................. 27
Tìm vị trí biển số ............................................................................ 28
Trích xuất vùng ảnh chứa các kí tự trên biển số .......................... 29
Tiền xử lý ảnh biển số .................................................................... 29
Xác định vị trí các kí tự ................................................................. 30
Trích xuất kí tự và nhận dạng ....................................................... 30
Nhận dạng kí tự .................................................................................... 30
Phương pháp so khớp mẫu (Template Matching)........................ 30
Sử dụng mạng trí tuệ nhân tạo (nơ-ron) [8] [9] ............................ 31
PHÂN TÍCH BIỂN SỐ XE VIỆT NAM ................................ 33
Hình dạng kích thước biển số xe.......................................................... 33
Biển số ô tô, rơ moóc, sơmi rơmoóc trong nước (kể cả xe có kết cấu
tương tự sản xuất lắp ráp trong nước) ..................................................... 33
Biển số mô tô trong nước ............................................................... 33
. Biển số máy kéo, xe máy điện ...................................................... 34
Biển số ô tô của nước ngoài ........................................................... 34
Biển số mô tô nước ngoài ............................................................... 35
Nguyễn Đức Quảng
14BKTĐT
Trang: 5
CB140219
Luận Văn Tốt Nghiệp
. Biển số ô tô, mô tô của liên doanh, dự án, xe quân đội làm kinh tế
35
Định dạng chuỗi kí tự đăng ký biển số xe............................................ 36
. Biển số ô tô, rơ moóc, sơmi rơmoóc trong nước, biển xe ngoại giao
36
Biển số mô tô trong nước ............................................................... 36
3.2.2.1 Cách bố trí chữ và số trên biển số: ......................................... 36
3.2.2.2 Cách sử dụng chữ và số trong sê ri đăng ký của biển số như
sau:
37
Biển số máy kéo, xe máy điện ........................................................ 38
Phân tích đặc trưng biển số xe ở Việt Nam ......................................... 39
Đặc trưng về hình dạng và kích thước .......................................... 39
Đặc trưng về màu sắc .................................................................... 39
Đặc trưng về chuỗi kí tự trên biển số:........................................... 40
Những khó khăn cho quá trình xử lý ảnh nhận dạng biển số ............ 40
Trong gian đoạn trích xuất biển số ............................................... 40
Trong giai đoạn trích xuất kí tự .................................................... 41
Trong giai đoạn nhận dạng kí tự................................................... 42
THIẾT KẾ CHƯƠNG TRÌNH NHẬN DẠNG BIỂN SỐ XE
VIỆT NAM
43
Kỹ thuật trích xuất biển số xe trên ảnh ............................................... 43
Làm mờ ảnh ................................................................................... 43
Làm nổi biên .................................................................................. 44
4.1.2.1 Sử dụng bộ lọc Canny để làm nổi biên ................................... 44
4.1.2.2 Giải thuật cho kỹ thuật thêm thông tin chuyển vùng xám lên
biên Canny: ........................................................................................... 48
4.1.2.3 Thuật toán tô màu cho một điểm biên Canny ....................... 49
Tách vùng biển số .......................................................................... 51
4.1.3.1 Kỹ thuật nối biên tái tạo biển số ............................................. 52
Nguyễn Đức Quảng
14BKTĐT
Trang: 6
CB140219
Luận Văn Tốt Nghiệp
4.1.3.2 Kỹ thuật lọc nhiễu ................................................................... 56
4.1.3.3 Kỹ thuật liên kết các kí tự ...................................................... 58
4.1.3.4 Kỹ thuật tách biển số .............................................................. 61
4.1.3.5 Phương pháp lọc biển số trong các ứng viên ......................... 66
4.1.3.6 Kết quả và đánh giá ................................................................ 67
Kỹ thuật trích vùng ảnh kí tự trên biển số .......................................... 67
Làm mịn ảnh .................................................................................. 67
Làm nổi biên .................................................................................. 68
Nối biên .......................................................................................... 68
Tái tạo kí tự .................................................................................... 69
Trích ảnh kí tự ............................................................................... 69
Nhị phân ......................................................................................... 70
Phương pháp nhận diện kí tự sử dụng mạng nơ ron nhiều tầng ....... 72
Cấu trúc mạng nơ-ron ................................................................... 72
Nhận dạng nhiều tầng sử dụng mạng nơ-ron ............................... 74
4.3.2.1 Mạng nơ-ron nhận dạng chữ số ............................................. 74
4.3.2.2 Mạng nơ-ron nhận dạng chữ cái ............................................ 83
THIẾT KẾ HỆ THỐNG GIÁM SÁT PHƯƠNG TIỆN GIAO
THÔNG SỬ DỤNG CÔNG NGHỆ NHẬN DẠNG BIỂN SỐ XE .................. 84
Yêu cầu chức năng hệ thống ................................................................ 84
Sơ đồ tổng quan của hệ thống giám sát phương tiện giao thông ........ 86
Mô tả hoạt động của hệ thống .............................................................. 87
Khâu 1: thu thập ảnh từ các camera ............................................ 87
Khâu 2: Tìm kiếm và nhận dạng biển số xe.................................. 88
Khâu 3: Kiểm tra thông tin biển số nhận dạng được và ghi vào cơ
sở dữ liệu.................................................................................................... 89
Thiết kế cơ sở dữ liệu ........................................................................... 89
Giới thiệu về hệ quản trị cơ sở dữ liệu .......................................... 89
MySQL ........................................................................................... 90
Nguyễn Đức Quảng
14BKTĐT
Trang: 7
CB140219
Luận Văn Tốt Nghiệp
Thiết kế cơ sở dữ liệu ..................................................................... 91
KẾT QUẢ VÀ ĐÁNH GIÁ ..................................................... 93
Giao diện phần mềm hệ thống giám sát phương tiện giao thông ....... 93
Giao diện quan sát ......................................................................... 93
Giao diện đăng ký thông tin khách đến ........................................ 94
Giao diện quản lý xe đang ở trong cơ quan .................................. 95
Gia diện giám sát lịch sử vào ra .................................................... 96
Kết quả nhận dạng biển số xe .............................................................. 96
Đánh giá ................................................................................................ 98
Phương hướng phát triển ..................................................................... 99
Nguyễn Đức Quảng
14BKTĐT
Trang: 8
CB140219
Luận Văn Tốt Nghiệp
LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả
nêu trong luận văn là trung thực và tham khảo có dẫn chứng cụ thể. Chương trình
được chính tác giả thiết kế và thực hiện trên phần mềm Visual Studio 2012, sử dụng
ngôn ngữ lập trình C# và thư viện xử lý ảnh mã nguồn mở EmguCV.
Học viên:
Nguyễn Đức Quảng
Nguyễn Đức Quảng
14BKTĐT
Trang: 9
CB140219
Luận Văn Tốt Nghiệp
DANH SÁCH CÁC KÍ HIỆU, CÁC TỪ VIẾT TẮT
Từ viết tắt
Từ gốc
Dịch nghĩa
ANPR
Automatic Number Plate Recognition Nhận diện biển số xe tự động
CRS
Computer Recognition Systems
Các hệ thống nhận dạng máy tính
DBMS
Database Management System
Hệ quản trị cơ sở dữ liệu
CSDL
Cơ sở dữ liệu
Cơ sở dữ liệu
LAN
Local Area Network
Mạng cục bộ
HQTCSDL
Hệ quản trị cơ sở dữ liệu
Hệ quản trị cơ sở dữ liệu
ANN
Artificial Neural Networks
Mạng nơ-ron nhân tạo
DANH MỤC CÁC BẢNG
.
Bảng 2-1 Bảng nhận dạng kí tự
30
Bảng 4-1 Bảng tỉ lệ kích thước giữa kí tự với biển số
52
Bảng 4-2 Các mạng nơ-ron nhận dạng các tập chữ số.
83
Bảng 4-3 Tập các nhóm kí tự dễ bị nhận dạng lỗi
83
Bảng 5-1 Thông số kỹ thuật của Camera IP Vivotek 8365 EH
87
Bảng 5-2 Bảng xe đăng ký
91
Bảng 5-3 Bảng lịch sử ra vào
92
Bảng 6-1 Kết quả nhận dạng biển số tối bẩn
97
Bảng 6-2 Kết quả nhận dạng biển số ban ngày ở QL 1A
98
Bảng 6-3 Kết quả nhận dạng biển số ban ngày ở Giải Phóng- Hà Nội
98
Nguyễn Đức Quảng
14BKTĐT
Trang: 10
CB140219
Luận Văn Tốt Nghiệp
DANH MỤC HÌNH VẼ
Hình 1-1 Các bước xử lý ảnh cơ bản [1] ..............................................................19
Hình 1-2 Ảnh phóng to của chữ C .......................................................................22
Hình 1-3 Phối trộn màu bổ xung ..........................................................................22
Hình 1-4 Ảnh màu (Lena)....................................................................................23
Hình 1-5 Ảnh đa mức xám (Lena) .......................................................................24
Hình 1-6 Ảnh nhị phân (Lena) .............................................................................24
Hình 1-7 Logo ĐHBKHN được làm nổi đường biên ...........................................25
Hình 2-1 Các bước cơ bản trong nhận dạng biển số xe ........................................26
Hình 2-2 Ảnh đầu vào dạng ảnh xám ...................................................................27
Hình 2-3 Ảnh sau khi biến đổi chỉ còn thông tin về các cạnh ...............................28
Hình 2-4 Các vùng chữ nhật bao các khoảng trắng ..............................................28
Hình 2-5 Xác định vị trí biển số...........................................................................28
Hình 2-6 Ảnh trích biển số ..................................................................................29
Hình 2-7 Ảnh biển số ..........................................................................................29
Hình 2-8 Ảnh sau khi tiền xử lý ...........................................................................29
Hình 2-9 Đánh dấu vị trí các kí tự bằng các hình chữ nhật ...................................30
Hình 2-10 Ví dụ về so khớp mẫu trong ứng dụng phân loại đối tượng .................30
Hình 2-11 Nơ-ron sinh học ..................................................................................31
Hình 3-1 Biển ô tô trong nước .............................................................................33
Hình 3-2 Biển số mô tô trong nước......................................................................33
Hình 3-3 Biển số máy kéo, xe máy điện ..............................................................34
Hình 3-4 Biển số ô tô nước ngoài ........................................................................34
Hình 3-5 Biển số mô tô nước ngoài .....................................................................35
Hình 3-6 Biển số ô tô liên doanh, dự án, xe quân đội làm kinh tế ........................35
Hình 3-7 Biển số mô tô trong nước......................................................................37
Hình 3-8 Biển số máy kéo, xe máy điện ..............................................................39
Nguyễn Đức Quảng
14BKTĐT
Trang: 11
CB140219
Luận Văn Tốt Nghiệp
Hình 3-9 Các loại biển số xe (nguồn: Internet) ....................................................39
Hình 3-10 Biển số bẩn, mờ ..................................................................................41
Hình 3-11 Điều kiện thiếu sáng,nhị phân lấy ngưỡng tự động theo phương pháp
OTSU không hiệu quả. ........................................................................................41
Hình 4-1 Kỹ thuật trích xuất biển số xe ...............................................................43
Hình 4-2 Ảnh thu được từ camera........................................................................44
Hình 4-3 Ảnh sau khi làm mờ với bộ lọc Gaussian kích thước 7x7 ......................44
Hình 4-4 Làm nổi biên với ảnh không làm mờ.....................................................45
Hình 4-5 Làm nổi biên sau khi làm mờ bằng bộ lọc Gaussian..............................46
Hình 4-6 Hình cần làm nổi biên ...........................................................................46
Hình 4-7 Hình được nổi biên bằng bộ lọc Canny .................................................47
Hình 4-8 Thêm thông tin cho biên Canny ............................................................47
Hình 4-9 So sánh hai kết quả nổi biên..................................................................48
Hình 4-10 Thuật toán thêm thông tin chuyển vùng xám lên biên Canny ..............49
Hình 4-11 Canny cải tiến với Submin0=1 Submin255=1 .....................................50
Hình 4-12 Canny cải tiến với Submin0=Submin255=30 ......................................50
Hình 4-13 Canny cải tiến với Submin0=Submin255=80 ......................................51
Hình 4-14 Các bước tách vùng biển số ................................................................51
Hình 4-15 Kích thước vùng biển số trên ảnh thu từ camera .................................52
Hình 4-16 Điều kiện nối biên...............................................................................53
Hình 4-17 Thuật toán nối biên .............................................................................54
Hình 4-18 Ảnh sau khi nối biên ...........................................................................56
Hình 4-19 Mô tả giải thuật lọc nhiễu bằng cửa sổ lọc kích thước W×1 ...............57
Hình 4-20 Ảnh sau khi lọc nhiễu bằng cửa sổ kích thước W×1 ...........................57
Hình 4-21 Mô tả kỹ thuật liên kết kí tự ................................................................58
Hình 4-22 Thuậ toán liên kết kí tự theo hàng .......................................................59
Hình 4-23 Thuật toán liên kết kí tự theo cột.........................................................60
Hình 4-24 Ảnh sau khi liên kết các kí tự ..............................................................61
Hình 4-25 Mô tả tách nhiễu bằng giải thuật cửa sổ dẹt W×1 ...............................62
Nguyễn Đức Quảng
14BKTĐT
Trang: 12
CB140219
Luận Văn Tốt Nghiệp
Hình 4-26 Kết quả sau khi lọc bằng cửa sổ dẹt ngang W×1.................................62
Hình 4-27 Thuật toán tách biển số sử dụng cửa sổ dẹt ngang W×1 ......................63
Hình 4-28 Ảnh sau khi lọc bằng cửa sổ dẹt ngang ...............................................64
Hình 4-29 Mô tả giải thuật tách biển số sử dụng cửa sổ dẹt dọc 1×H ...................65
Hình 4-30 Thuật toán tách biển số sử dụng cửa sổ dẹt dọc 1×H ...........................65
Hình 4-31 Ảnh sau khi lọc bằng cửa sổ dẹt dọc ...................................................66
Hình 4-32 Vùng biển số được trích ra ..................................................................67
Hình 4-33 Các bước thực hiện trích ảnh kí tự ......................................................67
Hình 4-34Ảnh biển số sau khi làm mờ .................................................................68
Hình 4-35 Ảnh biển số sau khi làm nổi biên ........................................................68
Hình 4-36 Ảnh sau khi nối biên ...........................................................................68
Hình 4-37 Sau khi tái tạo, chỉ giữ lại thông tin về kí tự, các kí tự được làm nổi ...69
Hình 4-38 Trích kí tự sử dụng các đường bao hình chữ nhật................................70
Hình 4-39 Kí tự được trích xuất ...........................................................................70
Hình 4-40 Ảnh kí tự sau khi nhị phân bằng phương pháp OTSU .........................71
Hình 4-41 Cấu trúc mạng nơ-ron sử dụng một lớp ẩn [18] [19] [8] ......................73
Hình 4-42 Giá trị tại các đầu ra khi nhận dạng ảnh chụp số 0 ..............................74
Hình 4-43 Đầu ra mang nơ-ron khi nhận dạng ảnh chụp số 1...............................75
Hình 4-44 Giá trị các đầu ra khi nhận dạng ảnh chụp số 2 ...................................75
Hình 4-45 Giá trị tại các đầu ra khi nhận dạng anh chụp số 3 ..............................76
Hình 4-46 Đầu ra mạng nơ-ron khi nhận diện ảnh chụp số 4 ...............................76
Hình 4-47 Đầu ra mạng nơ-ron khi nhận diện ảnh chụp số 5 ...............................77
Hình 4-48 Giá trị các đầu ra khi nhận dạng số 6 ..................................................77
Hình 4-49 Giá trị tại các đầu ra khi nhận dạng số 7..............................................78
Hình 4-50 Giá trị tại các đầu ra khi nhận dạng số 8..............................................78
Hình 4-51 Giá trị các đầu ra khi nhận dạng số 9 ..................................................79
Hình 4-52 Thuật toán nhận dạng ký tự số sử dụng 3 tầng nhận dạng ...................80
Hình 4-53 Số 2 bị mất nét gạch ngang .................................................................81
Hình 4-54 Nửa trên ảnh chụp số 2 và số 7 ...........................................................81
Nguyễn Đức Quảng
14BKTĐT
Trang: 13
CB140219
Luận Văn Tốt Nghiệp
Hình 4-55 Nửa dưới số 2 và số 7 .........................................................................82
Hình 4-56 Nửa dưới số 5 và 6..............................................................................82
Hình 4-57 Phần ảnh giữa của ảnh chụp số 0 và 8 .................................................82
Hình 4-58 Đầu ra khi nhận dạng chữ M ...............................................................83
Hình 5-1 Sơ đồ chức năng (Usecase Diagram) ....................................................85
Hình 5-2 Sơ đồ tổng quan hệ thống giám sát phương tiện giao thông ..................86
Hình 5-3 Ảnh thu từ Camera Vivotek 8365 EH (chế độ đen trắng) ......................88
Hình 5-4 Sơ đồ bố trí lắp đặt camera ...................................................................88
Hình 5-5 Tìm kiếm và phát hiện biển số ..............................................................89
Hình 6-1 Giao diện quan sát ................................................................................93
Hình 6-2 Giao diện đăng ký thông tin cho khách .................................................94
Hình 6-3 Giao diện quản lý xe đang trong cơ quan ..............................................95
Hình 6-4 Giao diện giám sát lịch sử vào ra ..........................................................96
Hình 6-5 3170 ảnh thử nghiệm thu từ trạm thu phí Quảng Bình...........................97
Hình 6-6 Thử nghiệm tại đường Quốc Lộ 1A ......................................................97
Nguyễn Đức Quảng
14BKTĐT
Trang: 14
CB140219
Luận Văn Tốt Nghiệp
MỞ ĐẦU
Lý do chọn đề tài
Ngày nay, trong giai đoạn phát triển mạnh mẽ về kỹ thuật điện tử và máy tính,
các hệ thống máy tính, camera, smart phone có trang bị camera ngày càng phổ biến,
là mảnh đất màu mỡ cho việc phát triển các ứng dụng liên quan đến ảnh và xử lý
biến đổi ảnh.
Nhận dạng biển số xe tự động là một công nghệ đã và đang được rất nhiều
công ty phần mềm, các phòng thí nghiệm nghiên cứu và phát triển vì tính ứng dụng
cao và khả năng thương mại của nó. Công nghệ này được ứng dụng giải quyết các
bài toán liên quan đến quản lý xe cộ, bến bãi, thu phí tự động, giám sát giao
thông,…Tuy nhiên ở Việt Nam, với đặc thù biển số được quy định riêng, việc phát
triển các ứng dụng liên quan đến nhận dạng biển số tự động vẫn còn nhiều cơ hội
và thách thức. Đây cũng chính là lý do để tác giả lựa chọn đề tài.
Lịch sử nghiên cứu
Công nghệ nhận dạng biển số xe (Automatic Number Plate Recognition –
ANPR) được lần đầu phát minh vào năm 1976 tại trung tâm phát triển khoa học
Cảnh sát ở Anh. Đó là sự kết hợp giữa phần cứng và phần mềm giúp hệ thống có
thể tự động đọc biển số xe mà không cần đến sự giám sát của con người. Đến năm
1979, các hợp đồng được kí kết để sản xuất các hệ thống công nghiệp, đầu tiên tại
EMI Electronics, và sau đó tại Computer Recognition Systems (CRS) tại
Wokingham, Vương quốc Anh. Các hệ thống thử nghiệm đầu tiên được triển khai
trên đường A1 và hầm Dartford. Tuy nhiên công nghệ này đã không được sử dụng
rộng rãi cho đến khi những cải tiến mới giúp giảm chi phí và đơn giản hóa các hệ
thống nhận dạng bắt đầu xuất hiện vào thập niên 90. [2] [1]
Ngày nay, rất nhiều phòng thí nghiệm, các công ty, tổ chức cá nhân vẫn đang
tiếp tục nghiên cứu ứng dụng công nghệ xử lý ảnh nhận dạng biển số xe, nhiều công
bố khoa học được đưa ra liên quan đến lĩnh vực này với nhiều phương pháp, giải
thuật với các bài toàn ứng dụng cụ thể khác nhau.
Nguyễn Đức Quảng
14BKTĐT
Trang: 15
CB140219
Luận Văn Tốt Nghiệp
Mục đích nghiên cứu của luận văn, đối tượng, phạm vi nghiên cứu
Luận văn này trình bày các phương pháp biến đổi và nhận dạng ảnh chụp biển
số của phương tiện giao thông nhằm mục đích nâng cao khả năng phát hiện, bóc
tách và nhận dạng biển số xe trong cả các trường hợp biển số bị bụi bẩn, bị mờ, lóa.
Và ứng dụng các phương pháp đó vào thiết kế hệ thống giám sát phương tiện giao
thông.
Đối tượng nghiên cứu của luận văn là hệ thống giám sát phương tiện giao
thông sử dụng phương pháp xử lý ảnh nhận dạng biển số xe với các biển số xe bị
bẩn, mờ hay lóa.
Phạm vi nghiên cứu của luận văn là nghiên cứu, cải tiến và đưa ra các phương
pháp biến đổi ảnh, các thuật toán phù hợp với các quy định về biển số xe ở Việt
Nam nhằm nâng cao hiệu năng và tỉ lệ nhận dạng, bao gồm cả biển số xe ô tô, máy
kéo, xe máy,....
Mục tiêu của đề tài
-
Nhận dạng biển số xe thời gian thực
-
Nhận dạng được cả biển số loại một dòng và hai dòng
-
Nhận dạng được biển trắng, biển xanh, biển đỏ
-
Tỉ lệ nhận dạng trên 80% với thời gian nhận dạng dưới 100ms với kích
thước video đầu vào lớn: 1080x1920px, máy tính sử dụng chip Core i5.
Phương pháp nghiên cứu
Như trình bày trong luận văn, thì phương pháp nghiên cứu của tác giả là tiến
hành việc nghiên cứu lý thuyết về các phép biển đổi ảnh, các bộ lọc trong thư viện
OpenCV. Nghiên cứu phân tích đưa ra các đặc trưng về kích thước, màu sắc, hình
dạng,… của biển số xe ở Việt Nam, làm cơ sở cho việc thiết kế các phép biến đổi
ảnh phù hợp, đưa ra các tham số đặc trưng trong giai đoạn trích chọn biển số xe và
trích vùng kí tự. Từ đó thiết kế hệ thống giám sát phương tiện giao thông sử dụng
công nghệ nhận dạng biển số xe.
Nguyễn Đức Quảng
14BKTĐT
Trang: 16
CB140219
Luận Văn Tốt Nghiệp
Nội dung của luận văn
Phần nội dung chính của luận văn gồm 6 chương, cụ thể như sau:
Chương 1: Tổng quan về công nghệ xử lý ảnh
Giới thiệu tổng quan về công nghệ xử lý ảnh, quy trình, các giai đoạn trong
xử lý ảnh, một số khái niệm về ảnh số, điểm ảnh, điểm biên và đường biên…
Chương 2: Tổng quan về công nghệ nhận dạng biển số xe
Đưa ra cái nhìn tổng quan về công nghệ nhận dạng biển số xe, giới thiệu
một số bước cơ bản trong quy trình nhận dạng.
Chương 3: Phân tích biển số xe Việt Nam
Phân tích hình dáng, màu sắc, kích thước, định dạng, của biến số xe ở Việt
Nam, là tiền đề cơ sở cho việc xây dựng giải thuật và thực hiện thuật toán xử lý.
Chương 4: Thiết kế chương trình nhận dạng biển số xe Việt Nam
Xây dựng giải thuật, thực hiện các thuật toán biến đổi ảnh trong nhận dạng
biển số xe.
Chương 5: Thiết kế hệ thống giám sát phương tiện giao thông
Phân thích thiết kế hệ thống giám sát phương tiện giao thông ứng dụng
chương trình nhận dạng xử lý ảnh cho cổng cơ quan, trụ sở.
Chương 6: Kết quả và đánh giá
Nguyễn Đức Quảng
14BKTĐT
Trang: 17
CB140219
Luận Văn Tốt Nghiệp
TỔNG QUAN VỀ CÔNG NGHỆ XỬ LÝ ẢNH
Giới thiệu về hệ thống xử lý ảnh
“Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa
học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất
nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên
dụng riêng cho nó.”
Nội dung chương 1 được trích dẫn và tham khảo từ giáo trình “Xử lý ảnh” do
PGS.TS Nguyễn Quang Hoan, Học viện Công nghệ Bưu chính Viễn Thông biên
soạn. [3]
Quá trình phát triển của xử lý ảnh
Trích dẫn từ giáo trình “Xử lý ảnh” do PGS.TS Nguyễn Quang Hoan, Học
viện Công nghệ Bưu chính Viễn Thông biên soạn: “Xử lý ảnh được đưa vào giảng
dạy ở bậc đại học ở nước ta khoảng chục năm nay. Nó là môn học liên quan đến
nhiều lĩnh vực và cần nhiều kiến thức cơ sở khác. Đầu tiên phải kể đến Xử lý tín
hiệu số là một môn học hết sức cơ bản cho xử lý tín hiệu chung, các khái niệm về
tích chập, các biến đổi Fourier, biến đổi Laplace, các bộ lọc hữu hạn… Thứ hai, các
công cụ toán như Đại số tuyến tính, Sác xuất, thống kê. Một số kiến thứ cần thiết
như Trí tuệ nhân tao, Mạng nơ-ron nhân tạo cũng được đề cập trong quá trình phân
tích và nhận dạng ảnh. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính:
nâng cao chất lượng ảnh và phân tích ảnh. Ứng dụng đầu tiên được biết đến là nâng
cao chất lượng ảnh báo được truyền qua cáp từ Luân đôn đến New York từ những
năm 1920. Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng và
độ phân giải của ảnh. Việc nâng cao chất lượng ảnh được phát triển vào khoảng
những năm 1955. Điều này có thể giải thích được vì sau thế chiến thứ hai, máy tính
phát triển nhanh tạo điều kiện cho quá trình xử lý ảnh số thuận lợi. Năm 1964, máy
tính đã có khả năng xử lý và nâng cao chất lượng ảnh từ mặt trăng và vệ tinh Ranger
7 của Mỹ bao gồm: làm nổi đường biên, lưu ảnh. Từ năm 1964 đến nay, các phương
tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng. Các phương
Nguyễn Đức Quảng
14BKTĐT
Trang: 18
CB140219
Luận Văn Tốt Nghiệp
pháp tri thức nhân tạo như mạng nơ-ron nhân tạo, các thuật toán xử lý hiện đại và
cải tiến, các công cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiều kết quả
khả quan…” [3]
Ngày nay, khi các máy tính càng ngày cảng trở lên mạnh mẽ, tốc độ tính toán
cao, kích thước nhỏ gọn, tiêu thụ ít điện năng cũng như công nghệ chế tạo camera
ngày càng tiến bộ, độ phân giải ảnh lớn, tốc độ chụp nhanh tạo điều kiện cho Xử lý
ảnh phát triển với ngày càng nhiều ứng dụng. Có thể kể đến các ứng dụng chỉnh sửa
hình ảnh trên điện thoại di động, các phần mềm chỉnh sửa ảnh chuyên nghiệp như
Adobe Photoshop, các chương trình xử lý ảnh y tế, ảnh chụp vệ tinh và nhận dạng
vật thể.
Các giai đoạn trong quá trình xử lý ảnh
Giai đoạn 1: Biến đổi ảnh
Nếu ảnh đầu vào là ảnh tương tự, trước tiên sẽ được biến đổi sang ảnh số.
Ảnh số được biển đổi để nâng cao chất lượng ảnh nhằm làm ảnh rõ nét hơn, thu
được nhiều thông tin hơn.
Giai đoạn 2: Nhận dạng mẫu
Hệ thống sẽ xử lý bằng các phép biến đổi và thuật toán nhằm đưa ra các đặc
trưng của ảnh hay đối tượng trong ảnh.
Các bước xử lý ảnh cơ bản
Thu nhận ảnh
Tiền xử lý ảnh
Phân đoạn ảnh
Biểu diễn và
mô tả
Nhận dạng và
nội suy
Cơ sở tri thức
Hình 1-1 Các bước xử lý ảnh cơ bản [1]
Nguyễn Đức Quảng
14BKTĐT
Trang: 19
CB140219
Luận Văn Tốt Nghiệp
1.1.3.1 Thu nhận ảnh
Ảnh từ thế giới ngoài được thu nhận qua thiết bị thu nhận ảnh như Camera,
máy chụp ảnh, máy quét (scan),…Thường thì ảnh thu được qua camera là ảnh tương
tự, nhưng cũng có nhiều loại camera đã tích hợp chức năng số hóa cho ảnh cuối
cùng tại đầu ra là ảnh số, tiện lợi cho việc lưu trữ và xử lý trên máy tính.
1.1.3.2 Tiền xử lý ảnh
Sau bộ thu nhận (Camera, máy scan…), ảnh thường có nhiễu, độ tương phản
thấp nên cần thực hiện tiền xử lý nhằm nâng cao chất lượng. Chức năng chính của
bộ tiền xử lý là lọc nhiễu, nâng cao độ tương phản để làm ảnh rõ nét hơn.
1.1.3.3 Phân đoạn ảnh
Phân đoạn ảnh là tách ảnh đầu vào thành các vùng thành phần để biểu diễn,
phân tích và nhận dạng ảnh. Đây là bước quan trọng và khó nhất trong quá trình xử
lý ảnh, dễ gây lỗi và mất độ chính xác của quá trình xử lý ảnh.
1.1.3.4 Biểu diễn và mô tả
Ảnh đẩu ra sau phân đoạn chứa các điểm ảnh của vùng ảnh đã phân đoạn.
Việc biểu diễn các số liệu này thành dạng thích hợp là cần thiết cho quá trình xử lý
tiếp theo. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng gắn
với việc tách đặc tính của ảnh dưới dạng thông tin đinh lượng hoặc làm cơ sở phân
biệt lớp đối tượng này với lớp đối tượng khác.
1.1.3.5 Nhận dạng và nội suy ảnh
Quá trình nhận dạng ảnh là quá trình so sánh với mẫu chuẩn đã được học
hoặc lưu trước đó. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng.
Một số đối tượng nhận dạng khác phổ biến hiện nay là:
Nhận dạng kí tự, nhận dạng mã vạch
Nhận dạng biển số xe, nhận dạng văn bản
Nhận dạng khuôn mặt
Nhận dạng vân tay
Nguyễn Đức Quảng
14BKTĐT
Trang: 20
CB140219
Luận Văn Tốt Nghiệp
1.1.3.6 Cơ sở tri thức
Ảnh thu được của đối tượng luôn đi kèm với nhiễu, biến dạng về đường nét,
độ sáng tối, dung lượng điểm ảnh, môi trường xung quanh. Các phép biến đổi toán
học đơn thuần khó có thể đạt được kết quả chính xác. Nên trong các khâu xử lý
mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh của con người. Nhiều khâu
đã được thực hiện theo phương pháp trí tuệ con người (ví dụ mạng nơ-ron nhân tạo).
Giới thiệu về ảnh số
Điểm ảnh
Ảnh tự nhiên là ảnh liên tục về không gian và độ sáng. Khi số hóa, ảnh được
biến đổi gần đúng thành một tập điểm phù hợp với ảnh thật về không gian và độ
sáng. Khoảng cách giữa các điểm ảnh được thiết lập sao cho mắt người không nhận
biết được ranh giới giữa chúng. Mỗi điểm như vậy được gọi là điểm ảnh. Một bức
ảnh hai chiều thì mỗi điểm ảnh tương ứng với một cặp tọa độ (x,y).
Định nghĩa: “Trong ảnh số, một điểm ảnh là một điểm vật lý trong ảnh quét,
là đơn vị nhỏ nhất trong các thiết bị hiển thị có thể xác định địa chỉ tất cả các điểm.
Địa chỉ của một điểm ảnh tương ứng với tọa độ vật lý của nó” – Dịch từ wikipedia.
Hoặc: “ Điểm ảnh là một phần tử của ảnh số tại tọa độ (x,y) với độ sáng hoặc
màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh được thiết lập sao cho
mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số
gần như thật. Mỗi phần từ trong ma trận được gọi là phần từ ảnh” – Giáo trình Xử
lý ảnh, PGS.TS Nguyễn Quang Hoan. [3]
Ảnh số
Ảnh số là tập hợp hữu hạn các điểm ảnh. Ảnh có thể được biểu diễn dưới
dạng một ma trận 2 chiều, mỗi phần tử của ma trận tương ứng với một điểm ảnh.
Hình 2 là ảnh của chữ C được phóng đại lên. Có thể nhìn thấy các điểm ảnh.
Nguyễn Đức Quảng
14BKTĐT
Trang: 21
CB140219
Luận Văn Tốt Nghiệp
Hình 1-2 Ảnh phóng to của chữ C
Kích thước ảnh
Là kích thước của ma trận điểm ảnh, chiều rộng là số điểm ảnh trên một hàng,
chiều cao là số điểm ảnh trên một cột.
Phân loại ảnh số
1.2.4.1 Ảnh màu RGB
Hình 1-3 Phối trộn màu bổ xung
Mô hình màu RGB sử dụng mô hình bổ sung trong đó ánh sáng đỏ, xanh lá
cây và xanh lam được tổ hợp với nhau theo nhiều phương thức khác nhau để tạo
thành các màu khác. Từ viết tắt RGB trong tiếng Anh có nghĩa là đỏ (red), xanh lá
cây (green) và xanh lam (blue), là ba màu gốc trong các mô hình ánh sáng bổ sung.
Khi biểu diễn dưới dạng số, các giá trị RGB thông thường được ghi bằng cặp
Nguyễn Đức Quảng
14BKTĐT
Trang: 22
CB140219
Luận Văn Tốt Nghiệp
ba số nguyên giữa 0 và 255, mỗi số đại diện cho cường độ của màu đỏ, xanh lá cây,
xanh lam trong trật tự như thế.
Ảnh số RGB là ảnh mà màu của mỗi điểm ảnh là một cặp 3 số nguyên giá trị
trong khoảng từ 0 đến 255 thể hiện cho cường độ của màu đỏ, xanh lá cây và xanh
lam.
Ví dụ:
(0, 0, 0) là màu đen
(255, 255, 255) là màu trắng
(255, 0, 0) là màu đỏ
(0, 255, 0) là màu xanh lá cây
(0, 0, 255) là màu xanh lam
(255, 255, 0) là màu vàng
(0, 255, 255) là màu xanh ngọc
(255, 0, 255) là màu hồng cánh sen
Hình 1-4 Ảnh màu (Lena)
1.2.4.2 Ảnh đa mức xám
Một điểm ảnh có hai thông số đặc trưng là vị trí (x, y) và mức xám của nó.
Thang đo mức xám thông thường là 16, 32, 64, 128, 256. Trong đó thang 256 mức
Nguyễn Đức Quảng
14BKTĐT
Trang: 23
CB140219
Luận Văn Tốt Nghiệp
là phổ biến do kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn giá trị mức xám (0
đến 255).
Công thức chuyển một ảnh màu RGB sang ảnh đa mức xám [4]
Ix,y = 0.299 * Redx,y + 0.587 * Greenx,y + 0.114 * Bluex,y
Trong đó I là cường độ sáng (Luminance Intensity) trong ảnh đa mức xám
tính được là tổng trọng số khác nhau của mỗi thành phần màu trong hệ màu RGB.
Hình 1-5 Ảnh đa mức xám (Lena)
1.2.4.3 Ảnh nhị phân
Ảnh nhị phân là ảnh chỉ có hai mức xám (đen hoặc trắng) tương ứng với hai bit 0
và 1.
Hình 1-6 Ảnh nhị phân (Lena)
Nguyễn Đức Quảng
14BKTĐT
Trang: 24
CB140219
Luận Văn Tốt Nghiệp
Một số khái niệm cơ bản trong kỹ thuật phân vùng ảnh
Điểm biên
Một điểm ảnh được coi là điểm biên nếu có sự thay đổi nhanh hoặc đột ngột
về mức xám hoặc màu. Ví dụ trong ảnh nhị nhân, điểm đen được coi là điểm biên
nếu lân cận nó có ít nhất một điểm trắng.
Đường biên
Đường biên hay còn gọi là đường bao (boundary) là tập hợp các điểm liên
tiếp tạo thành một đường biên.
Hình 1-7 Logo ĐHBKHN được làm nổi đường biên
Ý nghĩa của đường biên trong xử lý ảnh
Đường biên là một loại đặc trưng tiêu biểu trong phân tích nhận dạng ảnh.
Thứ hai, sử dụng đường biên để phân tách các vùng xám, ngược lại dùng các vùng
xám để tìm đường phân cách.
Nguyễn Đức Quảng
14BKTĐT
Trang: 25
CB140219
