(Luận Văn Thạc Sĩ) Hệ Thống Trích Xuất Tự Động Thông Tin Từ Ảnh Căn Cước Công Dân.pdf

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC
THÀNH PHỐ HỒ CHÍ MINH

NGUYỄN XUÂN DƯƠNG

HỆ THỐNG TRÍCH XUẤT TỰ ĐỘNG THƠNG TIN
TỪ ẢNH CĂN CƯỚC CƠNG DÂN

LUẬN VĂN THẠC SĨ
NGÀNH CÔNG NGHỆ THÔNG TIN
MÃ SỐ: 60480201

TP. HỒ CHÍ MINH THÁNG 9 NĂM 2019


BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NGOẠI NGỮ - TIN HỌC
THÀNH PHỐ HỒ CHÍ MINH

NGUYỄN XUÂN DƯƠNG
HỆ THỐNG TRÍCH XUẤT TỰ ĐỘNG THƠNG TIN
TỪ ẢNH CĂN CƯỚC CƠNG DÂN

LUẬN VĂN THẠC SĨ
NGÀNH CÔNG NGHỆ THÔNG TIN
MÃ SỐ: 60480201
HƯỚNG DẪN KHOA HỌC: PGS .TS PHẠM THẾ BẢO

TP. HỒ CHÍ MINH THÁNG 9 NĂM 2019

2


LỜI CAM ĐOAN.
Tôi Nguyễn Xuân Dương tác giả của luận văn “Hệ thống trích xuất tự
động thơng tin từ ảnh căn cước công dân”. Tôi xin cam đoan đây là cơng trình
nghiên cứu của riêng tơi, dưới sự hướng dẫn nghiên cứu khoa học của PGS. TS
Phạm Thế Bảo.
Các thông tin sử dụng trong luận văn, các trích dẫn tơi có ghi đầy đủ, rõ
ràng trong các tài liệu tham khảo.
Các số liệu, kết quả thực nghiệm nêu trong luận văn là trung thực và chưa từng
được ai công bố trong thời gian gần đây.
Học viên đã bảo vệ thành công luận văn ngày 04 /06/2019, tại Hội đồng
đánh giá luận văn thạc sĩ thành lập theo Quyết định số 116 /QĐ-ĐNT ngày
29/05/2019 của Hiệu trưởng Trường ĐH Ngoại ngữ-Tin học TP HCM, với sự
tham gia của:
Chủ tịch hội đồng: PGS.TS Trần Văn Lăng
Phản biện 1: TS Nguyễn Đức Cường
Phản biện 2: PGS.TS Nguyễn Thanh Bình
Có thể tìm hiểu Luận văn tại Thư viện Trường ĐH Ngoại ngữ-Tin học TP
HCM, hoặc trên cổng thông tin điện tử, website của đơn vị quản lý sau đại học
của Trường.
Tơi xin hồn tồn chịu trách nhiệm với cam kết trên.
Tác giả luận văn

Nguyễn Xuân Dương

3

LỜI CẢM ƠN
Trước tiên tơi xin tỏ lịng tri ân, gởi lời cảm ơn sâu sắc đến PGS. TS
Phạm Thế Bảo đã tận tình hướng dẫn, giúp đỡ tơi trong suốt thời gian học tập,
nghiên cứu tài liệu, hướng dẫn thực nghiệm để tơi hồn thành cơng trình nghiên
cứu.
Tơi xin cảm ơn các thầy cô giáo Khoa Công Nghệ Thông Tin, ban sau đại
học trường Đại học Ngoại Ngữ Tin học TP Hồ Chí Minh đã trang bị cho tơi
những kiến thức cần thiết và bổ ích, tạo mọi điều kiện giúp đỡ, hướng dẫn tôi
trong trong thời gian học tập, nghiên cứu và làm luận văn tốt nghiệp.
Do thời gian có hạn và kiến thức cịn hạn chế nên luận văn khơng tránh
khỏi những sai sót, tơi mong nhận được sự đóng góp bổ sung của q thầy cơ
giáo và các bạn để cơng trình nghiên cứu của tơi sớm ứng dụng vào thực tế.
Cuối cùng tôi xin chân thành cảm ơn tất cả các bạn đồng nghiệp đã đóng
góp ý kiến và hỗ trợ tơi trong q trình thực hiện thành luận văn này.
TP Hồ Chí Minh, tháng 9 năm 2019

Nguyễn Xuân Dương

4


DANH MỤC CÁC TỪ VIẾT TẮT
Từ viết tắt

Anh ngữ

Việt ngữ

CCCD

Căn cước công dân

CMND

Chứng minh nhân dân

ĐĐ

Đặc điểm

UBND

Ủy ban nhân dân

ANN

Artificial Neural Network

Mạng nơron nhân tạo

ML

Machine Learning

Học máy

AI

Artificial Intelligence

Trí tuệ nhân tạo

RRN

Recurrent Neural Network

Mạng nơron tái phát

DL

Deep Learning

Máy học chuyên sâu

DNN

Deep Neural Network

Mạng Nơ ron chuyên sâu

OCR

Optical Character Recognition

Nhận dạng ký tự

MLP

Multi Layer Perceptron

Mạng truyền thẳng nhiều lớp

RGB

Red Green Blue

Mơ hình màu đỏ xanh lục

NTSC

National Teltevision

System Hệ tiêu chuẩn video tương tự

Committee

5


DANH MỤC CÁC HÌNH ẢNH VÀ BẢNG BIỂU
Hình 1.1. Mẫu “Căn cước cơng dân” .............................................................. 17
Hình 2.1. So sánh miền tầng số trước và sau khi lọc băng thông thấp ........... 25
Hình 2.2. Tầng số trước và sau khi sử dụng lọc băng thơng cao .................... 26
Hình 2.3. Mơ hình mạng nơron ....................................................................... 36
Hình 2.4. Đơn vị xử lý ..................................................................................... 37
Hình 2.5. Hàm đồng nhất ................................................................................ 38
Hình 2.6. Hàm bước nhị phân ......................................................................... 39
Hình 2.7. Hàm Sigmoid ................................................................................... 39

Hình 2.8. Hàm simoid lưỡng cực .................................................................... 40
Hình 2.9. Mạng nơron truyền thẳng nhiều lớp ................................................ 41
Hình 2.10. Mạng nơron hồi quy nhiều lớp ...................................................... 42
Hình 2.11. Học có giám sát ............................................................................. 43
Hình 2.12. Mạng nơron MPL tổng quát .......................................................... 47
Hình 3.1. Tiền xử lý ảnh mặt trước CCCD ..................................................... 50
Hình 3.2. Vùng thông tin cần tách ở mặt trước CCCD ................................... 53
Hình 3.3. Xác định vị trí thơng tin mặt trước thẻ CCCD ................................ 56
Hình 3.4. Các vùng thơng tin cần tách ở mặt sau ........................................... 61
Hình 3.5. Tiền xử lý mặt sau CCCD ............................................................... 62
Hình 3.6. Xác định vùng thơng tin mặt sau ..................................................... 63
Hình 3.7. Quá trình tách ký tự ......................................................................... 66
Hình 3.8. Q trình tìm giới hạn kí tự ............................................................. 67
Hình 3.9. Q trình chia lưới kí tự .................................................................. 67
Hình 3.10. Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị .................. 68
Hình 4.1. Ảnh mặt trước CCCD bị nhịe ......................................................... 71
Hình 4.2. Ảnh mặt sau CCCD bị nhịe ............................................................ 72
Hình 4.3. Giao diện chương trình thực nghiệm............................................... 74
Hình 4.4. Trường hợp tách bị lỗi ..................................................................... 78
Hình 4.5. Thẻ mặt sau CCCD chụp khơng đúng chuẩn .................................. 79
6


Sơ đồ 1.1. Sơ đồ xử lý hệ thống xử lý ............................................................. 22
Bảng 3.1 Đặc trưng các trường thông tin ở mặt trước CCCD ....................... 61
Bảng 4.1. Cấu hình máy tính ........................................................................... 73
Bảng 4.2. Kết quả trích vùng của ảnh CCCD ................................................. 75
Bảng 4.3. Kết quả thực nghiệm trên tập dữ liệu A1 ........................................ 76
Bảng 4.4. Kết quả thực nghiệm trên tập dữ liệu A2 ........................................ 77

7


DANH MỤC CÁC THUẬT TỐN
Thuật tốn 2.1. Lọc băng thơng thấp Gauss .................................................... 24
Thuật tốn 2.2. Lọc băng thơng cao Gauss ..................................................... 26
Thuật toán 2.3. Xoay ảnh ................................................................................ 28
Thuật toán 2.4. Xác định góc nghiêng dựa vào biến đổi Hough ..................... 29
Thuật tốn 2.5. Nhị phân hóa ảnh ................................................................... 30
Thuật toán 2.6. Phương pháp phân ngưỡng Niblack ....................................... 32
Thuật toán 2.7. Phương pháp phân ngưỡng Otsu ............................................ 33
Thuật toán 2.8. Học có giám sát ..................................................................... 44
Thuật tốn 2.9. Thuận tốn lan truyền ngược ................................................. 45
Thuật toán 2.10. Xây dựng mạng nơ ron......................................................... 47
Thuật tốn 3.1. Nhị phân hóa ảnh CCCD ....................................................... 50
Thuật toán 3.2. Hiệu chỉnh độ nghiêng của ảnh tài liệu .................................. 51
Thuật toán 3.3. Phân đoạn vùng Số CCCD ..................................................... 54
Thuật tốn 3.4. Xác định các vùng có thể là Trường Số CCCD ..................... 54
Thuật tốn 3.5. Tìm và tách trường Số CCCD ................................................ 55
Thuật toán 3.6. Tách các trường thông tin mặt trước thẻ CCCD ................... 57
Thuật tốn 3.7. Tách các ký tự thuộc mỗi dịng .............................................. 58
Thuật toán 3.8. Xoá phần tiêu đề..................................................................... 60
Thuật toán 3.9. Tách thơng tin mặt sau ........................................................... 64
Thuật tốn 3.10. Tách dịng: ............................................................................ 65
Thuật tốn 3.11. Tách kí tự: ............................................................................ 65
Thuật tốn 3.12. Tìm giới hạn kí tự................................................................. 66
Thuật tốn 3.13. Ánh xạ vào ma trận .............................................................. 67
Thuật toán 3.14. Chuyển ma trận điểm ảnh sang ma trận giá trị ................... 68
Thuật toán 3.15. Huấn luyện mạng nơ ron ...................................................... 68
Thuật tốn 3.16. Nhận dạng ảnh kí tự ............................................................. 69

8


MỤC LỤC

LỜI CAM ĐOAN. ............................................................................................. 3
LỜI CẢM ƠN.................................................................................................... 4
DANH MỤC CÁC TỪ VIẾT TẮT ................................................................... 5
DANH MỤC CÁC HÌNH ẢNH VÀ BẢNG BIỂU .......................................... 6
DANH MỤC CÁC THUẬT TOÁN ................................................................. 8
MỤC LỤC ......................................................................................................... 9
GIỚI THIỆU TỔNG QUAN ........................................................................... 12
1.1. Lý do chọn đề tài ...................................................................................... 12
1.2. Mục đích nghiên cứu của luận văn ........................................................... 13
1.2.1. Về khoa học ......................................................................................... 13
1.2.2. Về thực tiễn ......................................................................................... 13
1.3. Các phương pháp nghiên cứu ................................................................... 13
1.3.1. Phương pháp nghiên cứu lý thuyết ...................................................... 13
1.3.2. Phương pháp nghiên cứu thực nghiệm ................................................ 14
1.3.3. Đề tài nhằm thực hiện mục tiêu sau .................................................... 14
1.3.4. Đối tượng của luận văn ....................................................................... 14
CHƯƠNG I: GIỚI THIỆU TỔNG QUAN BÀI TỐN TRÍCH XUẤT
THƠNG TIN TỰ ĐỘNG TỪ ẢNH THẺ CĂN CƯỚC CÔNG DÂN ........... 16
1.1. Giới thiệu thẻ căn cước cơng dân ............................................................. 16
1.2. Bài tốn trích xuất thơng tin tự động từ thẻ CCCD ................................. 18
1.3. Các hướng tiếp cận ................................................................................... 18
1.4. Các khó khăn và thách thức...................................................................... 19
1.5. Đề xuất hướng giải quyết bài toán ........................................................... 20
1.5.1. Tiền xử lý ảnh ..................................................................................... 21
1.5.2. Phân đoạn tách các vùng dữ liệu ......................................................... 21

1.5.3. Nhận dạng ký tự và xuất thông tin các vùng dữ liệu........................... 21
9


1.5.4. Phương pháp thực hiện ........................................................................ 21
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT............................................................... 22
2.1. Tiền xử lý.................................................................................................. 23
2.1.1. Bộ lọc thông thấp................................................................................. 23
2.1.2. Lọc băng thông cao ............................................................................. 25
2.1.3. Bộ lọc High boost ................................................................................ 27
2.2. Hiệu chỉnh độ nghiêng của văn bản. ........................................................ 27
2.2.1. Xác định góc nghiêng dựa trên biến đổi Hough.................................. 28
2.3. Nhị phân hóa ảnh ...................................................................................... 29
2.3.1. Phân loại các phương pháp xác định ngưỡng T .................................. 31
2.3.2. Phương pháp xác định ngưỡng T theo Niblack................................... 32
2.3.3. Phương pháp Otsu ............................................................................... 33
2.3.4. Nhận xét............................................................................................... 35
2.4. Tổng quan về mạng nơron ........................................................................ 35
2.4.1. Mạng nơron nhân tạo........................................................................... 35
2.4.2. Các đặc trưng cơ bản của mạng nơron ................................................ 35
2.4.3. Các thành phần cơ bản của mạng nơron nhân tạo ............................... 36
2.4.4. Các cấu trúc của mạng nơ ron ............................................................. 40
2.4.5. Mạng hồi quy ....................................................................................... 41
2.4.6. Huấn luyện mạng Nơron ..................................................................... 42
2.4.7. Các phương pháp học .......................................................................... 42
2.4.8. Mạng truyền thẳng ............................................................................... 46
2.4.9. Kết luận chương .................................................................................. 48
CHƯƠNG 3: XÂY DỰNG THUẬT TỐN PHÂN TÍCH ............................ 49
THẺ CĂN CƯỚC CƠNG DÂN ..................................................................... 49
3.1. Tiền xử lý.................................................................................................. 49

3.1.1. Chuyển ảnh màu về ảnh đa cấp xám ................................................... 49
3.1.2. Làm trơn ảnh ....................................................................................... 50
3.1.3. Nhị phân hóa ảnh ................................................................................. 50
10


3.1.4. Căn chỉnh độ nghiêng .......................................................................... 51
3.2. Phân đoạn các vùng .................................................................................. 52
3.2.1 Phân tích các trường thơng tin ở mặt trước .......................................... 52
3.2.2. Xác định các vùng có ký tự ở mặt trước ............................................ 52
3.2.3. Phân đoạn vùng Số CCCD .................................................................. 53
3.2.4. Tách các trường thơng tin cịn lại ........................................................ 56
3.2.5. Tìm mặt nạ dịng .................................................................................. 57
3.2.6. Tách các đối tượng thuộc mỗi dịng .................................................... 57
3.2.7. Xố tiêu đề ........................................................................................... 59
3.2.8. Phục hồi các ký tự bị mất .................................................................... 60
3.2.9. Tách các trường thông tin ở mặt sau ................................................... 61
3.3. Huấn luyện mạng nơ ron phân tích ảnh để nhận dạng ký tự .................... 64
3.4. Kết luận chương ....................................................................................... 69
CHƯƠNG IV: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN ................................ 70
4.1. Xây dựng bộ dữ liệu ................................................................................. 70
4.2. Môi trường thực nghiệm........................................................................... 73
4.3. Thời gian thực nghiệm ............................................................................. 75
4.4. Kết quả thực nghiệm................................................................................. 75
4.4.1. Kết quả trên tập dữ liệu A1 ................................................................. 76
4.4.2. Kết quả trên tập dữ liệu A2 ................................................................. 76
4.5. Đánh giá.................................................................................................... 77
4.5.1. Ưu điểm ............................................................................................... 77
4.5.2. Khuyết điểm ........................................................................................ 78
4.6. Hướng phát triển ....................................................................................... 79

4.7. Kết luận..................................................................................................... 80

11


1.1. Lý do chọn đề tài

GIỚI THIỆU TỔNG QUAN

Trong những thập niên vừa qua, cùng với sự phát triển của khoa học máy
tính, thì xử lý ảnh, các kỹ thuật xử lý ảnh số trên máy tính là một lĩnh vực đang
được các nhà khoa học quan tâm nghiên cứu và phát triển. Ở Việt Nam xử lý
ảnh là một ngành khoa học rất phát triển trong những năm gần đây. Sự phát triển
của xử lý ảnh đem lại rất nhiều lợi ích cho cuộc sống của con người. Nhận dạng
ký tự được biết đến đầu thế kỷ XX và luôn được quan tâm phát triển cùng với
tiến bộ của khoa học máy tính. Nhận dạng ký tự góp phần không nhỏ vào trong
nhiều lĩnh vực của cuộc sống như: bảo mật và lưu trữ thông tin, ngân hàng…
Trong xử lý ảnh thì nhận dạng mẫu là một ngành khoa học của học máy
tinh, nhằm phân loại dữ liệu (các mẫu) vào các lớp. Một trong những ứng dụng
phổ biến hiện nay của nhận dạng mẫu là phân tích và nhận dạng ảnh tài liệu. Đối
với bài tốn này thì việc phân tích cấu trúc của ảnh tài liệu là đặc biệt quan
trọng, bởi vì nó sẽ quyết định đến việc tách và nhận dạng chính xác các trường
thơng tin cần thiết cho từng ứng dụng.
Ở Việt Nam loại thẻ chứa thông tin cá nhân là thẻ căn cước công dân
(CCCD) 12 số được cấp lần đầu tiên váo ngày 1/1/ 2016. Theo nghị quyết số
112 của chính phủ ký ngày 30/10/2017 thì đến năm 2020 thẻ căn cước cơng dân
sẽ hoàn toàn thay thế chứng minh nhân dân và các loại giấy tờ khác [1]. Trong
một số giao dịch dân sự bắt buộc dùng giấy chứng minh nhân dân (CMND) và
thẻ CCCD trong nhiều lĩnh vực bệnh viện, bảo hiểm, văn phịng cơng chứng,
văn phịng ủy ban nhân dân các cấp, làm thủ tục hải quan, các giao dịch ở các

ngân hàng, khách sạn…vv. Để sử dụng thông tin trên thẻ, ví dụ mở một tài
khoảng ngân hàng, hay đăng ký một thuê bao internet, thuê bao di động thì
nhân viên phải đọc và gõ thơng tin trong CMND, hay CCCD vào hệ thống máy
tính có các biểu mẫu. Điều này có thể gõ sai thơng tin, thiếu thơng tin, tốn thời
gian xử lý, gây ra nhiều phiền phức cho những người làm các giao dịch đó, một
12


số cơ quan sau khi nhập xong thơng tin cịn phải quét bằng máy quét hoặc photo
một bản để lưu trữ lại, điều này tốn thời gian công sức xử lý, khơng gian lưu trữ
giấy tờ. Cùng với q trình tin học hóa, đơn giản các thủ tục hành chính, cần có
một hệ thống tự động tách và nhận dạng các trường thông tin trên CCCD để điền
vào các biểu mẫu định dạng trước. Do đó tơi xin đề xuất đề tài: “Hệ thống trích
xuất tự động thơng tin từ ảnh căn cước cơng dân”. Hệ thống được xây dựng
có các chức năng tự động trích xuất thơng tin từ ảnh thẻ CCCD, sau khi quét thẻ
hệ thống tự động xuất ra tập tin dữ liệu, đầy đủ thông tin mặt trước và mặt sau
thẻ CCCD với độ chính xác cao, thời gian xử lý rất nhanh.
1.2. Mục đích nghiên cứu của luận văn
1.2.1. Về khoa học
+ Xây dựng các thuật tốn giải quyết bài tốn trích xuất thơng tin tự động
từ thẻ CCCD.
+ Đóng góp hỗ trợ các ứng dụng khác.
1.2.2. Về thực tiễn
+ Trong lĩnh vực cải cách thủ tục hành chính, giảm thời gian, cơng sức, tiền
bạc đặc biệt hiệu quả công việc nâng cao, xử lý, trích xuất dữ liệu, lưu trữ
dữ liệu nhanh chóng chính xác trong nhiều lĩnh vực khác nhau.
+ Các lĩnh vực có thể áp dụng như: sân bay, nhà ga, bến tàu, khách sạn,
ngân hàng, bảo hiểm, y tế, phịng cơng chứng, văn phòng UBND các cấp,
các sở ban ngành…vv.
+ Đề tài đáp ứng được yêu cầu kỹ thuật công nghệ thơng tin trong tự động

hóa.
1.3. Các phương pháp nghiên cứu
1.3.1. Phương pháp nghiên cứu lý thuyết
+ Tổng hợp nghiên cứu các tài liệu về nâng cao chất lượng ảnh số, tập
trung sâu vào các phương pháp, thuật toán nâng cao chất lượng ảnh tài liệu,
tìm hiểu các kiến thức liên quan.
+ Nghiên cứu các tài liệu, bài báo liên quan là cơ sở lý luận của luận văn.
13


+ Nghiên cứu các cách tiếp cận, các kỹ thuật, các phương pháp hiện tại đã
được công bố của các tác giả trong và ngồi nước có liên quan đến lĩnh vực
xử lý ảnh, nhận dạng mẫu, máy học chuyên sâu.
+ Nghiên cứu các xu thế và hướng phát triển tương lai liên quan đến luận
văn.
1.3.2. Phương pháp nghiên cứu thực nghiệm
+ Sau khi nghiên cứu lý thuyết, phát biểu bài tốn, đưa ra giải pháp xử lý,
mơ phỏng thử nghiệm chương trình trên ngơn ngữ lập trình python.
+ Tiến hành phân tích, xây dựng giải pháp xử lý ảnh, nhận dạng gồm có:
Tiền xử lý, trích chọn đặc trưng, huấn luyện mơ hình, hậu xử lý.
+ Xây dựng và kiểm thử việc đánh giá hiệu quả phương pháp nhận dạng
bằng ngơn ngữ lập trình Python, kết hợp máy học chuyên sâu, mạng nơron
nhân tạo.
1.3.3. Đề tài nhằm thực hiện mục tiêu sau
+ Nghiên cứu tổng quan và đánh giá một số phương pháp tiêu biểu trong
xử lý ảnh, nhận dạng, lọc nhiễu, lấy biên, trích xuất dữ liệu.
+ Xây dựng thuật tốn, mơ phỏng một thuật tốn để ứng dụng vào “Hệ
thống trích xuất tự động thơng tin từ ảnh căn cước công dân”.
1.3.4. Đối tượng của luận văn
Hệ thống trích xuất tự động thơng tin từ ảnh căn cước công dân. Luận

văn sẽ khảo sát và đánh giá một số phương pháp thường dùng trong nâng
cao chất lượng ảnh số, lựa chọn các phương pháp được cho là phù hợp nhất
đối với việc nâng cao chất lượng ảnh tài liệu. Tập trung sâu vào cài đặt thử
nghiệm một số phương pháp nhằm chứng minh tính đúng đắn và khả năng
ứng dụng trong thực tế của hệ thống.
Với những yêu cầu đã đặt ra ở trên, cấu trúc của luận văn sẽ bao gồm bốn
chương với những nội dung sau đây:
Chương 1: Giới thiệu tổng quan bài tốn trích xuất thông tin tự động từ
ảnh thẻ căn cước công dân. Trong chương này giới thiệu tổng quan về bài toán
14


trích xuất thơng tin từ ảnh căn cước cơng dân, các hướng tiếp cận, khó khăn và
thách thức, đề xuất hướng giải quyết.
Chương 2: Cơ sở lý thuyết. Tác giả sẽ nghiên cứu các cơ sở lý thuyết, các thuật
toán ứng dụng trong xử lý ảnh, phương pháp Niblack, Otsu, mạng nơ ron nhân
tạo, mạng nơ ron nhân tạo chuyên sâu...vv.
Chương 3: Xây dựng thuật giải cho bài toán phân tích trích xuất trong tin
tự động từ ảnh thẻ căn cước cơng dân. Chương này sẽ phân tích thẻ CCCD,
quy trình hệ thống xử lý, tiền xử lý, phân đoạn ảnh, xác định vùng xử lý, xây
dựng hệ thống nhận dạng xử lý, trích xuất trong tin tự động từ ảnh thẻ căn cước
công dân.
Chương 4: Kết quả nghiên cứu, thực nghiệm và hướng phát triển của đề
tài. Trên cơ sở lý thuyết đã trình bày ở chương 1, 2 và 3 chúng tôi sẽ tiến hành
xây dựng bộ dữ liệu, cài đặt chương trình, thử nghiệm hệ thống trích xuất thông
tin tự động từ thẻ căn cước công dân và đánh giá kết quả và kết luận, định
hướng phát triển của đề tài.

15

CHƯƠNG I: GIỚI THIỆU TỔNG QUAN BÀI TỐN TRÍCH XUẤT
THƠNG TIN TỰ ĐỘNG TỪ ẢNH THẺ CĂN CƯỚC CÔNG DÂN
1.1. Giới thiệu thẻ căn cước công dân
Thẻ căn cước công dân (CCCD) là một loại giấy tờ tùy thân của công dân
Việt Nam, được xác nhận bởi cơ quan nhà nước có thẩm quyền về lý lịch của
người được cấp. CCCD được ban hành lần đầu tiên vào năm 1/1/2016 để thay
thế cho giấy chứng minh nhân dân [1]. Thẻ Căn cước cơng dân hình chữ nhật,
bốn góc được cắt tròn, chiều dài 85,6 mm, chiều rộng 53,98 mm, độ dày 0,76
mm.
Mặt trước thẻ Căn cước công dân gồm các thơng tin: Bên trái, từ trên
xuống, hình Quốc huy nước Cộng hịa xã hội chủ nghĩa Việt Nam, đường kính
14 mm; ảnh chân dung của người được cấp thẻ Căn cước cơng dân cỡ 20 mm x
30 mm; có giá trị đến; Bên phải, từ trên xuống: CỘNG HÒA XÃ HỘI CHỦ
NGHĨA VIỆT NAM, Độc lập - Tự do - Hạnh phúc; dịng chữ “CĂN CƯỚC
CƠNG DÂN”; số CCCD, Họ và tên; Ngày, tháng, năm sinh; Giới tính; Quốc
tịch; Quê quán; Nơi thường trú, hình 1.1a.
Mặt sau thẻ Căn cước công dân gồm các thông tin sau: Trên cùng là mã
vạch hai chiều; Bên trái, có 2 ơ: ơ trên, vân tay ngón trỏ trái; ơ dưới, vân tay
ngón trỏ phải của người được cấp thẻ Căn cước công dân; Bên phải, từ trên
xuống: đặc điểm nhân dạng của người được cấp thẻ; ngày, tháng, năm cấp thẻ
Căn cước công dân; họ, chữ đệm và tên, chức danh, chữ ký của người có thẩm
quyền cấp thẻ và dấu có hình Quốc huy của cơ quan cấp thẻ Căn cước công dân,
hình 1.1b.

(a)

(b)

16

Hình 1.1. Mẫu “Căn cước cơng dân”
(a)Mặt trước CCCD; (b) Mặt sau CCCD
Hai mặt của thẻ Căn cước công dân in hoa văn màu xanh nhạt. Nền mặt
trước thẻ Căn cước cơng dân gồm: hình ảnh trống đồng, bản đồ Việt Nam, hoa
sen và các hoa văn, các họa tiết trang trí. Nền mặt sau thẻ Căn cước cơng dân
gồm các hoa văn được kết hợp với các họa tiết đường cong vắt chéo đan xen.
Quốc huy và ảnh chân dung của công dân được in màu trực tiếp trên thẻ Căn
cước công dân…
Thẻ Căn cước công dân được sản xuất bằng chất liệu nhựa, ngồi cùng
của hai mặt có phủ lớp màng nhựa mỏng trong suốt.
Ngôn ngữ trên thẻ Căn cước công dân được quy định cụ thể là Việt ngữ
có dấu. Ngơn ngữ khác trên thẻ Căn cước công dân được quy định cụ thể khi
Việt Nam ký kết điều ước hoặc thỏa thuận quốc tế cho phép công dân nước ký
kết được sử dụng thẻ Căn cước công dân thay cho việc sử dụng hộ chiếu trên
lãnh thổ của nhau [2].
Thời hạn sử dụng của thẻ Căn cước cơng dân được tính theo độ tuổi đổi
thẻ Căn cước công dân quy định tại Điều 21 Luật Căn cước cơng dân. Thơng tư
này có hiệu lực thi hành kể từ ngày 01 tháng 01 năm 2016 và thay thế Thông tư
số 57/2013/TT-BCA ngày 13 tháng 11 năm 2013 của Bộ trưởng Bộ Công an
quy định về mẫu Chứng minh nhân dân. Mẫu thẻ Căn cước công dân quy định
tại thông tư này được áp dụng từ ngày 01 tháng 01 năm 2016. Địa phương chưa
có điều kiện triển khai cấp, đổi, cấp lại thẻ Căn cước công dân theo mẫu quy
định tại Thơng tư này thì tiếp tục thực hiện theo Quyết định số 998/2001/QĐBCA(C11) ngày 10 tháng 10 năm 2001 của Bộ trưởng Bộ Công an về việc ban
hành các biểu mẫu sử dụng trong công tác quản lý hành chính về trật tự xã hội
để cấp, đổi, cấp lại Chứng minh nhân dân, chậm nhất đến ngày 01 tháng 01 năm
2020 phải thực hiện thống nhất theo mẫu quy định tại Thông tư này[3].

17

1.2. Bài tốn trích xuất thơng tin tự động từ thẻ CCCD
Trong rất nhiều giao dịch dân sự thực tế bắt buột phải cần đến thẻ CCCD,
hoặc CMND. Khi làm thủ tục mở tài khoảng ngân hàng, các giao dịch ở bưu
điện, các công ty viễn thông mobiphone, Vinaphone, Viettel, FPT, văn phòng ủy
ban nhân dân các cấp,..vv. Khi khách hàng giao dịch thì nhân viên phải đọc và
nhập thơng tin vào máy tính với các biểu mẫu có trong máy tính. Việc nhập
thơng tin này vừa chậm vừa khơng chính xác, vì có thể đọc sai, gõ nhằm đẫn đến
việc xử lý lâu, tốn thời gian công sức, gây phiền phức cho khách hàng. Sau khi
nhập xong thông tin, nhân viên phải photo hoặc quét bằng máy quét thẻ CCCD
để lưu trữ lại. Trong cuộc cách mạng công nghệ số, ứng dụng cơng nghệ thơng
tin trong chính phủ điện tử, nhằm giảm bớt các thủ tục hành chánh, đáp ứng yêu
cầu cấp bách hiện nay, nên chúng tôi đề xuất xây dựng “hệ thống trích xuất
thơng tin tự động từ thẻ CCCD”.
Dựa trên việc nhận dạng mẫu và phân tích xử lý ảnh kết hợp mạng nơ ron
nhân tạo…vv. Hệ thống được xây dựng có các chức năng tự động trích xuất
thơng tin từ ảnh thẻ CCCD, sau khi quét thẻ hệ thống tự động xuất ra tập tin văn
bản, thông tin hai mặt trước và mặt sau thẻ CCCD đầy đủ thơng tin với độ chính
xác cao, thời gian xử lý rất nhanh, bài tốn trích xuất như sau.
Dữ liệu đầu vào: Ảnh thẻ CCCD chụp hoặc quét trên máy quét hai mặt, mặt
trước và mặt sau.
Dữ liệu xuất ra: Tập tin ảnh và tập tin văn bản chứa dữ liệu trong CCCD.
+ Tập tin ảnh gồm: Ảnh chân dung, ngón trỏ phải, ngón trỏ trái.
+ Tập tin văn bản gồm có: Số CCCD, Họ và tên, ngày tháng năm sinh,
giới tính, quốc tịch, quê quán, nơi thường trú, đặc điểm nhân dạng của
người được cấp thẻ ngày, tháng, năm cấp thẻ CCCD, ngày hết hạn.
1.3. Các hướng tiếp cận
Trên thế giới xử lý ảnh là một ngành phát triển rất mạnh và rất nhanh
trong những thập niên vừa qua, Họ cũng đạt được nhiều thành tựu rất lớn giữa

xử lý ảnh kết hợp với trí tuệ nhân tạo. Rất nhiều cơng trình nghiên cứu và ứng
18


dụng trong thực tiễn mang lại rất nhiều lợi ích về khoa học và kinh tế như trong
nhận diện hình ảnh, nhận diện khuông mặt, nhận diện ký tự quang học qua hệ
thống máy học.
Một số nước như ở Mỹ và một số nước ở châu Âu người ta đã nghiên cứu
ứng dụng nhận dạng quét thông tin với hộ chiếu, làm thủ tục xuất nhập cảnh ở
các sân bay quốc tế rất thuận tiện và nhanh chóng.
Một trong những ứng dụng phổ biến của nhận dạng mẫu hiện nay là phân
tích và nhận dạng ảnh tài liệu (có nguồn gốc từ hệ thống nhận dạng ký tự quang
học), nhằm số hoá các trang tài liệu giấy như sách, báo, tạp chí.
Ở Việt Nam có tác giả Lê Đức Hiếu ở Đại học cơng nghệ Hà Nội cũng đã
có nghiên cứu “ Ứng dụng một số kỹ thuật xử lý ảnh trong phân tích giấy chứng
minh nhân dân’’ vào năm 2012.[5] Tác giả đã dựa trên các kỹ thuật phân tích xử
lý ảnh, kết hợp với các thư viện mã nguồi mở Open CV để thực hiện và cũng
đã đạt được một số kết quả nghiên cứu nhất định nhưng chưa tạo ra các ứng
dụng trong thực tế. Từ đó dến hiện nay chưa ai nghiên cứu úng dụng phân tích
trích xuất thơng tin tự động đối với thẻ CCCD.
1.4. Các khó khăn và thách thức
Thẻ Căn cước cơng dân được sản xuất bằng chất liệu nhựa, ngoài cùng của
hai mặt có phủ lớp màng nhựa mỏng trong suốt. Như vậy cần tách chính xác các
trường thơng tin u cầu trước khi chuyển cho phần nhận dạng, tuy nhiên việc
này gặp một số vấn đề khó khăn sau:
+ Các trường thơng tin có thể bị lệch so với dịng chuẩn hoặc đè lên phần tiêu
đề đã được in trước.
+ Nét chữ khơng đều nhau giữa các dịng trong CCCD, thậm chí là trong cùng
một CCCD: có chỗ chữ q đậm hoặc quá mờ.
+ CCCD có thể bị ố, mờ, gãy, cong, biến dạng do sừ dụng lâu ngày, bảo quản

không tốt…
+ Ở mặt trước, trong một số trường hợp hoa văn nền khá rõ nét trong khi nét
chữ lại quá mờ, khó có thể phân biệt đâu là nét chữ đâu là hoa văn nền.
19


+ Ở mặt sau, trong khá nhiều trường hợp ngày tháng năm cấp bị in lệch so với
chuẩn, phần đặc điểm nhận dạng chữ thường rất nhỏ, chữ in dính liền hay
thường bị in lem mực, rất khó đọc.
+ Ngơn ngữ trên thẻ Căn cước công dân được quy định cụ thể là Việt ngữ có
dấu cũng là một khó khăn trong nhận dạng ký so với một số các ngơn ngữ
khơng có dấu, ví dụ như Anh ngữ.
Xử lý các thơng tin trên thẻ CCCD có có một số khó khăn như: khi qt
thẻ, hay chụp hình bằng máy ảnh, có thể chụp hay qt khơng chuẩn ảnh có thẻ
bị mờ, bị nhịe, bị mất thơng tin. Thẻ CCCD làm bằng nhựa nhưng sử dụng lâu
không bảo quản cẩn thận có thể bị vênh, bị cong, bị gãy. Thơng tin trên thẻ in có
thể khơng chuẩn, in bị lệch, chữ in trên thẻ khơng đồng đều, có chỗ in chữ
thường, có chỗ in chữ hoa, có chỗ chữ lớn, có chỗ chữ nhỏ, có chỗ màu đỏ, có
chỗ màu đen, trên thẻ có vân in chìm, có chổ vân in nổi, thông tin cùng một
vùng dữ liệu trên thẻ nhưng có thẻ in một dịng, có thẻ khác lại in hai dịng như
q qn và nơi cư trú thơng tin của từng người dài ngắn khác nhau.
Yêu cầu của bài toán: Từ ảnh CCCD màu được quét bằng máy quét với độ
phân giải 1024 dpi, tách lấy các trường thông tin: Ảnh chân dung, Họ và tên,
ngày tháng năm sinh, giới tính, quốc tịch, quê quán, nơi thường trú, đặc điểm
nhân dạng của người được cấp thẻ ngày, tháng, năm cấp thẻ CCCD, ngày hết
hạn ghi trên thẻ, ngón trỏ trái, ngón trỏ phải. Các trường thơng tin này nằm trên
cả hai mặt của CCCD, mà mỗi mặt lại có các đặc điểm khác nhau nên tơi đề
xuất hai thuật tốn khác nhau để tách các trường thơng tin trên mỗi mặt.
1.5. Đề xuất hướng giải quyết bài toán
Ảnh đầu vào thẻ CCCD thường có chất lượng rất khác nhau: có thể bị ố,

bị lệch, nghiêng khi chụp. Mặt khác, hai mặt trước, sau có hoa văn nền khá rõ
nét. Do đó, để đảm bảo cho việc tách các trường thơng tin được chính xác (cũng
như kết quả nhận dạng sau này). Ta cần áp dụng các kỹ thuật xử lý ảnh để nâng
cao chất lượng ảnh đầu vào. Với các khó khăn trên chúng tơi đề xuất hướng giải
quyết như sau, bài toán sẽ được chia ra các bài toán nhỏ để xử lý.
20


1.5.1. Tiền xử lý ảnh
Mục tiêu 1: Tăng cường để có thể trích các vùng dữ liệu chính xác nhất có thể
chúng tơi sử dụng bộ lọc băng thơng rộng để giải quyết.
Mục tiêu 2: Cân chỉnh để ảnh CCCD khơng nghiêng vì ảnh CCCD là hình chữ
nhật, có các cặp cạnh song song nên chúng tôi đề xuất phương pháp Hough để
xác định cạnh làm cơ sở canh chỉnh.
1.5.2. Phân đoạn tách các vùng dữ liệu
Mặt trước: Có các vùng dữ liệu ảnh chân dung, Số CCCD, Họ và tên, Ngày
tháng năm sinh, giới tính, quốc tịch, Quê quán, Nơi thường trú, ngày hết hạn.
Mặt sau: Có các vùng dữ liệu ảnh ngón trỏ trái, ảnh ngón trỏ phải, Đặc điểm
nhận dạng, Ngày cấp thẻ.
Dựa vào tiêu chuẩn vị trí và kích thước cúa CCCD chúng tơi đề xuất trích
xuất tách từng vùng dữ liệu dựa vào thuật tốn phương pháp Otsu.
1.5.3. Nhận dạng ký tự và xuất thông tin các vùng dữ liệu
Thông tin hai mặt CCCD cần trích xuất thơng tin chúng tơi chia ra làm 13
vùng dữ liệu. Trong đó có các vùng dữ liệu khác nhau, có vùng chỉ chứa hình
ảnh như vùng ảnh chân dung, vùng ảnh ngón trỏ trái, ảnh ngón trỏ phải, có vùng
chỉ chứa số đó là vùng số CCCD, có vùng chỉ chứa số dạng dd/mm/yyyy như
vùng ngày tháng năm sinh, ngày hết hạng sử dụng, ngày cấp, có vùng chỉ chứa
thơng tin là kí tự như vùng Họ tên, giới tính, quốc tịch, có vùng chứa thơng tin
vừa ký tự vừa số như vùng nơi cư trú. Chúng tôi đề xuất mơ hình nhận dạng các
vùng.

- Vùng ảnh: Ảnh chân dung, ngón trỏ trái, ngón trỏ phải.
- Vùng số: Nhận dạng vùng ký tự chỉ chứa số là vùng số CCCD.
- Các vùng khác cịn lại: vừa có ký tự vừa có số ký tự số.
Chúng tơi áp dụng mạng nơ rơn nhân tạo để huấn luyện nhận dạng và trích xuất
thơng tin các vùng.
1.5.4. Phương pháp thực hiện
21


Tiền xử lý: Chuyển ảnh màu về ảnh đen trắng sao cho vừa khử được nền mà
vẫn giữ được các đặc trưng của nét chữ, nhị phân hóa ảnh, đồng thời cũng thực
hiện căn chỉnh độ nghiêng, tăng gường ảnh dùng bộ lọc băng thông thấp, bộ lọc
băng thông cao, bộ lọc high boost, Thuật toán Hough.
Tách vùng Ảnh: Ảnh chân dung, ảnh ngón trỏ trái, ảnh ngón trỏ phải.
Tách trường Số CCCD: Dựa vào đặc điểm nổi bật riêng để tách, vùng này chỉ
chứa số, màu đỏ, in đậm.
Tách các trường cịn lại: Tách lấy các dịng thơng tin như phân tích ở 1.5.3 sau
đó loại bỏ đi phần tiêu đề của các trường.
Xây dựng hệ thống hệ thống: Trích xuất tự động thơng tin từ ảnh thẻ căn cước
công dân dùng máy học chuyên sâu, mạng nơron để huấn luyện chương trình xử
lý dữ liệu xuất ra tập tin văn bản, sơ đồ 1.1.
Thu nhận ảnh CCCD

Tiền xử lý ký tự

Phân tích ảnh

Mạng nơron nhận dạng ký tự

Hậu xử lý dữ liệu

Lưu trữ văn bản
Sơ đồ 1.1. Sơ đồ xử lý hệ thống xử lý
22


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
2.1. Tiền xử lý
Tiền xử lý là tăng khả năng xử lý chính xác như nhận dạng, phân tích,.. có
vai trị nâng cao chất lượng ảnh trước khi đem phân tích và nhận dạng. Cơng
việc của bước này thường là khử nhiễu, biến đổi ảnh và nâng cao một số đặc
tính quan trọng của ảnh. Phép lọc ảnh được sử dụng nhiều trong xử lý ảnh, xử lý
giảm nhiễu, làm nét ảnh, cũng như trong phát hiện cạnh, biên ảnh. Các phép lọc
ảnh chủ yếu được sử dụng để ngăn chặn các tần số cao trong hình ảnh, như làm
mịn ảnh, phát hiện cạnh trong hình ảnh. Các bộ lọc có thể chia làm 2 loại theo
phép tốn: Lọc tuyến tính và lọc phi tuyến. Phép lọc tuyến tính là các phép lọc
có bản chất là lọc tần số như lọc trung bình, lọc thơng thấp, lọc thông cao, lọc
đạo hàm. Ngược lại các phép lọc phi tuyến bao gồm lọc trung vị, lọc đồng hình,
lọc với k láng giềng gần nhất…vv.
2.1.1. Bộ lọc băng thông thấp
Bộ lọc Gauss rất quan trọng đối với cả lý thuyết và thực tiễn. Chúng ta lọc
hình ảnh bằng cách sử dụng một kernel dạng đối xứng xuyên tâm của hàm
Gauss 2-D liên tục [8] được xác định như công thức (2.1).

f(x,y) =

𝟏

𝟐𝝅𝝈

𝟐 exp (−

𝒙𝟐 +𝒚𝟐
𝟐𝝈𝟐

)

(2.1)

Các bộ lọc trung bình thường được sử dụng để giảm nhiễu trong một
hình ảnh. Tuy nhiên đặc trưng cho nhiễu đó là hàm mật độ xác suất thể hiện
phân bố của nhiễu.Ta sử dung hàm phân phối Gauss nhằm làm mờ ảnh và
giảm nhiễu. Trong trường hợp một chiều, phân phối Gauss theo công thức
(2.2).

G(x) =

𝟏

√𝟐𝝅𝝈𝟐

−

𝒆

𝒙𝟐
𝟐𝝈𝟐

(2.2)

23


Với 𝜎 là độ lệch chuẩn của phân phối, giả sử phân phối này có trung

bình là 0. Khi xử lý ta sử dụng hàm phân phối Gauss cho hia chiều, hình
thành tích của hai hàm Gauss một chiều x và y bằng công thức (2.3).

(2.3)

Bộ lọc Gauss băng thông thấp theo công thức (2.4)
(2.4)
Với D (u,v) là khoảng cách từ điểm (u,v) đến tâm xấp xỉ rời rạc để hàm liên tục
này sử dụng hai tham số tự do là:

.

- Các kích thước mong muốn của các kernel (như là một mặt nạ lọc N × N);
- Giá trị độ lệch chuẩn của hàm Gauss.

.

Ứng dụng của bộ lọc Gauss là làm mịn ảnh, nó khác với bộ lọc trung bình ở chổ
là: thứ nhất, mức độ làm mịn được điều khiển bởi sự lựa chọn các tiêu chuẩn
thông số độ lệch, chứ không phải bởi giá trị tuyệt đối của kích thước hạt
nhân,thứ hai hàm Gauss có một thuộc tính khá đặc biệt, đó là biến đổi Fourier
của nó là một hàm Gauss, điều đó rất thuận tiện cho việc phân tích miền tần số
của bộ lọc[14] theo thuật tốn 2.1.
Thuật tốn 2.1. Lọc băng thơng thấp Gauss
Input: Ảnh cần lọc

Output: Ảnh sau khi lọc khi dung bô lọc thông thấp Gauss
1
P = size (f, 1) tạo bộ lọc có kích thước bằng với ảnh
2
Q = size (f, 2)
3
h = zero (P,Q)
4
Sig = 10;
Gán 𝜎
5
a =1/2 (2.*pi.*sig);
6
b = 2.*sig.* sig;
7
For i =1:p
8
For j = 1:Q
9
D = (I – P./2).^2+(j-Q./2).^2; K/c (x,y)-> tâm hình, lấy mũ 2
10
h( I, j) = a*exp(-D./b);
11
end
12
end
24


Ta thấy rằng sau khi lọc độ biến thiên tần số của ảnh ít hơn ảnh gốc, đồng

thời các giá tri tần số sau khi lọc cao hơn ảnh gốc, phép lọc Gauss cho ảnh mượt
hơn ảnh gốc, hình 2.1.

Hình 2.1 So sánh miền tầng số trước và sau khi lọc băng thông thấp
2.1.2. Lọc băng thông cao
Xét trên miền tần số thì bộ lọc Gauss sẽ giảm thành phần tần số cao trong
hình ảnh hay nói cách khác bộ lọc Gauss là bộ lọc thông cao (chỉ giữ lại thành
phần tần số thấp).Trong toán học, việc ứng dụng Gaussian Blur cho một hình
cũng chính là tính tích chập hình đó với hàm Gauss. Một cách trực quan, đây
được xem như là phương pháp làm mờ mịn cũng giống như hiệu ứng hình ảnh
được đặt dưới một lớp màn trong suốt bị mờ. Nó khơng giống với trường hợp
hình ảnh bị mờ do hậu quả của ống kính bị mất tiêu điểm hay do bóng của đối
tượng dưới ánh sáng thường. Nó có thể giúp làm giảm nhiễu và mức độ chi tiết
(khơng mong muốn) của hình ảnh, hình 2.2.

25