Bài toán phân luồng giao thông và theo dõi đối tượng trong điều khiển đèn tín hiệu giao thông bằng camera

TRƯỜNG ĐẠI HỌC DUY TÂN
KHOA ĐIỆN – ĐIỆN TỬ

NGUYỄN ĐĂNG TỒN

BÀI TỐN PHÂN LUỒNG GIAO THƠNG VÀ THEO
DÕI ĐỐI TƯỢNG TRONG ĐIỀU KHIỂN ĐÈN TÍN
HIỆU GIAO THƠNG BẰNG CAMERA

ĐỒ ÁN TỐT NGHIỆP
CHUYÊN NGÀNH ĐIỆN TỰ ĐỘNG

Đà Nẵng, 2022


TRƯỜNG ĐẠI HỌC DUY TÂN
KHOA ĐIỆN – ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP

BÀI TỐN PHÂN LUỒNG GIAO THƠNG VÀ
THEO DÕI ĐỐI TƯỢNG TRONG ĐIỀU KHIỂN
ĐÈN TÍN HIỆU GIAO THƠNG BẰNG
CAMERA

CHUN NGÀNH: ĐIỆN TỰ ĐỘNG

GVHD : TS.TRẦN THUẬN HOÀNG
SVTH : NGUYỄN ĐĂNG TOÀN
LỚP

: K23 EDT2

MSSV : 232117310


Niên khóa 2017-2022


LỜI CẢM ƠN
Đồ án tốt nghiệp là nhiệm vụ và cũng là yêu cầu bắt buộc của mỗi sinh viên
phải thực hiện trước khi tốt nghiệp, nó giúp cho sinh viên tổng kết được những kiến
thức đã học trong suốt quá trình học tập, cũng như phần nào hỗ trợ được cơng việc
mà mình sẽ làm trong tương lai sau khi ra trường.
Đến nay, việc nghiên cứu và thực hiện đồ án đã được em hồn thành. Trong
suốt q trình nghiên cứu, ngồi sự nổ lực của bản thân cịn có sự hướng dẫn tận
tình của T.S Trần Thuận Hồng là giảng viên khoa Điện – Điện tử, cũng chính là
người chịu trách nhiệm hướng dẫn về đề tài này, đã đem lại cho em nhiều kinh
nghiệm và kiến thức bổ ích mà em tin rằng đó sẽ là hành trang cực kỳ quý báu cho
công việc tương lai sau này của em. Mặc dù đã cố gắng tìm hiểu và nghiên cứu
nhưng do kinh nghiệm và kiến thức còn hạn chế nên khơng thể tránh khỏi thiếu sót.
Em rất mong nhận được sự giúp đỡ của các thầy cô để em có thể hồn thiện bản
thân mình hơn nữa.
Em xin gửi lời cảm ơn chân thành đến quý Thầy Cơ của Trường Đại Học Duy
Tân đã tận tình dạy bảo, truyền đạt kiến thức cho em trong suốt quá trình học. Em
kính gửi đến thầy Trần Thuận Hồng lời cảm ơn chân thành và sâu sắc nhất, cảm ơn
các thầy đã tận tình theo sát và chỉ dẫn cho em trong quá trình thực hiện đồ án. Sự
hướng dẫn, góp ý tận tình của thầy đã là nguồn động viên to lớn giúp em rất nhiều
trong quá trình thực hiện đề tài này. Sau cùng, em xin kính chúc quý Thầy Cô trong
Khoa Điện - Điện Tử thật dồi dào sức khỏe để tiếp tục thực hiện sứ mệnh cao đẹp
của mình là truyền đạt kiến thức cho thế hệ mai sau.

Em xin chân thành cảm ơn!


LỜI CAM ĐOAN
Tôi xin cam đoan:
Bản đồ án này em hoàn thiện ở mức độ thực nghiệm dưới sự hướng dẫn của TS.
Trần Thuận Hoàng. Và đã đạt được một số kết quả theo yêu cầu ban đầu đặt ra . Em
xin cam đoan kết quả này là em cùng nghiên cứu thực nghiệm với anh chị hướng
dẫn tại Trung Tâm Điện Điện tử (CEE), chưa được công bố trên một tài liệu nào.
Đà Nẵng, Ngày tháng 12 năm 2022
Giảng viên hướng dẫn

Sinh viên thực hiện

Nguyễn Đăng Toàn


MỤC LỤC

MỞ ĐẦU..................................................................................................................1
1. Lý do chọn đề tài..........................................................................................1
2. Mục tiêu và nhiệm vụ nghiên cứu.................................................................1
3. Đối tượng và phạm vi nghiên cứu.................................................................2
4. Phương pháp nghiên cứu...............................................................................2
5. Dự kiến kết quả............................................................................................2
6. Ý nghĩa khoa học và thực tiễn của đồ án.......................................................2
CHƯƠNG 1. TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH....................................4
1.1. Xử lý ảnh...........................................................................................................6
1.1.1. Khái niệm xử lý ảnh................................................................................6
1.1.2. Tổng quan về hệ thống xử lý ảnh............................................................7

1.1.3. Các vấn đề cơ bản trong xử lý ảnh.........................................................9
1.2. Video................................................................................................................10
1.2.1. Sơ lược về Video..................................................................................10
1.2.2. Các định dạng video.............................................................................11
1.3. Các ứng dụng của thị giác máy tính..................................................................14
1.3.1. Chuẩn đoán y khoa...............................................................................14
1.3.2. Giám sát an ninh...................................................................................15
1.3.3. Theo dõi giao thông..............................................................................15
1.3.4. Robot....................................................................................................16
CHƯƠNG 2. CÁC PHƯƠNG PHÁP PHÁT HIỆN, THEO VẾT VÀ PHÂN
LOẠI ĐỐI TƯỢNG..............................................................................................18
2.1. Giới thiệu..........................................................................................................18
2.2 Một số phương pháp phát hiện đối tượng..........................................................19
2.2.1 Một số kỹ thuật trừ ảnh..........................................................................19
2.2.2 Kỹ thuật trừ nền.....................................................................................20


2.3 . Phương pháp phân loại đối tượng....................................................................24
2.3.1 Bài toán phân loại đối tượng.................................................................24
2.3.2 Một số vấn đề liên quan đến phân loại đối tượng..................................25
2.3.3 Phương pháp phân loại dựa trên chuyển động......................................27
2.4 Phương pháp theo vết đối tượng.......................................................................28
2.4.1 Tổng quan về theo vết đối tượng............................................................28
2.4.2 Chính xác hố đối tượng tương ứng - Object matching........................29
2.4.3 Dự đoán chuyến động của đối tượng.....................................................30
2.5 Kết luận............................................................................................................. 31
CHƯƠNG 3.

XÂY DỰNG ỨNG DỤNG ƯỚC LƯỢNG PHƯƠNG TIỆN

ĐIỀU KIỂN ĐÈN TÍN HIỆU GIAO THƠNG....................................................32
3.1 Giới thiệu bài tốn.............................................................................................32
3.2 Hệ thống tín hiệu điều khiển giao thông...........................................................33
3.2.1 Cấu trúc hệ thống điều khiển giao thông...............................................33
3.2.2 Thời lượng tín hiệu giao thơng...............................................................34
3.2.3 Một số đánh giá và đề xuất:...................................................................34
3.3 Phương pháp giải quyết vấn đề phát hiện, theo vết, phân loại phương tiện giao
thông........................................................................................................................ 35
3.3.1 Tách phần đường...................................................................................35
3.3.2 Loại bỏ nền............................................................................................36
3.3.3 Lọc nhiễu và bọt.....................................................................................37
3.3.4 Tách đường viền....................................................................................38
3.3.5 Gán nhãn đường viền.............................................................................39
3.3.6 Lần vết, bám phương tiện.......................................................................39
3.3.7 Phân loại phương tiện............................................................................40
3.4 Lưu đồ thuật tốn..............................................................................................41
3.5 Mơ hình giám sát, ước lượng và điều kiển........................................................43
3.6 Kết quả thực nghiệm........................................................................................43
3.7 Kết luận............................................................................................................46
KẾT LUẬN............................................................................................................48


1. Các kết quả đạt được...................................................................................48
2. Các hạn chế.................................................................................................48
TÀI LIỆU THAM KHẢO

DANH MỤC HÌNH ẢNH
Hình 1.1 Sơ đồ nhóm chức năng của thị giác máy tính.............................................5
Hình 1.2 Sơ đồ hệ thống xử lý ảnh............................................................................7
Hình 1.3 Sơ đồ cấu trúc của hệ thống xử lý ảnh........................................................8

Hình 1.4 Định dạng FLV (Flash Video Format).....................................................11
Hình 1.5 Định dang WMV......................................................................................12
Hình 1.6 Định dạng MP4 phổ biến nhất hiện nay....................................................13
Hình 1.7 Sơ đồ hoạt động của Gamma Camera.......................................................15
Hình 1.8 Ứng dụng của thị giác máy tính trong lĩnh vực An ninh...........................15
Hình 1.9 Dẫn hướng robot.......................................................................................17
Hình 2.1 Ảnh kết quả các giai đoạn trừ nền.............................................................21
Hình 2.2 Các đường viển của mục tiêu được sự dụng cho việc trích rút các đặc
trưng chuyển động...................................................................................................27
Hình 3.1 Cấu trúc hệ thống đèn điều khiển..............................................................33
Hình 3.2 Kết quả việc loại bỏ nền...........................................................................36
Hình 3.3 Ảnh đối tượng chuyển động chưa được lọc nhiễu....................................37
Hình 3.4 Ảnh các đối tượng chuyển động đã được lọc nhiễu..................................38
Hình 3.5 Mơ hình hệ thống giám sát giao thơng bằng camera.................................43
Hình 3.6 Kết quả thực nghiệm với đoạn video 1.....................................................43


Hình 3.7 Frame 58 ước lượng phương tiện di chuyển: 8 đối tượng.........................44
Hình 3.8 Frame 71 ước lượng phương tiện di chuyển: 6 đối tượng.........................44
Hình 3.9 Frame 87 ước lượng phương tiện di chuyển: 5 đối tượng.........................45
Hình 3.10 Frame 97 ước lượng phương tiện di chuyển 5 đối tượng........................45
Hình 3.11 Frame 128 ước lượng phương tiện di chuyển 5 đối tượng......................45
Hình 3.12 Frame 137 ước lượng phương tiện di chuyển 4 đối tượng (trường hợp có
01 đối tượng di chuyển chớm vào khung hình).......................................................45
Hình 3.13 Frame 140 ước lượng phương tiện di chuyển 4 đối tượng (trường hợp có
02 đối tượng di chuyển chớm vào khung hình).......................................................46
Hình 3.14 Frame 244 ước lượng phương tiện di chuyển 4 đối tượng......................46
Hình 3.15 Frame 255 ước lượng phương tiện di chuyển 3 đối tượng......................46

DANH MỤC BẢNG BIỂU

Bảng 3.1 Phân tích kết quả khung hình của đoạn Video 1............................................44


1
MỞ ĐẦU
1. Lý do chọn đề tài
Sự phát triển nhanh chóng của các thiết bị thu nhân ảnh hiện đại như máy
ảnh số, máy quay số…, lượng thông tin dưới dạng hình ảnh do con người tiếp nhận
và xử lý ngày càng lớn, để lượng thông tin này trở nên có ích hơn con người cần xử
lý nó đó là lý do tạo điều kiện cho sự phát triển mạnh mẽ của các kỹ thuật xử lý
hình ảnh. Thị giác máy tính là một trong những cơng nghệ được ứng dụng rộng rãi
hiện nay trong nhiều lĩnh vực của đời sống xã hội, ngày nay công nghệ xử lý ảnh đã
mang lại những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt,
nhận dạng đối tượng …v.v. Cùng trong bối cảnh đó, hệ thống camera giám sát giao
thông ngày càng được sử dụng một cách rộng rãi với mục đích hỗ trợ các cơ quan
chức năng quản lý, người tham gia giao thông trên các trục đường và điểm nút giao
thông.
Hiện nay tại TP Đà Nẵng dự án “Nâng cấp hệ thống tín hiệu và điều khiển
giao thơng TP Đà Nẵng” đã hồn thành và đi vào hoạt động. Dự án có quy mơ gồm
Trung tâm điều hành giao thông, lắp đặt mới, nâng cấp hàng trăm nút tín hiệu giao
thơng, các camera quan sát tại các nút giao thông, lắp đặt hệ thống cáp quang ngầm
nối trung tâm điều khiển với các nút tín hiệu giao thơng. Hệ thống có những ưu
điểm như có thể điều chỉnh vịng quay tín hiệu đèn xanh-vàng- đỏ theo thời gian
ngắn, dài hoặc chỉ bật đèn vàng, tùy theo thực tế giao thông trên từng tuyến đường,
từng nút giao thông và từng thời điểm trong ngày. Tuy nhiên việc điều khiển đèn
phụ thuộc vào thực trạng giao thông trong từng thời điểm.
Do vậy việc kết hợp hệ thống đèn tín hiệu giao thông và hệ thống camera
quan sát nhằm ước lượng số lượng các phương tiện tham gia giao thông sẽ giải
quyết tốt bài tốn điều khiển đèn giao thơng một cách thông minh và hiệu quả hiện
nay tại Việt Nam và TP. Đà Nẵng.

2. Mục tiêu và nhiệm vụ nghiên cứu
 Mục tiêu: nghiên cứu các thuật toán phát hiện, theo vết, phân loại đối tượng
chuyển động trong các hình ảnh video.


2
 Nhiệm vụ: xác định các phương tiện đang chuyển động tại điểm nút hoặc
trên đường giao thơng qua tín hiệu của camera giám sát từ đó tính tốn lưu lượng
các đối tượng phương tiện giao thông, làm cơ sở điều kiển đèn tín hiệu giao thơng
một cách thơng minh.
3. Đối tượng và phạm vi nghiên cứu
 Đối tượng nghiên cứu: dữ liệu các đoạn video được quay từ một camera
tĩnh ghi lại với chuẩn AVI (Audio Video Interleave) và các phương pháp điểu khiển
đèn tín hiệu giao thơng.
 Phạm vi nghiên cứu: liên quan đến lĩnh vực thị giác máy tính và sử dụng bộ
cơng cụ lập trình Embarcadero RAD Studio XE8 tích hợp tiện ích xử lý ảnh
VisionLab, VideoLab.
4. Phương pháp nghiên cứu
Thu thập các tài liệu tổng quan về xử lý ảnh, xử lý video.
Thu thập tài liệu, thông tin về các nội dung liên quan đến đề tài. Tìm hiểu
Embarcadero RAD Studio XE8 và thành phần xử lý ảnh VisionLab, VideoLab lập
trình xử lý ảnh; Tìm hiểu các phương pháp phát hiện đối tượng chuyển động; Tìm
hiểu phương pháp dị vết đối tượng; Tìm hiểu phương pháp phân loại đối tượng;
Tìm hiểu phương pháp điểu kiển đèn tín hiệu giao thơng.
5. Dự kiến kết quả
Nắm vững và cài đặt thành cơng các thuật tốn: phát hiện chuyển động bằng
phương pháp trừ nền, theo vết đối tượng, trên cơ sở đó xây dựng thành cơng chương
trình tính toán lưu lượng các phương tiện tại các điểm nút giao thơng nhằm điều
chỉnh tín hiệu đèn giao thơng một cách thông minh.
6. Ý nghĩa khoa học và thực tiễn của đồ án

Ý nghĩa:
- Ứng dụng công nghệ xử lý ảnh và thị giác máy tính vào trong thực tế.
- Xác định chính xác lưu lượng phương tiện tại các điểm nút giao thơng để
điều kiển đèn tín hiệu giao thông.
- Tạo cơ sở nhằm nghiên cứu tiếp trong tương lai.
Báo cáo được tổ chức thành 3 chương


3
Chương 1: Tổng quan về thị giác máy tính.
Trong chương này, tôi giới thiệu tổng quan về thị giác máy tính, xử lý ảnh
số, xử lý video. Ngồi ra thì tôi giới thiệu thêm một số vấn đề cơ bản và ứng dụng
của thị giác máy tính trong các lĩnh vực của khoa học và đời sống.
Chương 2: Một số phương pháp phát hiện, theo vết các đối tượng chuyển
động trong xử lý ảnh.
Trong chương này tôi giới thiệu về một số phương pháp phát hiện, theo vết
các đối tượng thơng qua các dữ liệu video từ các cơng trình nghiên cứu khoa học
trong nước và thế giới về vấn đề giải quyết các bài toán xử lý ảnh nhằm ứng dụng
trong lĩnh vực giao thơng, phân tích các ưu, nhược điểm của từng phương pháp để
tìm cách cải tiến, phục vụ cho đề tài nghiên cứu của bản thân.
Chương 3: Xây dựng ứng dụng ước lượng phương tiện tham gia giao thông
và kết quả thực nghiệm.
Chương này chủ yếu nói về vấn đề phân tích bài tốn, hướng giải quyết bài
tốn ước lượng phương tiện tham gia giao thơng. Đề xuất phương pháp được lựa
chọn để giải quyết bài tốn điều kiển giao thơng kết hợp kết quả phân tích, xử lý
hình ảnh giám sát giao thơng. Sau đó tiến hành cài đặt chương trình thử nghiệm để
kiểm tra phương pháp đề xuất, đồng thời rút ra được kinh nghiệm cho hướng phát
triển sau này.
Cuối cùng là kết luận và đề xuất một số hướng nghiên cứu tiếp tục trong thời
gian đến.

4
CHƯƠNG 1. TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH
Thị giác là giác quan con người cũng như hầu hết các lồi động vật khác thu
thập thơng tin nhanh nhất, tinh tế nhất và là kênh thông tin trao đổi tin cậy giúp đưa
ra những quyết định kịp thời và nhanh chóng trong hầu hết các hoạt động trong thực
tế của con người. Với ý nghĩa vơ cùng quan trọng đó, cùng với sự phát triển của
khoa học kĩ thuật và ứng dụng của nó trong nhiều lĩnh vực đã được tiến hành rộng
rãi, nhất là trong ứng dụng liên quan tới xử lý ảnh.
Vai trị của máy tính là trợ giúp con người trong sản xuất và đời sống. Để
đảm đương được những cơng việc phức tạp, máy tính phải có khả năng suy nghĩ và
trí tuệ tương đối. Trước hết, máy tính phải có được cảm nhận về thế giới như con
người.
Công nghệ cảm ứng đã phát triển mạnh trong các thập niên qua với nhiều
giác quan hoàn hảo giúp máy tính cảm nhận về bản thân như gia tốc, vận tốc, định
vị, định hướng, v.v... Tuy nhiên, máy tính vẫn chưa thể cảm nhận về thế giới xung
quanh ngoại trừ một số thông tin như nhiệt độ, áp lực, khoảng cách... Mảng ghép
quan trọng cịn thiếu chính là thị giác. Thị giác đem đến thơng tin có thể khái qt
hóa và tập hợp thành mơ hình. Thị giác được hồn thiện sẽ nâng tầm trí tuệ nhân tạo
lên một tầm cao mới, máy tính sẽ trở nên gần gũi và tương tác với con người thuận
lợi hơn.
Công nghệ thị giác máy tính (Computer Vision - CV) khởi đầu từ thập niên
70, cùng với ngành khoa học không gian với yêu cầu điều khiển từ xa các thiết bị,
robot thám hiểm. Sự phát triển không ngừng tốc độ xử lí của máy tính là động lực
quan trọng cho thị giác máy tính. Khi sức mạnh máy tính được cải thiện, thị giác
máy tính đã trở nên khả thi ứng dụng cho nhiều lĩnh vực.
Khác với những công nghệ cảm ứng khác chủ yếu là thu thập và xử lí dữ
liệu, thị giác máy tính cần thêm q trình phân tích, diễn dịch dữ liệu để có được
cảm nhận về thế giới. Phân tích thơng tin, ngồi một cơ sở dữ liệu đầy đủ, địi hỏi ở

máy tính năng lực diễn dịch, qui nạp. Thị giác máy tính có thể được chia thành các
phân nhóm theo chức năng như sơ đồ hình 1.1. Từ nền tảng đó, người ta lựa chọn
tích hợp các phân nhóm để hình thành các ứng dụng đa dạng.


5

Hình 1.1 Sơ đồ nhóm chức

năng của thị giác máy
tính



Thu thập ảnh
Giai đoạn tạo dạng dữ liệu được sử dụng trực tiếp trong thị giác máy tính:

ảnh định dạng số. Quá trình thu thập ảnh, video và chuyển đổi thành ảnh số phụ
thuộc vào các thiết bị phần cứng như cảm ứng ảnh, hệ thống kính quang học, màn
lọc bước sóng, hệ thống chiếu sáng hỗ trợ.
Với sự tiến bộ của ngành điện tử và cơ khí chính xác, các thiết bị phần cứng
trong thị giác máy tính đã hầu như hồn thiện như khoảng cách, độ phóng đại ảnh,
tốc độ chụp và độ nhạy sáng đều đã phát triển vượt bậc, đủ khả năng thu thập ảnh
số theo yêu cầu của mọi ứng dụng, từ kính viễn vọng chụp ảnh các thiên hà xa
xăm đến camera tí hon chụp ảnh bên trong cơ thể người.
Sự phát triển của thị giác máy tính hiện nay phục thuộc ở khả năng xử lí và
phân tích những ảnh số.


Hiệu chỉnh và phục chế ảnh

Quá trình hiệu chỉnh giúp ảnh số đẹp hơn, làm rõ những chi tiết cần thiết, nổi

bật những thông tin quan trọng trong bức ảnh. Bao gồm những thao tác đơn giản
như tăng, giảm độ tương phản, lọc nét,mờ, hiệu chỉnh histogram... đã đem đến
hiệu quả thiết thực và được sử dụng khá phổ biến. Hiệu chỉnh ở mức độ phức tạp
được áp dụng nhiều trong các ứng dụng về chẩn đốn y khoa. Phục chế ảnh là q
trình áp dụng các mơ hình tốn, xác suất để tái lập những chi tiết còn thiếu hoặc
ghi nhận sai trong q trình thu thập ảnh. Ví dụ như ảnh chụp từ vệ tinh trong khi
vệ tinh trải qua các rung động cơ học và qua khúc xạ khí quyển sẽ bị mờ. Từ các
rung động được ghi nhận và mô hình khí quyển, mơ hình sai số được sử dụng để


6
loại bỏ vệt mờ trên ảnh.


Xử lí màu sắc và độ phân giải ảnh
Cũng là quá trình giúp làm ảnh số đẹp hơn đối với người xem. Trong khi quá

trình hiệu chỉnh, phục hồi ảnh thao tác trên cường độ giữa các điểm ảnh, q trình
xử lí màu sắc thao tác trên mối tương quan giữa các kênh màu trong từng điểm
ảnh. Thao tác nén và thu nhỏ ảnh giúp giải quyết vấn đề lưu trữ cơ sở dữ liệu ảnh
lớn cũng như tăng tốc độ xử lí ảnh khi thông tin được giản lược đến mức vừa đủ
cho ứng dụng.


Xử lí hình trạng và phân tích chi tiết
Xử lí hình trạng là cơng đoạn đầu tiên trong nhóm phân tích dữ liệu ảnh, với

mục tiêu xây dựng từ tập hợp các điểm ảnh một mơ hình ảnh diễn tả bởi các hình

thể cơ bản là hình chữ nhật, trịn, hình trụ,... Mơ hình ảnh là cầu nối từ giác quan
của máy tính là ảnh số đến cảm quan của con người là ảnh khái niệm.
Phân tích chi tiết tiếp nối bằng việc nhóm các hình thể trong mơ hình ảnh
thành các thực thể riêng biệt. Đây là công đoạn khó tự động hóa nhất và quan
trọng trong thị giác máy tính khi phần lớn ứng dụng cấp cao đều dựa trên ảnh khái
niệm.


Nhận dạng và giám sát thực thể
Quá trình xác định một thực thể nào đó có trong ảnh hay không và chuyển

động ra sao trong một tập hợp ảnh. Quá trình nhận dạng và giám sát thực thể dựa
trên một cơ sở dữ liệu đầy đủ về thực thể cũng như khả năng tự học để tiến hóa
của thuật tốn.
1.1.

Xử lý ảnh
Con người thu nhận thơng tin qua các giác quan, trong đó thị giác đóng vai

trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy
tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụng
trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trị quan trọng trong tương tác
người máy.


7
1.1.1. Khái niệm xử lý ảnh
Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm
cho ra kết quả mong muốn. Kết quả đầu ra của một q trình xử lý ảnh có thể là một
ảnh “tốt hơn” hoặc một kết luận.

Ảnh tố
hơn
Ảnh

Xử lý ảnh
Kết luận

1.1.2. Tổng quan về hệ thống xử lý ảnh

Hình 1.2 Sơ đồ hệ thống xử lý ảnh
Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm biến (sensor) hay ảnh,
tranh được quét trên máy scanner. Tiếp theo là q trình số hố để biến đổi tín hiệu
tương tự sang tín hiệu số trước khi chuyển sang giai đoạn xử lý, phân tích hay lưu
trữ lại.
Q trình phân tích ảnh thực chất bao gồm nhiều cơng đoạn nhỏ. Trước hết
là công việc tăng cường ảnh để nâng cao chất lượng ảnh. Do những nguyên nhân
khác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu,
ảnh có thể bị suy biến. Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi
bật một số đặc tính chính của ảnh hay làm cho ảnh gần giống nhất với trạng thái
gốc-trạng thái trước khi ảnh bị biến dạng. Giai đoạn tiếp theo là phát hiện các đặc
tính như biên, phân vùng ảnh, trích chọn các đặc tính.


8
Cuối cùng, tuỳ theo mục đích của ứng dụng, sẽ là giai đoạn nhận dạng, phân
lớp hay các quyết định khác. Các giai đoạn chính của q trình xử lý ảnh có thể mơ
tả ở hình 10. Với các giai đoạn trên, một hệ thống xử lý ảnh gồm các thành phần tối
thiểu như hình

Tiền xử lý
ảnh

Thu nhận ảnh

Hậu xử lý
ảnh

Trích chọn
đặc điểm
Hệ quyết
định

Lưu trữ

Đối sánh rút
ra kết luận
Hình 1.3 Sơ đồ cấu trúc của hệ thống xử lý ảnh
 Sơ đồ cấu trúc của hệ thống xử lý ảnh và video tổng quát được giới thiệu
trong hình 1.3 phù hợp với hầu hết các ứng dụng trong lĩnh vực này. Trong một số
hệ thống đặc biệt có thể bỏ bớt một số khối trong sơ đồ trên .
 Tiền xử lý: Các thao tác xử lý tác động lên hình ảnh và video để chúng trở
nên thích hợp hơn cho các thao tác xử lý chính. Ví dụ như các thao tác giảm nhiễu,
làm sắc nét, chuyển từ ảnh màu sang ảnh đa cấp xám, cắt xén vùng ảnh cần tập
trung xử lý…
 Phân đoạn: Các thông tin cần quan tâm trong ảnh và video sẽ được trích
xuất ra. Ví dụ như các vùng ảnh chuyển động trong video sẽ được phân đoạn bằng
cách thể hiện dưới dạng ảnh nhị phân. Vùng ảnh chuyển động sẽ có màu trắng và
nền sẽ có màu đen.
 Biểu diễn: Các đối tượng được tách ra từ khối phân đoạn sẽ được biểu diễn

một cách chính xác với các đặc trưng của từng đối tượng riêng biệt. Ví dụ như các
đối tượng chuyển động sẽ được biểu diễn bằng đường bao quanh đối tượng và được
gán nhãn phân biệt cho từng đối tượng.


9
 Phân lớp: Xác định các đối tượng được tách ra từ các khối trước đó có phải
là đối tượng cần quan tâm hay khơng. Ví dụ như xác định xem các đối tượng
chuyển động có phải là xe ơ tô hoặc khách bộ hành hay không
Tuỳ theo hệ thống mà một thao tác xử lý có thể thuộc về khối này hoặc khối
kia. Trong một số hệ thống mà khối phân đoạn cho ra kết quả là ảnh nhị phân với
màu trắng và đen thì khối biểu diễn và khối phân lớp được ghép thành khối phân
tích BLOB (Binary Large OBject). BLOB là đối tượng nhị phân lớn. BLOB mang ý
nghĩa là chỉ quan tâm đến các nhóm điểm ảnh nhị phân lớn có kích thước nhất định.
Cịn những nhóm điểm ảnh nhị phân nhỏ xem như là nhiễu
1.1.3. Các vấn đề cơ bản trong xử lý ảnh
 Điểm ảnh:
Ảnh tự nhiên là ảnh liên tục về không gian và độ sáng. Để xử lý ảnh bằng máy
tính, ảnh cần được số hóa. Số hóa ảnh là sự biển đổi gần đúng một ảnh liên tục
thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng (mức
xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người khơng
phân biệt được ranh giới giữa chúng. Mỗi điểm như vậy gọi là điểm ảnh
(PEL :Picture Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều. Mỗi
pixel ứng với cặp tọa độ (x,y).
Điểm ảnh (pixel) là một phần tử của ảnh số tại tọa độ (x,y) với độ xám hoặc
màu xác định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích
hợp sao cho mắt người cảm nhận được sự liên tục về không gian và mức xám (hoặc
màu) của ảnh số gần như là thật. Mỗi phần tử trong ma trận được gọi là phần tử ảnh.
 Độ phân giải: Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được
ấn định trên một ảnh số được hiển thị. Theo định nghĩa, khoảng cách giữa các điểm

ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục cuẩ ảnh. Việc lựa
chọn khoảng cách thích hợp tạo nên một mật độ phân bố, đó chính là độ phân giải
và được phân bố theo trục x và y trong không gian hai chiều.
 Khử nhiễu: Có 2 loại nhiễu cơ bản trong q trình thu nhận ảnh
- Nhiều hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi
- Nhiễu ngẫu nhiên: vết bẩn không rõ nguyên nhân  khắc phục bằng các
phép lọc


10
 Chỉnh mức xám: Nhằm khắc phục tính khơng đồng đều của hệ thống gây
ra, thơng thường có 2 hướng tiếp cận:
- Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần nhau thành
một bó. Trường hợp chỉ có 2 mức xám thì chính là chuyển về ảnh đen trắng. Ứng
dụng: In ảnh màu ra máy in đen trắng.
- Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian bằng kỹ
thuật nội suy. Kỹ thuật này nhằm tăng cường độ mịn cho ảnh
 Phân tích ảnh: Là khâu quan trọng trong q trình xử lý ảnh để tiến tới hiểu
ảnh. Trong phân tích ảnh việc trích chọn đặc điểm là một bước quan trọng. Các đặc
điểm của đối tượng được trích chọn tuỳ theo mục đích nhận dạng trong q trình xử
lý ảnh. Có thể nêu ra một số đặc điểm của ảnh sau đây:
- Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm
uốn v.v..
- Đặc điểm biến đổi: Các đặc điểm loại này được trích chọn bằng việc thực
hiện lọc vùng (zonal filtering). Các bộ vùng được gọi là “mặt nạ đặc điểm” (feature
mask) thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cung
tròn v.v..)
Đặc điểm biên và đường biên: Đặc trưng cho đường biên của đối tượng và do
vậy rất hữu ích trong việc trích trọn các thuộc tính bất biến được dùng khi nhận
dạng đối tượng. Các đặc điểm này có thể được trích chọn nhờ tốn tử gradient, tốn

tử la bàn, tốn tử Laplace, v.v..
Việc trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượng
ảnh chính xác, với tốc độ tính tốn cao và dung lượng nhớ lưu trữ giảm xuống.
1.2. Video
1.2.1. Sơ lược về Video
Video (vi-đê-ô) là phương tiện điện tử để ghi, sao chép, phát lại, phát
sóng và hiển thị hình ảnh chuyển động được lưu trữ trong các phương tiện. Video
lần đầu tiên được phát triển cho các hệ thống truyền hình cơ học, được thay thế
nhanh chóng bằng hệ thống ống tia âm cực (CRT), sau đó được thay thế bằng một
số loại màn hình phẳng.


11
Các hệ thống video khác nhau về độ phân giải màn hình, tỷ lệ khung hình,
tốc độ làm mới, khả năng màu sắc và các phẩm chất khác. Các biến thể tương tự và
kỹ thuật số tồn tại và có thể được thực hiện trên nhiều phương tiện khác nhau, bao
gồm phát sóng radio, băng từ, đĩa quang, tệp máy tính và truyền phát qua mạng.
Cơng nghệ video lần đầu tiên được phát triển cho các hệ thống truyền hình
cơ học, đã nhanh chóng được thay thế bằng hệ thống truyền hình ống tia âm
cực (CRT), nhưng một số cơng nghệ mới cho các thiết bị hiển thị video đã được
phát minh. Video ban đầu chỉ là một công nghệ sống. Charles Ginsburg đã lãnh đạo
một nhóm nghiên cứu của Ampex phát triển một trong những máy ghi băng
video thực tế đầu tiên (VTR). Năm 1951, máy ghi băng video đầu tiên đã ghi lại
hình ảnh trực tiếp từ máy quay truyền hình bằng cách chuyển đổi các xung điện của
máy ảnh và lưu thông tin vào băng video từ tính.
1.2.2. Các định dạng video
Ngày nay với sự xuất hiện gia tăng của các video trên web, Youtube… kéo
theo nhiều kiểu định dạng file và các công nghệ bảo vệ video ra đời.
Mỗi định dạng file video đều có những ưu và nhược điểm riêng để phù hợp cho
thiết bị và mục đích sử dụng của người dùng. Một file video bình thường ở định

dạng kỹ thuật số sẽ được tạo từ hai phần đó là codec và container.
Trong đó, Codec dùng để nén và giải nén cho file video khi có nhiều file lớn
và gây khó khăn trong quá trình tải lên hoặc tải xuống. Cịn phần “Container” là tập
hợp các file lưu trữ thông tin về file kỹ thuật số, là sự kết hợp giữa dữ liệu âm thanh
và hình ảnh trên một file để phát âm thanh và hình khớp với nhau. Và khi sử dụng
máy tính, người dùng sẽ phải làm quen với rất nhiều định dạng file khác nhau. Mỗi
file thường được tạo ra và đọc bởi một hoặc 1 số định dạng nhất định.


Định dạng AVI (Audio Video Interleave)
Đây là định dạng file video được phát triển bởi Microsoft, ra mắt công

chúng vào tháng 11/1992. AVI được xem là một trong những định dạng
video lâu đời nhất, được nhiều người chấp nhận, sử dụng rộng rãi, dùng để
lưu trữ thông tin video và âm thanh trên máy tính. Định dạng AVI có thể
chạy được trên nhiều hệ thống khác nhau như Windows, Mac, Linux vì do
có kiến trúc đơn giản. Kiểu định dạng này có thể được mã hóa thành một số