Nghiên cứu phương pháp xử lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong điều khiển vũ khí tự động (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO

BỘ QUỐC PHÒNG

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

Nguyễn Văn Hùng

NGHIÊN CỨU PHƯƠNG PHÁP XỬ LÝ ẢNH
TRONG PHÁT HIỆN, BÁM MỘT SỐ CHỦNG LOẠI MỤC TIÊU
VÀ ÁP DỤNG TRONG ĐIỀU KHIỂN VŨ KHÍ TỰ ĐỘNG
Chuyên ngành: CƠ SỞ TOÁN CHO TIN HỌC
Mã số:
62 46 01 10

TÓM TẮT LUẬN ÁN TIẾN SỸ TOÁN HỌC

Hµ Néi - 2017


Công trình được hoàn thành tại:
VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ - BỘ QUỐC PHÒNG

Người hướng dẫn khoa học:
1. PGS. TS Nguyễn Văn Xuất
2. TS Nguyễn Chí Thành

Phản biện 1: PGS. TSKH Trần Hoài Linh
Đại học Bách khoa Hà Nội
Phản biện 2: PGS. TS Lê Thanh Hà
Trường Đại học Công nghệ,

Đại học Quốc gia Hà Nội
Phản biện 3: PGS. TS Phạm Trung Dũng
Học viện Kỹ thuật quân sự

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Viện họp tại
Viện KH&CNQS
Vào hồi

giờ

ngày tháng

năm 2017

Có thể tìm hiểu luận án tại thư viện:
- Thư viện Viện Khoa học và Công nghệ quân sự
- Thư viện Quốc gia Việt Nam


1
MỞ ĐẦU
Phân hệ tự động trinh sát phát hiện mục tiêu là một thành phần then chốt
trong các hệ thống vũ khí công nghệ cao. Nó góp phần tăng cường đáng kể
hiệu quả hoạt động của các hệ thống vũ khí, và giảm thiểu sự tham gia trực
tiếp của con người, đặc biệt trong các môi trường khắc nghiệt. Việc nghiên
cứu và xây dựng phân hệ trinh sát phát hiện tự động mục tiêu có vai trò quan
trọng trong việc nâng cấp, cải tiến các hệ thống vũ khí thế hệ cũ, là cơ sở phát
triển các hệ thống vũ khí thế hệ mới. Luận án “Nghiên cứu phương pháp xử
lý ảnh trong phát hiện, bám một số chủng loại mục tiêu và áp dụng trong
điều khiển vũ khí tự động” nhằm đáp ứng nhu cầu thực tiễn này của quân đội

ta.
 Mục tiêu chính của luận án là nghi n cứu â ựng hệ thống tự động
phát hiện và ám các mục tiêu quân sự ( e tăng, e cơ giới…) sử dụng công
nghệ xử lý ảnh và các thuật toán nhận dạng, phục vụ cho việc điều khiển vũ
khí khí tài, tự động tiêu diệt mục tiêu.
 Đối tượng nghiên cứu chính là hệ thống trinh sát phát hiện mục tiêu của
các hệ thống vũ khí. Các hệ thống vũ khí nà có mục tiêu cần tiêu diệt là các
đối tượng quân sự mặt đất như e tăng và các loại e cơ giới.
 Phạm vi nghiên cứu của luận án tập trung giải quyết các câu hỏi nghiên
cứu như sau:
- Các đối tượng mục ti u của các loại vũ khí là gì? Chúng có đặc trưng gì
nổi ật so với các đối tượng nền trong ảnh?
- Làm thế nào để phát hiện và nhận ạng tự động mục ti u trong ảnh ưới
các điều kiện tạo ảnh khác nhau?
- Làm thế nào để ám chính ác mục ti u được phát hiện, với thời gian
thực?
 Ý nghĩa khoa học của luận án:
- Đề xuất một giải pháp xây dựng hệ thống trinh sát phát hiện mục tiêu cho
các hệ thống vũ khí, sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng
thông minh.
- Đề xuất một giải pháp mới, phát hiện tự động các mục tiêu quân sự trong
chuỗi khung ảnh video.
- Đề xuất một giải pháp mới, bám tự động mục tiêu quân sự trong chuỗi
khung ảnh video.
 Ý nghĩa thực tiễn:
- Kết quả của luận án là cơ sở lý thuyết quan trọng để xây dựng các hệ
thống trinh sát phát hiện và bám các mục tiêu quân sự: phục vụ cho nhu cầu
cải tiến, nâng cấp các hệ thống vũ khí thế hệ cũ và phát triển các hệ thống vũ
khí công nghệ cao.
- Luận án cũng là một giải pháp phục vụ cho việc thay thế phân hệ trinh sát

phát hiện mục tiêu trong các hệ thống vũ khí công nghệ cao.


2
Chương 1: TỔNG QUAN VỀ PHÁT HIỆN VÀ BÁM MỤC TIÊU TỪ
CHUỖI ẢNH
Chương nà trình à tổng quan về phát hiện, bám mục tiêu trong chuỗi
ảnh video, hướng tiếp cận giải quyết bài toán phát hiện và bám các mục tiêu
quân sự trong chuỗi ảnh video.
1.1. Phát hiện mục tiêu từ chuỗi ảnh
1.1.1. Bài toán phát hiện mục tiêu
Bài toán phát hiện mục ti u có đầu vào là các khung ảnh được thu thập từ
camera, đầu ra là các vùng ảnh chứa mục tiêu nằm trong các khung ảnh đầu
vào. Trong hệ thống tự động dò bám theo mục tiêu, phát hiện mục tiêu là bài
toán đầu tiên cần phải giải quyết. Nó được em như là ước đầu tiên của tiến
trình bám theo mục tiêu.

Tập ảnh học

Ảnh đầu
vào

Trích chọn đặc
trưng ảnh

Trích chọn đặc
trưng ảnh

Xây dựng mô hình toán
biểu diễn mục tiêu qua

các đặc trưng ảnh

Xác định mục tiêu

Mục tiêu
trong ảnh

Hình 1.1. Sơ đồ khối các bước thực hiện trong phát hiện mục tiêu.
Tr n cơ sở nghiên cứu các phương pháp phát hiện mục tiêu đã được công
bố. Để ác định mục tiêu trong các ảnh đầu vào, mỗi phương pháp nà đều
gồm hai pha thực hiện như trong Hình 1.1:
Pha 1: Xác định mô hình toán học biểu diễn mục tiêu. Pha nà được thực
hiện trên tập ảnh mẫu (tập ảnh học) để xây dựng mô hình toán biểu diễn đối
tượng bằng các đặc trưng ảnh. Pha 2: Tìm mục tiêu trong ảnh đầu vào. Pha
này thực hiện việc dò tìm các vùng ảnh mục tiêu trên các ảnh đầu vào bằng
cách sử dụng mô hình toán biểu diễn đối tượng được ác định trong Pha 1.
Phần ưới đâ chúng tôi sẽ trình bày chi tiết về các loại đặc trưng ảnh, các
phương pháp phát hiện mục tiêu với các mô hình toán khác nhau.
1.1.2. Các đặc trưng ảnh
Phần nà trình à các kiểu đặc trưng ảnh thường được sử ụng để iểu
iễn đối tượng trong phát hiện mục ti u tự động. Có ba loại đặc trưng chính:
1.1.2.1. Đặc trưng màu sắc:
Đặc trưng màu là một trong những đặc trưng quan trọng để mô tả đặc tính
bề ngoài của mục tiêu. Đặc trưng màu của một điểm ảnh P là một vector f = (
f1, f2,… ,fn ), trong đó fi là giá trị một thành phần màu i ở vị trí P trong một
không gian màu nhất định hoặc trong nhiều không gian màu khác nhau. Đối


3
với một vùng ảnh R, đặc trưng màu được sử dụng phổ biến để biểu diễn R

trong phát hiện mục tiêu là lược đồ màu (Color Histogram).
1.1.2.2. Đặc trưng kết cấu
Đặc trưng kết cấu (Texture) biểu thị mối quan hệ của một nhóm điểm ảnh
lân cận nhau (một điểm ảnh với các điểm ảnh lân cận nó), nó phản ánh cấu
trúc cục bộ của đối tượng. Các đặc trưng kết cấu được sử dụng phổ biến trong
phát hiện mục tiêu gồm: i) đặc trưng gradient; ii) đặc trưng mẫu nhị phân cục
bộ LBP (Local Binary Pattern); iii) đặc trưng Haar-like; iv) đặc trưng phổ tần
số.
1.1.2.3. Đặc trưng hình dạng
Hình ạng là một đặc trưng quan trọng của một mục ti u và nó là đặc trưng
được sử ụng phổ iến trong các ứng ụng phát hiện và ám mục ti u trong
các ảnh vi eo đầu vào. Dựa vào cách tính toán, đặc trưng hình ạng được phân
làm hai loại chính: i) đặc trưng hình dạng dựa vào đường bao được trích chọn
ựa vào các điểm ảnh nằm tr n các đường ao đối tượng; ii) đặc trưng hình
dạng dựa vào vùng trong đường bao được trích chọn ựa vào thông tin của cả
các điểm ảnh nằm tr n đường ao và n trong đường ao mục ti u.
1.1.3. Các giải pháp phát hiện mục tiêu
Một số tác giả phân loại các giải pháp phát hiện mục tiêu dựa vào đặc trưng
ảnh [52], [106], trong khi nhiều tác giả khác lại phân loại dựa vào mô hình
toán học biểu diễn mục tiêu [87], [107], [108]. Trong luận án này, chúng tôi
dựa trên cả các đặc trưng ảnh và các mô hình toán để phân loại các giải pháp
thành bốn loại như sau:
1.1.3.1. Phát hiện mục tiêu dựa vào phân vùng ảnh
Các giải pháp thuộc nhóm nà ác định các vùng ảnh mục tiêu trong ảnh
đầu vào bằng các kỹ thuật phân vùng ảnh. Các kỹ thuật phân vùng ảnh khai
thác thông tin (màu sắc và kết cấu) ở cấp độ điểm ảnh để phân tách ảnh đầu
vào thành các các vùng ảnh chứa các điểm ảnh có các đặc tính giống nhau.
Đánh giá: Nhìn chung, các giải pháp dựa vào phân vùng ảnh có độ chính
xác phát hiện mục tiêu cao và có quá trình học các tham số cho mô hình biểu
diễn mục ti u đơn giản. Tuy nhiên, nó có một số nhược điểm chính như sau:

- Tốc độ tính toán chậm, bởi vì quá trình phân vùng ảnh phải xem xét tất cả
các khả năng của mỗi điểm ảnh.
- Hiệu quả của việc phát hiện mục tiêu phụ thuộc rất lớn vào kỹ thuật phân
vùng ảnh.
1.1.3.2. Phát hiện mục tiêu dựa vào chuyển động
Giải quyết bài toán phát hiện mục tiêu bằng cách đi tìm các vùng ảnh
chuyển động [52], [106]. Có hai cách tiếp cận chính để ác định vùng ảnh


4
chuyển động: 1) Dựa vào tốc độ và hướng dịch chuyển của mục tiêu (Optical
Flow); 2) Dựa vào mô hình nền tham chiếu (Background Model).
Đánh giá:
- Các thuật toán có ưu điểm là chúng thích nghi với sự thay đổi của đối
tượng nền trong cảnh, nhưng độ chính xác thấp khi mục tiêu bị tha đổi bởi
các điều kiện chiếu sáng khác nhau hoặc có tốc độ và hướng dịch chuyển thay
đổi đột ngột.
- Các thuật toán dựa vào mô hình nền có tốc độ tính toán cao và rất hiệu
quả trong các trường hợp mà cảnh nền ít bị tha đổi. Tuy nhiên, các thuật toán
nà có độ chính xác phát hiện mục tiêu thấp khi mà đối tượng nền trong cảnh
tha đổi nhiều.
1.1.3.3. Phát hiện mục tiêu dựa vào các bộ phân lớp
Các giải pháp phát hiện mục tiêu theo nhóm này sử dụng các bộ phân lớp
học có giám sát để ác định vùng ảnh mục tiêu từ các điểm ảnh nền trong ảnh
đầu vào [125], [126], [127], [128], [129], [130]. Các bộ phân lớp học có giám
sát được sử dụng rộng rãi trong phát hiện mục tiêu gồm có: i) Mạng nơ ron
(Neural Networks); ii) Máy hỗ trợ vector (Support Vectors Machine SVM); iii)
Kết hợp đa bộ phân lớp yếu (AdaBoost).
Đánh giá: Giải pháp trên dễ thực hiện và có hiệu quả cao đối với các
trường hợp mà mục ti u có các đặc trưng ảnh khác biệt rõ ràng so với các đối

tượng nền. Các nhược điểm chính là:
- Nó yêu cầu các tập dữ liệu mẫu của mục ti u và các đối tượng nền dùng
cho huấn luyện phải đủ lớn. Đâ là điều rất khó thực hiện.
- Độ chính xác phát hiện mục tiêu sẽ thấp khi sự khác biệt giữa các đặc
trưng ảnh biểu diễn mục ti u và các đặc trưng ảnh biểu diễn các đối tượng nền
là nhỏ.
1.1.3.4. Phát hiện mục tiêu dựa vào so khớp mẫu
Trong các giải pháp thuộc nhóm này [131], [132], [133], [134], thuật toán
ác định mục ti u được thực hiện với hai ước chính:
- Bước 1: Xây dựng các bộ đặc tả mục tiêu hoặc các thành phần của mục
ti u như các ộ đặc trưng ảnh mẫu từ tập dữ liệu học.
- Bước 2: Ảnh đầu vào được quét bằng một cửa sổ trượt, vùng ảnh trong
cửa sổ trượt được biểu diễn bởi các đặc trưng ảnh và so sánh với các bộ mẫu
đặc trưng của mục tiêu bằng phép đo. Nếu giá trị của phép đo lớn thì vùng ảnh
đó là mục ti u, ngược lại nó là đối tượng nền.
Đánh giá: Các giải pháp trên được sử dụng khá phổ biến bởi chúng có độ
chính xác cao. Hiệu quả của các giải pháp này phụ thuộc chủ yếu vào bộ đặc
trưng mẫu biểu diễn mục ti u. Nhược điểm lớn nhất của các giải pháp này là
chúng có tốc độ tính toán chậm, đặc biệt trong trường hợp kích thước và số
lượng của các bộ đặc tả mục tiêu lớn.


5
1.2. Bám mục tiêu từ chuỗi ảnh
1.2.1. Bài toán bám mục tiêu
Bám mục tiêu là một ài toán ác định qũy đạo chuyển động của một hoặc
nhiều mục tiêu theo thời gian, được thực hiện bằng việc ác định các vị trí
mục tiêu trong mỗi khung ảnh [52]. Các đặc điểm chính của bài toán bám mục
tiêu là: - Đầu vào: các chuỗi ảnh theo thời gian; thông tin về mục tiêu; thông
tin về đối tượng nền. - Đầu ra: vị trí của mục tiêu thuộc quỹ đạo chuyển động

trong ảnh đầu vào.
1.2.2. Các giải pháp bám mục tiêu
Dựa vào đặc trưng sử dụng để biểu diễn mục tiêu và mô hình biểu diễn quỹ
đạo chuyển động của mục tiêu [52], các giải pháp bám mục ti u được phân
thành ba dạng chính như sau:
1.2.2.1. Bám mục tiêu theo điểm
Các giải pháp ám theo điểm biểu diễn mục tiêu cần tìm trong ảnh như một
điểm (điểm tâm của mục tiêu) hoặc một tập điểm (sử dụng các điểm đặc biệt
tr n đường bao mục tiêu). Có nhiều thuật toán ám theo điểm khác nhau và
lớp thuật toán nà được chia thành 2 nhóm: các thuật toán tất định
(Deterministic Algorithms) và các thuật toán thống kê xác suất (Statistical
Algorithms).
Đánh giá: Ưu điểm của các thuật toán bám theo điểm là có tốc độ tính toán
nhanh, phù hợp với các ứng dụng mà tốc độ và quỹ đạo dịch chuyển của mục
ti u tha đổi chậm theo thời gian. Tuy nhiên, các thuật toán nà có độ chính
xác không cao khi mục ti u tha đổi liên tục về tốc độ và quỹ đạo dịch chuyển.
Mặt khác việc sử dụng thông tin ở một số điểm ảnh để ác định mục tiêu sẽ dễ
bị nhạy cảm với nhiễu nền.
1.2.2.2. Các giải pháp bám theo đặc trưng bề mặt
Các giải pháp thuộc lớp này xấp xỉ vùng ảnh mục ti u như một vùng ảnh
hình chữ nhật hoặc hình ellip và sử dụng các đặc trưng ề ngoài (đặc trưng
màu sắc và kết cấu) để biểu diễn mục tiêu. Hầu hết các giải pháp bám truyền
thống sử dụng các thông tin mức ám để biểu diễn mục tiêu và sử dụng kỹ
thuật đối sánh tương quan chéo để ác định mục tiêu. Thay vì chỉ sử dụng các
giá trị mức xám, các giải pháp bám mục tiêu gần đâ đã kết hợp nhiều đặc
trưng ề mặt khác nhau.
Đánh giá: Các giải pháp bám dựa vào đặc trưng ề mặt giải quyết bài toán
ám như ài toán phát hiện mục tiêu dựa vào đặc tính chuyển động, do vậy mà
nó thích nghi được với sự thay về đổi tốc độ và hướng dịch chuyển của mục
ti u. Tu nhi n, độ chính xác và tốc độ tính toán của các giải pháp này phụ

thuộc lớn vào việc lựa chọn các đặc trưng ảnh biểu diễn mục tiêu. Nếu chỉ sử
dụng đặc trưng màu hoặc mức ám thì độ chính xác bám mục tiêu sẽ thấp khi
các điều kiện ánh sáng tha đổi trong cảnh. Nếu sử dụng đặc trưng quá phức
tạp, thì thời gian tính toán sẽ chậm.


6
1.2.2.3. Các giải pháp bám theo hình dạng
Lớp giải pháp này có thể được chia thành hai nhóm chính.
- Nhóm thứ nhất sử dụng một bộ đặc tả hình dạng để biểu diễn mục tiêu
như các mẫu trong các khung ảnh đầu tiên dựa trên các mục tiêu được phát
hiện và sau đó áp ụng kỹ thuật so khớp mẫu để bám mục tiêu trong các khung
ảnh tiếp theo.
- Nhóm thứ hai biểu diễn sự dịch chuyển trong không gian của các đường
bao mục tiêu giữa các khung ảnh liên tiếp nhau bằng một mô hình không gian
trạng thái.
Đánh giá: Các giải pháp bám mục tiêu dựa vào đặc trưng hình ạng có độ
chính ác cao. Tu nhi n, các phương pháp nà có độ phức tạp cao và tốc độ
tính toán chậm.
1.3. Đặc điểm của bài toán phát hiện và bám mục tiêu quân sự
Việc phát hiện và bám các mục tiêu quân sự so với các đối tượng mục tiêu
dân sự có những đặc điểm nổi bật như sau:
- Thứ nhất, các mục tiêu quân sự thường được ngụ trang để màu sắc tương
đối giống với các đối tượng nền như các vùng cỏ và cây, do vậy rất khó phân
tách các mục tiêu quân sự từ các đối tượng nền trong ảnh.
- Thứ hai, việc phát hiện và bám các mục tiêu quân sự thường phải thực
hiện ở một khoảng cách a hàng trăm mét đến hàng cây số, cho nên các ảnh
thu thập thường chứa nhiều đối tượng nền, nhiễu trong ảnh.
- Thứ ba, hệ thống phát hiện và bám mục tiêu quân sự phải có tốc độ tính
toán thời gian thực và có độ chính xác cao.

Các đặc điểm tr n cũng chính là u cầu cần phải giải quyết trong bài toán
phát hiện và bám mục tiêu trong luận án này.
1.4. Hướng tiếp cận của luận án
1.4.1. Sơ đồ khối của hệ thống phát hiện và bám các mục tiêu quân sự
Hệ thống phát hiện và bám các mục tiêu quân sự được thiết kế bao gồm ba
thành phần chính như trong sơ đồ khối như sau:

Chuỗi ảnh video

Phát hiện mục
tiêu

Bám mục tiêu

Vị trí mục
tiêu trong
mỗi ảnh

Hình 1.5. Sơ đồ khối của hệ thống phát hiện và bám mục tiêu quân sự
1- Khối thu nhận ảnh: khối này là các camera chuyên dụng có khả năng
chụp được các cảnh ở xa với chất lượng ảnh tốt.
2- Khối phát hiện mục tiêu: từ chuỗi ảnh vi eo được thu thập từ khối thu
nhận ảnh, khối này có nhiệm vụ nhận diện sự xuất hiện của các mục tiêu quân


7
sự (người, e tăng và e cơ giới quân sự) trong cảnh. Đầu ra của khối này là
đầu vào cho ước khởi tạo an đầu của khối bám mục tiêu.
3- Khối bám đối tượng: khi đầu ra của khối phát hiện mục tiêu chỉ ra rằng
có sự uất hiện các mục quân sự trong cảnh. Trong các chuỗi ảnh vi eo tiếp

theo, hệ thống sẽ chu ển sang ám mục ti u và khối phát hiện mục tiêu sẽ
ừng hoạt động.
1.4.2. Đinh hướng nhiệm vụ của luận án
Do vậy, các giải pháp phát hiện và bám mục tiêu trong ảnh được đề xuất
trong luận án này phải giải quyết được các khó khăn trong mục 1.3. Các nhiệm
vụ chính của luận án được ác định là:
Nhiệm vụ 1: Nghiên cứu và xây dựng một giải pháp phát hiện mục tiêu
quân sự có hiệu quả và tốc độ tính toán nhanh từ chuỗi ảnh vi eo được thu
thập từ xa.
Nhiệm vụ 2: Từ vùng ảnh mục tiêu được ác định trong các chuỗi ảnh đầu
tiên, nghiên cứu và xây dựng một giải pháp bám mục tiêu quân sự có tốc độ
tính toán và độ chính xác cao trong các chuỗi ảnh video tiếp theo.
1.4.3. Hướng giải quyết bài toán phát hiện và bám mục tiêu quân sự
Như đã trình à trong mục 1.1 và 1.2 sẽ không đáp ứng được yêu cầu của
bài toán phát hiện và bám mục tiêu quân sự. Tr n cơ sở nghiên cứu, phân tích
các ưu điểm của giải pháp đã có và các đặc trưng mục tiêu quân sự, chúng tôi
ác định hướng giải quyết bài toán phát hiện và bám các mục tiêu quân sự
trong chuỗi ảnh vi eo đầu vào như sau:
- Thứ nhất là thu hẹp không gian tìm kiếm mục tiêu trong ảnh đầu vào sử
dụng các đặc trưng ảnh và các đặc tính chuyển động của mục tiêu.
- Thứ hai là lựa chọn đặc trưng ảnh phản ánh được các đặc tính riêng biệt
của mục tiêu so với các đối tượng nền. Trong luận án này, chúng tôi sử dụng
kết hợp các loại đặc trưng ảnh khác nhau để biểu diễn mục tiêu gồm: 1) Đặc
trưng màu, 2) Đặc trưng hướng cạnh và 3) Đặc trưng đặc tả hình dạng. Sự kết
hợp các loại đặc trưng nà sẽ phản ánh được cả các đặc điểm cục bộ và toàn
cục của mục tiêu.
- Thứ ba là lựa chọn mô hình toán biểu diễn các đặc trưng ảnh có tốc độ
tính toán nhanh và độ chính xác cao. Các mô hình toán biểu diễn đặc trưng ảnh
được tập trung nghiên cứu là các mô hình xác suất, các phép đo toán học trong
so khớp mẫu và các mô hình phân lớp được sử dụng trong các thuật toán nhận

dạng.
- Thứ tư là thu thập các tập dữ liệu đủ lớn chứa các cảnh môi trường khác
nhau, ưới các điều kiện tạo ảnh khác nhau để: 1) Xây dựng các tập mẫu dữ
liệu mục tiêu phục vụ cho việc học; 2) Đánh giá, phân tích hiệu quả của các
thuật toán phát hiện và bám mục tiêu.


8
Kết luận Chương 1:
- Chương nà đã trình à tổng quan về các giải pháp phát hiện và bám
mục tiêu từ video.
- Chương nà cũng đã mô tả hướng tiếp cận của luận án để giải quyết các
nhiệm vụ nghiên cứu.
Chương 2: PHÁT HIỆN MỤC TIÊU TRONG ẢNH VIDEO SỬ DỤNG CÁC
ĐẶC TRƯNG CHUYỂN ĐỘNG, MÀU SẮC VÀ HÌNH DẠNG
2.1. Đặt vấn đề phát hiện mục tiêu
Chương nà trình à một giải pháp mới để phát hiện các mục tiêu quân sự
từ chuỗi ảnh video. Giải pháp đề xuất để phát hiện mục tiêu trong các ảnh đầu
vào bằng hai ước chính:
- Bước 1: Trích chọn các vùng ảnh có khả năng chứa các điểm ảnh mục
tiêu, các vùng ảnh nà được gọi là các vùng quan tâm, kí hiệu là ROI. Các
ROI được ác định dựa tr n đặc trưng chu ển động.
- Bước 2: Xác định mục ti u tr n các ROI. Để tìm mục tiêu trên các ROI,
chúng tôi sử dụng kết hợp đặc trưng màu và đặc trưng hình dạng để biểu diễn
các vùng ảnh trong một mô hình toán học. Mô hình toán học đo sự giống nhau
giữa các đặc trưng ảnh của các vùng ảnh so sánh với các đặc trưng mẫu của
mục ti u được ác định trong tập học.
Giải pháp đề xuất được đánh giá tr n các tập dữ liệu lớn của các loại mục
tiêu quân sự khác nhau như e tăng và các loại e cơ giới. Ngoài ra, giải pháp
đề xuất cũng được được đánh giá thông qua kết quả thực nghiệm trong so sánh

với các giải pháp phát hiện mục tiêu khác.
2.2. Giải pháp đề xuất phát hiện mục tiêu quân sự
Giải pháp đề xuất phát hiện các mục tiêu quân sự bao gồm 02 ước chính:
Trích chọn ROI và Xác định mục tiêu như trong sơ đồ khối Hình 2.1.
Chuỗi ảnh
đầu vào

Vùng ảnh
mục tiêu

Xác định
mục tiêu

Trích chọn
ROI

Hình 2.1. Sơ đồ khối của giải pháp phát hiện mục tiêu quân sự.
2.2.1. Trích chọn ROI
Trích chọn ROI được thực hiện bằng việc đi tìm các vùng ảnh chuyển động
của mục tiêu. Gọi Fi và Fj là hai khung ảnh trong chuỗi ảnh video thu nhận
được từ camera, các chỉ số i và j thỏa mãn j > i. Sự khác nhau D(x,y) ở mỗi vị
trí điểm ảnh (x,y) giữa hai khung ảnh được tính như sau:
(

)

√(

(

)

(

)

(

))

(2.1)


9
(

)

[

(

)

(

)]

(

)

[

(

)

(

)]

(2.2)

)
)
( )]
[ (
{ (
Trong đó:
(
),
( ),
( ) là ba giá trị màu điểm ảnh (x,y)
trên Fi , là một hằng số chuẩn hóa D(x,y). D(x,y) có giá trị nằm trong dải
[0,1].
là các trọng số màu, thỏa mãn
. Mặt nạ
chuyển động của các đối tượng trong cảnh được trích chọn như sau:
(

)
( ) {
(2.3)
(
)
Khung ảnh Fi

Khung ảnh Fi+k

(a) hai khung ảnh vi eo đầu vào
Mặt nạ chuyển động
Các vùng quan tâm (ROI)

(b) mặt nạ chuyển động và các vùng quan tâm
ROI.
Hình 2.2. Ví dụ minh
họa bước trích chọn ROI.
Trong (2.3),
là giá trị ngưỡng được chọn qua thực nghiệm (
). Cuối cùng, các thao tác nhị phân Morpholog được áp dụng trên ảnh mặt
nạ M(x,y) để nối các điểm ảnh sáng liền kề nhau thành các vùng ROI, các vùng
có diện tích quá nhỏ so với kích thước ảnh được lọc bỏ. Hình 2.2 (b) minh họa
kết quả trích chọn ROI từ hai khung ảnh đầu vào trong Hình 2.2 (a).
2.2.2. Xác định đối tượng từ các vùng đồng mầu
2.2.2.1. Phương pháp xác định mục tiêu
Gọi R = {R1, R2,..., RN} là tập hợp các ROI được trích trọn trong Mục 2.2.1.
Quá trình ác định mục tiêu được thực hiện lần lượt trên mỗi Rj. Đối với mỗi
vùng quan tâm (ROI) Ri, một vùng ảnh hình chữ nhật W được ác định từ Fi+k
với điểm tâm trùng với điểm tâm của Rj (xem Hình 2.3). Vùng ảnh W sau đó
được phân mảnh thành các vùng đồng nhất về màu sắc S = {S1,S2, ..., SM}. Từ

10
tập các vùng S, mục ti u được ác định như là vùng ảnh Z S, Z là tập các
vùng đồng màu {Sk, Sg,...} kết nối với nhau thành một vùng ảnh lớn, thỏa mãn
02 điều kiện trong (2.4) và (2.5):
(
)
(2.4)
(
)
(2.5)
Trong công thức (2.4) và (2.5), theo công thức (2.17) (
) là hàm đo sự
giống nhau giữa một vùng ảnh X với lớp mục tiêu O, là một giá trị ngưỡng.
Thuật toán tổng quát ác định mục tiêu được viết ưới dạng giả mã như sau:
Thuật toán 1: Xác định mục tiêu
Đầu vào: R = {R1, R2,..., RN}
Đầu ra: mặt nạ nhị phân B các mục tiêu trong ảnh
For each RjR
1. Xác định vùng ảnh W trên ảnh đầu vào Fj, W có tâm là tâm của Rj
2. Phân vùng W thành tập hợp các vùng đồng màu S = {S1, S2, ..., SM}
3. Tìm vùng ảnh Z S từ các tập con X S sao cho Z có độ đo giống nhau
lớn nhất về đặc trưng ảnh so với mục tiêu (thỏa mãn điều kiện trong (2.4))
4. Nếu vùng Z là mục tiêu, thỏa mãn điều kiện trong (2.5)
Thì B
End For

Độ phức tạp thuật toán: O(N*nlogn), trong đó N là số vùng ROI, n là số
điểm ảnh trong vùng.

(a) Mặt nạ các ROI

Vùng chuyển
động (ROI)

Vùng ảnh W

(b) Các vùng ảnh W (khung màu đỏ)

Kết quả phân
vùng

Mục tiêu được
xác định


11

(c) Kết quả các bước trong mỗi vòng lặp của Thuật toán 1

(d) Mặt nạ mục tiêu và mục tiêu tìm được trên ảnh đầu vào.
Hình 2.3. Kết quả các bước thực hiện trong Thuật toán 1.
2.2.2.2. Thuật toán phân vùng ảnh
Chúng tôi sử dụng thuật toán dựa vào lý thuyết đồ thị được đề xuất trong
[68] để phân mảnh ảnh đầu vào thành các vùng đồng nhất về màu sắc. Thuật


12
toán nà độ chính xác cao và thời gian tính toán nhanh. Kết quả phần vùng ảnh

được minh họa trong Hình 2.3c.
2.2.2.3. Trích chọn đặc trưng ảnh
 Trích chọn đặc trưng màu: Đặc trưng màu của một vùng ảnh SkS, là
một vector ck = {rk, gk, bk}, trong đó rk, gk, và bk là các giá trị màu Red, Green
và Blue trung bình của các điểm ảnh thuộc vùng Sk. Để đo sự giống nhau về
màu sắc của một vùng ảnh lớn X với lớp đối tượng O cần tìm, luận án sử dụng
hàm g(X,O) được tính như sau:
(
)
∑
( | )
(2.11)
| |
( | ) là hàm mật
Trong (2.11), |X| là tổng số vùng đồng màu trong X,
độ xác suất điều kiện lớp của vector màu cR thuộc về mục tiêu lớp O được xác
định qua tập dữ liệu học.
 Trích chọn đặc trưng hình dạng: Đặc trưng hình ạng của mục tiêu được
ác định bằng việc sử dụng các bộ đặc tả về hình dạng (shape context) được đề
xuất trong [69], chúng bất biến khi đối tượng bị xoay, dịch chuyển, méo, biến
đổi theo tỷ lệ. Đặc trưng hình ạng của một mục tiêu bao gồm các đặc tả
hình dạng của các điểm ảnh nằm tr n đường biên ngoài của đối tượng. Xét một
mục tiêu có các điểm mẫu
tr n đường viền. Đặc tả hình dạng
của một điểm là một lược đồ của các tọa độ cực tương đối giữa và
điểm còn lại tr n đường viền của mục tiêu như sau:
*
(
)
( )+

(2.13)
Sự khác nhau giữa hai bộ đặc tả hình dạng của hai điểm và được tính
như sau:
(

)

∑

(

)

(2.14)

*
+ là tập các hình dạng mẫu của mục tiêu cần tìm. Đối
Gọi
với mỗi một vùng ảnh X (nó có thể bao gồm nhiều vùng đồng màu), thì đặc
trưng hình ạng
của là các đặc tả hình dạng của các điểm mẫu nằm trên
đường bao ngoài của . Sự khác nhau về hình dạng giữa một vùng ảnh và
một hình dạng mẫu của mục tiêu được tính như sau:
(
)
∑
(
)
(2.15)
|

|

Trong công thức (2.15), | | biểu thị cho tổng số điểm mẫu trong X.
Hàm đo sự giống nhau về đặc trưng hình ạng của một vùng ảnh với lớp
đối tượng O được tính:
(
)
,
(
)(2.16)
Trong (2.16), là tham số tỷ lệ được ác định thông qua tập dữ liệu mẫu.
 Kết hợp các đặc trưng ảnh:
Từ việc trích chọn các đặc trưng màu và hình ạng ở trên, chúng tôi tính
toán hàm f(X,O) trong (2.4) và (2.5), để đo sự giống nhau giữa một vùng ảnh X
với lớp mục tiêu O như sau:


13
(
)
(
)
(
)
(2.17)
Trong đó các tham số và là các trọng số ương (
) để ác định
mức độ quan trọng của đặc trưng ảnh tương ứng trong phép đo độ giống nhau
giữa vùng ảnh X và lớp mục tiêu O.

2.2.2.4. Thuật toán tìm vùng ảnh đối tượng tối ưu
Như đã trình à ở trên, việc đi tìm tập trong (2.4) có thể được ác định
bằng phương pháp vét cạn với việc tìm tất cả các tập con trong . Tuy nhiên
phương pháp nà sẽ mất nhiều thời gian tính toán, độ phức tạp tính toán của
nó là ( | | ) với | | là tổng số thành phần của Để giảm thời gian tính toán,
luận án đề xuất một thuật toán thêm bớt vùng tối ưu như sau:
Thuật toán 3: Thuật toán thêm bớt vùng
*
+
Đầu vào: Tập các vùng đồng màu
Đầu ra: Vùng ảnh
Các bước của thuật toán:
1. Lọc các vùng
có giá trị g(X,O) thấp, ta được tập
*
+
| (
)
2. Chọn
sao cho:
( | )

:

3. Thêm các vùng X liên thông với vào
*
*
+ là một vùng li n thông +
|
4. Vòng lặp loại vùng

While (Temp) do
Sr *
Sif (*

*
(*
+

)

+ là một vùng li n thông+
+ )
(
)

Else
End if
End while

Độ phức tạp của thuật toán: O(2logL), L là số phần tử của tập đồng màu.
Trong thuật toán 3, ở mỗi ước thêm hoặc bớt một vùng cho thì tính liên
thông của tập *
} và *
} được kiểm tra. Một tập các thành phần
được xem là liên thông với nhau nếu như kết hợp tất cả các thành phần của nó
tạo nên ít nhất một đường đi giữa các vùng.
2.3. Thực nghiệm và kết quả
2.3.1. Dữ liệu ảnh
Để đánh giá phương pháp đề xuất, chúng tôi đã thu thập 03 tập dữ liệu
video cho 03 loại mục tiêu quân sự khác nhau: e tăng, e tải và xe u-oát. Cụ

thể, tập dữ liệu cho e tăng có 102 file vi eo, tập dữ liệu cho xe tải quân sự có


14
128 file video, tập dữ liệu cho xe u-oát có 101 file video. Mỗi file vi eo tương
ứng với một cảnh thực tế, chứa khoảng 3000 khung ảnh. Mỗi loại mục tiêu,
chúng tôi lấy 2/3 tổng số ảnh làm tập học (training) và 1/3 tổng số ảnh ùng để
đánh giá kết quả. Với mỗi ảnh dữ liệu, chúng tôi ác định mục tiêu bằng
phương pháp thủ công (bằng tay) để tạo nên các tập dữ liệu mục tiêu, các tập
nà được gọi là ground_truth, làm cơ sở đánh giá các thuật toán phát hiện mục
tiêu.
2.3.2. Phương pháp đánh giá hiệu quả phát hiện mục tiêu
Để đánh giá hiệu quả của việc phát hiện mục tiêu trong mỗi ảnh, chúng tôi
so sánh vùng ảnh đối tượng được phát hiện bằng máy với vùng ảnh mục tiêu
được ác định bằng tay trong tập dữ liệu Ground_truth. Chúng tôi sử dụng 03
phép đo recall, precision và F-measure để đánh giá hiệu của các thuật toán.
2.3.3. Kết quả thực nghiệm
2.3.3.1. Phân tích hiệu quả của việc sử dụng trích chọn ROI
Giải pháp đề xuất được phát triển dựa trên công việc trước đâ của chúng
tôi trong [P7]. Giải pháp trong [7] giống như giải pháp đề xuất nhưng không
sử dụng ước trích chọn ROI. Để đánh giá tính hiệu quả của việc trích chọn
ROI, luận án đã cài đặt giải pháp trong [P7] và chạy trên 03 tập dữ liệu. Kết
quả được mô tả trong Bảng 2.1, 2.2 và 2.3.
Bảng 2.1. Kết quả phát hiện mục tiêu tập dữ liệu u-oát quân sự
STT

Các giải pháp

1

Không trích chọn ROI
[P7]
Giải pháp đề xuất

2

Recall
(%)

Precision
(%)

F_measure
(%)

T.gian (giây)

78,2

92,5

84,7

1,25

90,3

97,6

93,8

0,38

Bảng 2.2. Kết quả phát hiện mục tiêu tập dữ liệu xe tải quân sự
STT
1
2

Các giải pháp
Không trích chọn ROI [P7]
Giải pháp đề xuất

Recall
(%)
73,1
89,3

Precision
(%)
75,8
96,6

F_measure
(%)
73,9
92,8

T.gian (giây)
1,28
0,41

Bảng 2.3. Kết quả phát hiện mục tiêu tập dữ liệu xe tăng
STT
1
2

Các giải pháp
Không trích chọn ROI [P7]
Giải pháp đề xuất

Recall
(%)
83,1
92,2

Precision
(%)
90,2
95,9

F_measure
(%)
86,5
94,0

T.gian (giây)
1,26
0,39

2.3.3.2. So sánh với các giải pháp khác

Giải pháp đề xuất được so sánh với 04 giải pháp tiêu biểu sử dụng phổ
biến cho phát hiện mục tiêu trong chuỗi khung ảnh video: 1) Giải pháp trừ nền
cơ ản (BBS) [101]; 2) Giải pháp pháp hiện mục tiêu dựa trên mô hình Gauss
đơn (SGM)[102]; 3) Giải pháp phát hiện mục tiêu dựa trên mô hình Gauss hỗn
hợp (MGM) [103]; 4) Giải pháp phát hiện mục tiêu dựa trên mô hình nền thích
nghi (LOTS) [104]. Kết quả thực hiện trên 03 tập dữ liệu được tóm tắt trong
các Bảng 2.4, 2.5 và 2.6.


15
Bảng 2.4. Kết quả phát hiện mục tiêu tập dữ liệu u-oát quân sự
STT
1
2
3
4
5

Các giải pháp
BBS [101]
SGM [102]
MGM [103]
LOTS [104]
Giải pháp đề xuất

Recall
(%)
68,1
78,1
86,6

88,7
90,3

Precision
(%)
75,6
82,8
88,5
90,8
97,6

F_measure
(%)
71,7
80,4
87,5
89,7
93,8

T.gian (giây)
0,15
0,19
0,27
0,25
0,38

Bảng 2.5. Kết quả phát hiện mục tiêu tập dữ liệu xe tải quân sự
STT
1
2

3
4
5

Các giải pháp
BBS [101]
SGM [102]
MGM [103]
LOTS [104]
Giải pháp đề xuất

Recall
(%)
58,1
64,1
76,6
78,7
89,3

Precision
(%)
65,6
79,8
74,5
85,8
96,6

F_measure
(%)
61,6

71,1
75,5
82,1
92,8

T.gian (giây)
0,17
0,20
0,26
0,28
0,41

Bảng 2.6. Kết quả phát hiện mục tiêu tập dữ liệu xe tăng
STT
1
2
3
4
5

Các giải pháp
BBS [101]
SGM [102]
MGM [103]
LOTS [104]
Giải pháp đề xuất

Recall
(%)
61,1

68,1
74,6
81,7
92,2

Precision
(%)
68,6
81,8
79,5
87,8
95,9

F_measure
(%)
64,6
74,3
77,0
84,6
94,0

T.gian trung
bình (giây)
0,18
0,21
0,28
0,26
0,39

Kết luận Chương 2: Trong chương 2, chúng tôi đã đề xuất một giải pháp

mới có hiệu quả cao cho phát hiện các mục tiêu quân sự trong các khung ảnh
vi eo. Các đóng góp khoa học cụ thể là:
1. Đề xuất việc ác định mục tiêu dựa trên các vùng ROI.
2. Đề xuất mô hình toán ác định mục tiêu từ các vùng đồng màu (supperpixel) với sự kết hợp đặc trưng màu sắc và đặc trưng hình ạng.
3. Đề xuất Thuật toán tối ưu tìm mục tiêu từ các vùng đồng màu.
Chương 3: BÁM MỤC TIÊU SỬ DỤNG CÁC ĐẶC TRƯNG MẪU HỌC
TRỰC TUYẾN
3.1. Đặt vấn đề bám mục tiêu
Bài toán bám mục tiêu quân sự có thể được giải quyết bằng việc sử dụng
thuật toán phát hiện mục tiêu ở chương 2. Dựa vào vị trí mục tiêu ở khung ảnh
thứ t-1 và tốc độ dịch chuyển cực đại của mục ti u, chúng ta ác định được
vùng ảnh W chứa mục tiêu ở khung ảnh thứ t. Sau đó áp ụng Thuật toán 1
trong chương 2 để ác định mục tiêu từ các vùng ảnh đồng màu trong W. Tuy
nhiên, giải pháp này có tốc độ tính toán không đủ nhanh để ác định vị trí mục
tiêu trong mọi khung ảnh thu được.
Chương nà trình à một giải pháp bám mục tiêu mới. Giải pháp đề xuất
khai thác các ưu điểm của các giải pháp bám mục tiêu theo hình dạng và các
giải pháp bám mục tiêu dựa tr n các đặc trưng ề ngoài. Cụ thể, giải pháp đề
xuất sử dụng các đặc trưng hình ạng và các đặc trưng màu sắc để biểu diễn
mục tiêu. Việc ác định vị trí mục tiêu trong khung ảnh mới được thực hiện


16
bằng kỹ thuật đối sánh mẫu. Các mẫu đặc trưng ảnh biểu diễn mục ti u được
cập nhật trực tuyến từ kết quả bám mục tiêu trên từng khung ảnh. Hơn nữa, để
tăng tốc độ tính toán, luận án sử dụng các đặc tính dịch chuyển của mục tiêu
(ví dụ như tốc độ chuyển động), và mô hình phân lớp xác suất để giảm không
gian tìm kiếm mục tiêu trong khung ảnh mới thay vì tìm kiếm trong không
gian toàn bộ ảnh.
3.2. Giải pháp bám mục tiêu đề xuất

Giải pháp đề xuất được mô tả tóm tắt trong Thuật toán ưới đâ :
Thuật toán 4: Bám đối tượng dựa trên các đặc trưng mẫu học trực tuyến
Input: - Khung ảnh video thứ t, Ft.
- Vùng ảnh mục tiêu trên khung ảnh Ft-1
Output: Vị trí mục tiêu Lt trên khung ảnh thứ t.
1. Thực hiện tiền xử lý ảnh cho Ft.
2. Xác định ROI từ vị trí mục tiêu Lt-1 cho khung ảnh Ft-1 và Ft.
3. Tính toán hoặc cập nhật các hàm mật độ xác suất điều kiện lớp:
3.1. Tính toán và cập nhật hàm pdf(c|O) dựa trên các điểm ảnh thuộc về mục
tiêu trong ROI của khung ảnh Ft-1.
3.2. Tính toán và cập nhật hàm pdf(c|non_obj) dựa trên các điểm ảnh không
thuộc về mục tiêu trong ROI của khung ảnh Ft-1.
4. Tính toán hoặc cập nhật các đặc trưng ảnh mẫu từ vùng ảnh mục tiêu trên
khung ảnh Ft-1.
5. Trích chọn các điểm ảnh thuộc về mục tiêu trong ROI của Ft, các POI.
6. Trích chọn các đặc trưng ảnh cho mỗi vị trí POI.
7. Xác định vị trí mục tiêu Lt bằng so khớp mẫu các đặc trưng ảnh.

Độ phức tạp thuật toán: O(n*m* Nobj* Mobj), trong đó n*m là kích thước
khung ảnh đầu vào, Nobj* Mobj là kích thước ảnh mục tiêu.
3.2.1. Tiền xử lý ảnh
Để giảm thiểu sự ảnh hưởng của nguồn ánh sáng, chúng tôi sử dụng bộ lọc
Homomorphic cho ước tiền xử lý ảnh như Hình 3.2.
f(x,y)

Log

DFT

H(u,v)

IDFT

exp

g(x,y)

Hình 3.2. Sơ đồ khối bộ lọc Homomorphic.
3.2.2. Xác định các vị trí POI
Tiến trình ác định các điểm ảnh thuộc về mục tiêu, các POI (point of
interest), được thực hiện bởi 02 ước chính: 1)Xác định vùng ảnh ROI mà mục
tiêu có thể định vị dựa vào tốc độ dịch chuyển cực đại; 2) Trích chọn các POI
trong vùng ROI bằng kỹ thuật phân lớp.
3.2.2.1. Xác định vùng ROI
Vùng ROI được ác định như là một vùng ảnh hình vuông hoặc hình tròn
có tâm là vị trí tâm của mục tiêu trong khung ảnh liền kề trước, khung ảnh thứ
t-1. Trong luận án, ROI là một hình vuông có khoảng cách từ tâm đến các


17
cạnh là R được tính bởi (3.3). Hình 3.4 minh họa việc ác định ROI cho khung
ảnh thứ t, dựa vào mục tiêu được ác định trong khung ảnh thứ t-1.
(3.3)
R  Vm  Dt
ROI được trích chọn

(a) Mục tiêu được ác định ở khung
ảnh thứ t-1

(b) Vùng ảnh ROI được ác định trên

khung ảnh thứ t

Hình 3.4. Ví dụ trích chọn ROI.
3.2.2.2. Trích chọn các POI
Việc ác định các vị trí POI trong vùng ROI được thực hiện bằng kỹ thuật
phân lớp. Gọi pdf(c|O) và pdf(c|non_obj) là các hàm mật độ xác suất điều kiện
lớp của màu c (trong không gian màu R, G, B) cho hai lớp: mục tiêu và nền.
Các hàm nà được ước lượng bằng phương pháp tính lược đồ màu 3D
(Histogram) của các điểm ảnh thuộc về mục tiêu và các điểm ảnh nền trong
ROI của các khung ảnh trước thứ t-k,…,t-1. Ban đầu, các hàm nà được tính từ
vùng ROI được ác định dựa trên kết quả phát hiện mục tiêu sử dụng giải pháp
ở chương 2. Sau đó, chúng được cập nhật từ các vùng ROI được ác định từ
kết quả bám mục tiêu ở các khung ảnh trước.

(a) ROI được trích
chọn trên khung ảnh

(b) Mặt nạ các POI
được trích chọn sử

(c) Mặt nạ các POI sau
khi xử lý hình thái nhị

Hình 3.6. Minh họa kết quả trích chọn các POI.
Từ ROI của khung ảnh mới thứ t (xem Hình 3.4 b), các điểm ảnh trong ROI
được phân lớp bằng việc áp dụng luật quyết định Bayes. Một điểm ảnh x được
coi là thuộc lớp mục tiêu hoặc là một POI, nếu:
( | )
(3.4)
( |

)
Trong đó ( | ) và p( |
) là sắc xuất tại cx là vector màu tại điểm
ảnh x được tính theo pdf(c|O) và pdf(c|non_obj),
là giá trị ngưỡng được
thiết lập bằng thực nghiệm trên tập dữ liệu ảnh học. Các POI trích chọn theo
(3.4) sẽ được hậu xử lý bằng việc sử dụng các thao tác xử lý hình thái nhị


18
phân (Morpholog ) để làm trơn vùng và trơn i n. Kết quả sẽ tạo nên nhiều
vùng con chứa các POI, vùng có diện tích quá nhỏ sẽ được coi là nhiễu và bị
loại bỏ. Hình 3.6 minh họa một ví dụ trích chọn các POI theo công thức (3.4).
3.2.3. Trích chọn đặc trưng ảnh
Để biểu diễn một vùng ảnh hình chữ nhật B có kích thước mxn, chúng tôi
sử dụng hai đặc trưng ảnh: đặc trưng màu và đặc trưng hướng cạnh (HoG –
Histogram of Oriented Gradient).
- Đặc trưng màu của vùng ảnh B là vector hc có kích thước 1  3K được kết
hợp bởi 3 lược đồ (histogram) h1, h2, h3 của các thành phần màu (R, G, B) ở
các vị trí điểm ảnh trong vùng ảnh B như công thức (3.7), K là kích thước của
các vector h1, h2, h3.
(3.7)
hc  h1  h2  h3
- Đặc trưng hướng cạnh h của vùng ảnh B là lược đồ hướng (HoG) của các
điểm ảnh cạnh trong vùng ảnh B.
Các đặc trưng mẫu (templates) của mục tiêu được tính là một tập các đặc
trưng màu hc và đặc trưng hướng cạnh h cho các vùng ảnh bao mục tiêu được
ác định trong các khung ảnh trước (các khung ảnh thứ j…T-1).
Đối với khung ảnh mới thứ t, các đặc trưng hc và h được tính cho các vùng
ảnh B có tâm là các vị trí POI ành được trong Phần 3.2.2.2.

3.2.4. Xác định mục tiêu dựa vào so khớp mẫu
Mục tiêu trong khung ảnh đầu vào được ác định từ tập điểm POI dành
được trong Phần 2.2.2.2, P = {P1, P2, ...,PN}. Gọi Hc và H là các tập đặc trưng
mẫu của mục tiêu, chúng là các đặc trưng màu và đặc trưng hướng cạnh của
vùng ảnh bao mục tiêu được ác định trong các khung ảnh trước thứ 1…t-1.
Đối tượng trong khung ảnh thứ t có vị trí tâm
công thức (3.11) như sau:

P* được ác định thỏa mãn

(3.11)
P*  argmin s(hc (p), Hc ) * s( h (p), H )
pP
Trong (3.11), hc ( p) và h ( p) là các đặc trưng màu và đặc trưng hướng
cạnh của vùng ảnh B có tâm tại điểm ảnh p P. Hàm s(x,H) đo sự giống nhau
giữa vector đặc trưng x với tập các vector H, được tính như sau:
(
)
(
)
(3.12)
Hàm d(x,y) được tính bằng phép đo khoảng cách Bhattacharyya giữa hai
vector x và y như (3.13). Trong (3.13), xi và
vector x và y.
(

)

√

∑

√

yi

là các thành phần thứ i của
(3.13)


19

(a) Mục tiêu được ác định trong ROI (vùng (b) Mục tiêu được ác định trên
ao màu đỏ)
ảnh đầu vào

Hình 3.10. Kết quả xác định mục tiêu trên khung ảnh thứ t.
Vùng ảnh có tâm là P* được em như là vùng ảnh của mục tiêu nếu:
(3.14)
s(hc (p* ), Hc ) * s(h (p* ), H )   o

với  o là một giá trị ngưỡng được ước lượng từ thực nghiệm. Hình 3.10 minh
họa kết quả ác định mục tiêu trong khung ảnh mới.
3.3. Thực nghiệm và kết quả
3.3.1. Dữ liệu ảnh video
Dữ liệu ảnh video là 03 tập tương ứng với 03 đối tượng quân sự như trình
bày trong Chương 2.
Dữ liệu ground-truth để so sánh đánh giá: Đối với mỗi file video, luận án
phân tách thành các khung ảnh riêng biệt và thực hiện ác định vùng ảnh bao
mục tiêu bằng tay (vùng ảnh hình chữ nhật).

3.3.2. Phương pháp đánh giá
Việc đánh giá hiệu quả các thuật toán bám cho mỗi khung ảnh video, luận
án cũng sử dụng 03 phép đo như trong Chương 2: recall, precision và Fmeasure
3.3.3. Phân tích tính hiệu quả của giải pháp đề xuất
Hiệu quả của giải pháp đề xuất cho bám các mục tiêu quân sự nằm ở hai
yếu tố chính: 1) Xác định mục tiêu dựa vào POI; 2) Sự kết hợp các đặc trưng
ảnh sử dụng cho ác định mục tiêu
3.3.3.1. Tính hiệu quả khi dùng các POI
Để đánh giá hiệu quả của việc sử dụng các POI cho việc ác đinh mục tiêu
trong khung ảnh đầu vào, luận án tiến hành làm các thực nghiệm với 03
phương như sau:
- Phương án 1: Không sử dụng ROI và các POI cho việc ác định mục tiêu.
Trên mỗi vị trí điểm ảnh, một vùng ảnh B được ác định và được biểu diễn bởi
các đặc trưng màu và đặc trưng hướng cạnh. Mục tiêu được tìm sử dụng công
thức (3.11) và (3.14) nhưng tập điểm P là toàn bộ không gian ảnh thay vì chỉ
các điểm POI.


20
- Phương án 2: Xác định mục tiêu trên các vị trí điểm ảnh nằm trong ROI,
không sử dụng các điểm POI.
- Phương án 3: Xác định mục tiêu dựa vào các điểm POI, tức là bám mục
tiêu sử dụng đầ đủ các ước của thuật toán đề xuất.
Kết quả của các thực nghiệm tr n được tóm tắt trong các Bảng 3.1 trên 3
tập dữ liệu.
Bảng 3.1. Kết quả bám mục tiêu của ba phương án sử dụng và không sử
dụng các POI để tìm mục tiêu trên các tập dữ liệu khác nhau.
Tập dữ liệu
Xe tăng

Xe tải

Xe u-oát

Phương án
Phương án 1
Phương án 2
Phương án 3
Phương án 1
Phương án 2
Phương án 3
Phương án 1
Phương án 2
Phương án 3

Recall
(%)
85,6
90,0
97,5
85,6
90,0
96,7
85,6
90,0
97,1

Precision
(%)
81,7

95,2
98,8
81,7
95,2
98,1
81,7
95,2
98,3

F_measure
(%)
83,6
92,5
98,2
83,6
92,5
97,4
83,6
92,5
97,7

T.gian TB
(ms)
1370
165
32
1370
165
33
1370

165
31

3.3.3.2. Phân tích tính hiệu của việc sử dụng các đặc trưng ảnh
Để đánh giá tính hiệu quả của sự kết hợp đặc trưng màu và đặc trưng
hướng cạnh trong đề xuất giải pháp bám mục tiêu, luận án tiến hành làm các
thực nghiệm với giải pháp đề xuất (có các ước thực hiện giống nhau nhưng
sử dụng đặc trưng ảnh khác nhau) như sau:
1- Sử dụng đặc trưng màu (Hcolor) để đi tìm mục tiêu trên các vị trí POI.
2- Sử dụng đặc trưng hướng cạnh (HoG) để tìm mục tiêu trên các vị trí POI.
3- Sử dụng kết hợp Hcolor và HoG để tìm mục tiêu trên các vị trí POI.
Bảng 3.2 tóm tắt kết quả thực hiện của các thực nghiệm trên cả 03 tập dữ
liệu thu từ thực địa.
Bảng 3.2. Kết quả bám mục tiêu của thuật toán đề xuất sử dụng các đặc trưng ảnh
khác nhau .
Tập dữ
liệu
Xe tăng

Xe tải
Xe uoát

Đặc trưng
Hcolor
HoG
Hcolor + HoG
Hcolor
HoG
Hcolor + HoG
Hcolor

HoG
Hcolor + HoG

Recall
(%)
93,1
83,0
97,5
92,6
80,8
96,7
93,6
84,7
97,1

Precision
(%)
95,5
85,2
98,8
94,7
84,2
98,1
95,8
86,1
98,3

F_measure
(%)
94,3

84,1
98,2
93,6
82,5
97,4
94,7
85,4
97,7

T.gian TB
(ms)
28
30
32
29
31
33
27
28
31

3.3.4. Kết quả so sánh với các giải pháp khác
Giải pháp đề xuất được so sánh với 03 giải pháp bám mục tiêu đã công ố
trên các tạp chí có chất lượng cao, gồm có: 1) P-N Learning (PNL) [81]; 2)


21
Ensemble Tracking (ET) [82]; 3) Multiple Instance Learning (MIL) [83]. Bảng
3.5 trình bày các kết quả thực nghiệm của giải pháp đề xuất và các giải pháp
bám mục tiêu khác trên 03 tập dữ liệu.

Bảng 3.3. Bảng kết quả của các giải bám mục tiêu trên các tập dữ liệu
Tập dữ
liệu
Xe tăng

Xe tải

Xe u-oát

Các giải pháp
PNL [81]
ET [82]
MIL [83]
Đề xuất
PNL [81]
ET [82]
MIL [83]
Đề xuất
PNL [81]
ET [82]
MIL [83]
Đề xuất

Recall
(%)
80,2
75,8
72,1
97,5
88,2

77,1
85,8
96,7
83,2
75,1
84,8
97,1

Precision
(%)
88,1
85,2
78,3
98,8
92,1
88,3
88,2
98,1
85,1
79,8
84,2
98,3

F_measure
(%)
84,0
80,2
75,1
98,2
90,1

82,3
87,0
97,4
84,1
77,4
84,5
97,7

T.gian TB
(ms)
37
40
34
32
39
41
35
33
35
38
33
31

Kết luận Chương 3: Trong chương 3, chúng tôi đã đề xuất một giải pháp
mới có tốc độ tính toán và độ chính xác cao cho việc bám các mục tiêu quân
sự trong các khung ảnh vi eo. Các đóng góp khoa học cụ thể là:
1) Đề xuất một giải pháp mới có hiệu quả và tính khả thi cao trong việc
bám các mục tiêu quân sự. Giải pháp đề xuất cũng hoàn toàn có thể ứng dụng
cho việc bám các mục tiêu dân sự.
2) Đề xuất việc sử dụng ROI và các POI để hạn chế không gian tìm kiếm

đối tượng góp phần cải thiện đáng kể tốc độ tính toán và độ chính xác trong
phát hiện mục tiêu.
3) Đề xuất một mô hình toán sử dụng kết hợp đặc trưng màu và đặc trưng
hướng cạnh để bám mục tiêu với các đặc trưng mẫu học trực tuyến.
Chương 4. THIẾT KẾ HỆ THỐNG BÁM TỰ ĐỘNG CHO HỆ VŨ
KHÍ DỰA TRÊN PHÁT HIỆN VÀ BÁM MỤC TIÊU TRONG ẢNH
4.1. Đặt vấn đề hệ thống bám tự động cho hệ vũ khí
Sử dụng công nghệ xử lý ảnh và các thuật toán nhận dạng thông minh trong
hệ thống trinh sát phát hiện mục tiêu cho các hệ thống vũ khí. Chương nà
trình bày các bộ phận cấu thành của một hệ thống vũ khí có điều khiển. Đề
xuất một mô hình động học của hệ thống bám cho hệ vũ khí, ác định mối liên
hệ giữa vị trí tâm mục tiêu và tham số điều khiển (góc tầm, gốc hướng) của giá
súng.
4.2. Mô tả hệ thống tự động bám mục tiêu di động
Hệ giá vũ khí ám mục ti u i động được thể hiện bằng sơ đồ khối ở Hình
4.1. Hệ thống bao gồm một bệ giá quay theo hai kênh tầm và hướng, camera
gắn cố định song song với trục nòng súng chuyển động đồng thời theo súng.
Tâm nòng súng được quy chính trùng với tâm khung hình quan sát.


22

Hình 4.1. Sơ đồ khối hệ thống bám mục tiêu di động
4.3. Triển khai giải pháp phát hiện, bám mục tiêu trong hệ thống
Phần này chỉ ra vị trí áp dụng kết quả lý thuyết vào hệ thống bám tự
động cho hệ vũ khí ựa trên phát hiện và bám mục tiêu trong ảnh được trình
bầ theo sơ đồ khối hình 1.5 và cụ thể trong thuật toán 4 của chương 3.
4.4. Xây dựng mô hình động học giá điều khiển

Hình 4.3. Mô hình động học của hệ vũ khí khảo sát

Để hướng tâm ảnh mục tiêu về tâm ảnh, chúng ta thiết lập mối quan hệ
tương đối giữa biến quan sát được X0 và Y0 là tọa độ của mục tiêu trên hệ tọa
độ gắn với mặt phẳng ảnh (IP), đối với biến điều khiển của giá φ và θ.
Trong Hình 4.3, ta có thể nhìn thấy rằng φ và θ là các góc qua ung quanh


23
trục tương ứng là OZ và OZ’, sao cho, sau khi i chu ển tâm của mục tiêu di
động có tọa độ P(X, Y, Z) sẽ được ánh xạ lên tâm của mặt phẳng ảnh.
4.5. Thử nghiệm trường bắn
4.5.1 Mô tả phương pháp thử nghiệm
Thử nghiệm được thực hiện tr n trường bắn, bắn đạn thật vào mô hình bia
e tăng đặt cách xa 600 m và chạy với vận tốc 25 m/s. Hình 4.5 là một số hình
ảnh thử nghiệm tại trường bắn
a) Trận địa bắn
b) Màn hình phần mềm

Hình 4.5. Hình ảnh thử nghiệm trên trường bắn
4.5.2. Quy trình tiến hành thử nghiệm
Quy trình thử nghiệm được thực hiện 06 bước:Bước 1: Phổ iến các qu
định và thống nhất kế hoạch ắn thử nghiệm. Bước 2: Chuẩn ị súng cấp 2,
cho ảo ưỡng, kiểm tra các cơ cấu ảo đảm hoạt động ình thường theo Hình
4.5; Bước 3: Tiến hành lắp chạ thử toàn ộ hệ thống; Bước 4: Kiểm tra các vị
trí lắp đặt theo đúng sơ đồ. Kích hoạt phần mềm FSCapture ghi lại kết quả
bám trên màn hình; Bước 5: Tiến hành ắn theo kế hoạch, ghi lại kết quả và
đặt t n cho file kết quả để thực hiện so sánh đánh giá. (Bước nà lặp lại cho tới
khi kết thúc thực nghiệm); Bước 6: Kết thúc thử nghiệm.
4.5.3. Kết quả thử nghiệm
Quá trình phát hiện và ám mục ti u chúng tôi ùng phần mềm lưu lại màn
hình để về ử lý và đánh giá. Kết quả thu được là 100% ám được mục ti u

trong quá trình thử nghiệm. Bi n ản thử nghiệm của 02 đề tài: 1. Đề tài cấp
cơ sở “Giá điều khiển đa năng cho súng 14,5mm và 12,7mm”; 2. Đề tài cấp
thành phố mã số “ 01C-02/02-2014-2” t n “Tổ hợp súng 12,7 điều khiển từ a
phục vụ nhiệm vụ phòng không nhân ân tr n địa àn thủ đô” đạt kết quả tốt.
4.5. Kết luận chương 4
Trong chương nà trình ày nghiên cứu thử nghiệm kết quả lý thuyết trên
chương 2, 3 vào một hệ giá điều khiển cho súng 14,5 mm và 12,7 mm. Kết quả