Nghiên cứu một số kỹ thuật phát hiện chuyển cảnh trong video

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

TRẦN NGỌC HIẾU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN
CHUYỂN CẢNH TRONG VIDEO

LUẬN VĂN KHOA HỌC MÁY TÍNH

HÀ NỘI, 2015


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

TRẦN NGỌC HIẾU

NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN
CHUYỂN CẢNH TRONG VIDEO
Chuyên ngành: Khoa hoc máy tính
Mã số: 60 48 01 01

LUẬN VĂN KHOA HỌC MÁY TÍNH

Người hướng dẫn: PGS.TS. Đỗ Năng Toàn

HÀ NỘI, 2015


LỜI CẢM ƠN

Trong thời gian thực hiện luận văn thạc sỹ em đã nhận được rất nhiều
sự khích lệ, động viên, giúp đỡ từ phía thầy cô, cha mẹ và bạn bè xung quanh.
Em xin gửi lời cảm ơn chân thành tới các thầy cô trong trường Đại học
Sư phạm Hà Nội 2, các thầy ở Viện Công nghệ thông tin đã truyền đạt vốn
kiến thức quý báu cho chúng em.
Em xin bày tỏ lòng biết ơn chân thành nhất tới thầy giáo, PGS.TS Đỗ
Năng Toàn, người đã trực tiếp hướng dẫn em hoàn thành luận văn thạc sỹ này.
Em đã cố gắng học tập và hoàn thành luận văn thạc sỹ nhưng có thể
luận văn thạc sỹ vẫn còn có những thiếu sót. Em rất mong nhận được sự góp
ý, chỉ bảo của các thầy cô và các bạn để luận văn thạc sỹ hoàn thiện hơn.

Hà Nội, ngày ….. tháng…. năm 2015
Tác giả luận văn

Trần Ngọc Hiếu


LỜI CAM ĐOAN
Tôi xin cam đoan rằng số liệu và kết quả nghiên cứu trong luận văn này
là trung thực và không trùng lặp với các đề tài khác. Tôi cũng xin cam đoan
rằng mọi sự giúp đỡ cho việc thực hiện luận văn này đã được cảm ơn và các
thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc.

Hà nội, ngày ….. tháng…. năm 2015
Tác giả luận văn

Trần Ngọc Hiếu


MỤC LỤC

LỜI CẢM ƠN
LỜI CAM ĐOAN
DANH MỤC HÌNH VẼ
MỞ ĐẦU ....................................................................................................... 1
CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ VIDEO VÀ BÀI TOÁN PHÁT
HIỆN CHUYỂN CẢNH ............................................................................... 3
1.1. Khái quát về video...............................................................................................3
1.1.1. Lịch sử.................................................................................................. 3
1.1.1.1. Lịch sử điện ảnh ................................................................................ 3
1.1.1.2. Lịch sử phát sóng truyền hình ............................................................ 3
1.1.1.3. Lịch sử ghi hình video ....................................................................... 4
1.2. Các thao tác cơ bản trong Video .........................................................................5
1.2.1. Đặc điểm của Video ............................................................................. 5
1.2.2. Quá trình thu nhận ảnh .......................................................................... 6
1.2.3 Chuyển hệ màu .................................................................................... 11
1.2.3.1 Không gian màu ............................................................................... 11
1.2.3.2. Cơ sở sinh học.................................................................................. 12
1.2.4 Lấy mẫu các thành phần màu............................................................... 15
1.2.4.1. Khoảng lấy mẫu (Sampling Interval)................................................ 17
1.2.4.2. Định lý lấy mẫu của Shannon ........................................................... 18
1.2.4.3. Các tiêu chuẩn lấy mẫu. ................................................................... 19
1.3 Bài toán trích rút Video trong việc tái tạo Video ............................................. 22
CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN CHUYỂN CẢNH
TRONG VIDEO ......................................................................................... 23


2.1. Phát hiện chuyển cảnh dựa vào kỹ thuật trừ ảnh............................................. 23
2.1.1. Trừ ảnh dựa vào điểm ảnh .................................................................. 24
2.1.2. Trừ ảnh phân khối .............................................................................. 25
2.1.3. Trừ ảnh dựa vào biểu đồ ..................................................................... 28

2.2. Phát hiện chuyển cảnh dựa vào kỹ thuật trừ nền............................................. 34
2.2.1. Mô hình hóa nền ................................................................................. 34
2.2.2. Trừ nền dựa vào màu .......................................................................... 35
2.2.3. Trừ nền dựa vào biên .......................................................................... 36
2.2.4. Kết hợp các kết quả trừ màu và trừ biên ............................................. 37
2.3. Phát hiện chuyển cảnh dựa vào độ đo kết cấu LBP (Local Binary Patterm) ..... 38
2.3.1. Toán tử mẫu nhị phân cục bộ .............................................................. 38
2.3.2. Phương pháp phát hiện đối tượng chuyển cảnh................................... 39
2.4. Phát hiện chuyển cảnh dựa vào sự biến thiên cục bộ của vector kết cấu SP.. 42
2.4.1. Biểu diên video với vector kết cấu SP ................................................ 42
2.4.2. Phát hiện chuyển cảnh dựa trên biến thiên cục bộ ............................... 43
CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM ................................... 46
3.1. Đặt vấn đề ......................................................................................................... 46
3.2. Phân tích và lựa chọn công cụ ......................................................................... 46
3.3. Một số giao diện của chương trình .................................................................. 46
KẾT LUẬN VÀ KIẾN NGHỊ .................................................................... 49
TÀI LIỆU THAM KHẢO.......................................................................... 50


DANH MỤC HÌNH VẼ
Hình 1.1 Quá trình hiển thị và chỉnh sửa, lưu trữ ảnh thông qua DIB (quy
trình chung để hiển thị ảnh Raster thông qua DIB)
Hình 1.2 Sự chuyển đổi giữa các mô hình biểu diễn ảnh
Hình 1.3 Các bước cơ bản trong xử lý ảnh
Hình 1.4 Hệ toạ độ RGB
Hinh 1.5 Cấu trúc lấy mẫu theo chuẩn 4:4:4
Hình 1.6 Cấu trúc lấy mẫu theo chuẩn 4:2:2
Hình 1.7 Cấu trúc lấy mẫu theo chuẩn 4:2:0
Hình 1.8 Cấu trúc lấy mẫu theo chuẩn 4:1:1
Hình 2.1 Quá trình phân đoạn Video

Hình 2.2 Các cửa sổ cơ sở trong thuật toán so sánh thực
Hình 2.3 Chênh lệch biểu đồ, * cắt cảnh,--- chồng mờ
Hình 2.4 So sánh biểu đồ màu giữa 2 ảnh
Hình 2.5 So sánh cặp a, chênh lệch biểu đồ liên tiếp
Hình 2.6 Phát hiện chuyển cảnh dần dần bằng kỹ thuật so sánh cặp
Hình 2.7 Ảnh trung bình cho kênh màu đỏ, biên ngang, và biên thẳng đứng
tại frame
Hình 2.8 Phép trừ màu cho khung 65 và 70
Hình 2.9 Phép trừ biên cho frame 65 và 70
Hình 2.10 Kết hợp trừ màu và trừ biên cho frame 65 và 70
Hình 2.11 Kết quả kết hợp sau khi sử dụng bộ lọc trung bình ngưỡng trễ cho
frame 60 và 70
Hình 2.12 Ví dụ cho tính toán mã LBP gốc
Hình 2.13 Lận cận cân đối vòng tròn được đặt với những giá trị khác nhau
của P và R
Hình 2.14 Giải thuật sử dụng cấu trúc lưới chồng cục bộ
Hình 2.15 Đồ thị của biến thiên cục bộ mm qua thời gian


1

MỞ ĐẦU
1. Lý do chọn đề tài
Trong thời đại ngày nay công nghệ thông tin hầu như đã thâm nhập vào
toàn bộ các lĩnh vực đời sống xã hội. Xã hội càng phát triển thì nhu cầu về
công nghệ thông tin ngày càng cao, do vậy dữ liệu số hầu như không còn xa
lạ đối với mỗi người chúng ta. Trong mọi lĩnh vực các ứng dụng công nghệ
thông tin đã trợ giúp con người rất nhiều. Hiện nay, thông tin hình ảnh đóng
vai trò rất quan trọng trong trao đổi thông tin, bởi phần lớn các thông tin mà
con người thu nhận được đều thông qua thị giác.

Trong những năm gần đây lượng dữ liệu video số đã tăng lên đáng kể
cùng với việc sử dụng rộng rãi các ứng dụng đa phương tiện trong giáo dục,
giải trí, kinh doanh, y tế... Thực tế này đặt ra các bài toán như: Giảm dung
lượng video và tăng tốc độ xử lý, tổ chức lưu trữ và tìm kiếm video hiệu quả,
hiểu nội dung video, nhận dạng đối tượng trong video... Nhiều nhóm nghiên
cứu trong và ngoài nước đã đưa ra các phương pháp giải quyết nhằm tổ chức
tốt cơ sở dữ liệu video, hiểu nội dung video và đặc biệt bài toán giảm dung
lượng video cũng đang rất được quan tâm bởi tính ứng dụng đa dạng và cần
thiết của nó trong khoa học, xã hội và thực tiễn đời sống con người. Do vậy
em lựa chọn đề tài: “Nghiên cứu một số kỹ thuật phát hiện chuyển cảnh trong
video” ứng dụng trích rút và tái tạo video làm đề tài luận văn tốt nghiệp thạc
sỹ của mình.
2. Mục đích nghiên cứu
- Về lý thuyết: Tìm hiểu tổng quan về xử lý video và bài toán phát hiện
chuyển cảnh, kỹ thuật phát hiện chuyển cảnh trong video.
-Về thực tiễn: Trên cơ sở các kiến thức đã thu thập và nghiên cứu, tổng
hợp các kỹ thuật để hướng đến các ứng dụng trích rút và tái tạo video làm
giảm dung lượng video.


2
3. Nhiệm vụ nghiên cứu
- Tìm hiểu tổng quan về xử lý video và bài toán phát hiện chuyển cảnh
- Các kỹ thuật phát hiển chuyển cảnh trong video
- Ứng dụng cho trích rút và tài tạo video
4. Đối tượng và phạm vi nghiên cứu
Đối tượng, phạm vi nghiên cứu về tổng quan về xử lý ảnh, các kỹ thuật
phát hiện chuyển cảnh trong video và chọn ra kỹ thuật trích rút và tái tạo
video ứng dụng giảm dung lượng video.
5. Phương pháp nghiên cứu

Thu thập tài liệu, phân tích, suy luận, tổng hợp, đánh giá. Từ đó đề xuất
nghiên cứu và tìm hiểu: “Nghiên cứu một số kỹ thuật phát hiện chuyển cảnh
trong video”.
6. Cấu trúc của luận văn
Ngoài phần Mở đầu, kết luận và tài liệu tham khảo luận văn gồm 3 chương:
Chương 1: Khái quát về xử lý video và bài toán phát hiện chuyển cảnh
1.1 Khái quát về video
1.2 Các thao tác cơ bản trong video
1.3 Bài toán phát hiện chuyển cảnh trong video
Chương 2: Một số kỹ thuật phát hiện chuyển cảnh trong video
2.1. Phát hiện chuyển cảnh dựa vào kỹ thuật trừ ảnh
2.2. Phát hiện chuyển cảnh dựa vào kỹ thuật trừ nền
2.3. Phát hiện chuyển cảnh dựa vào độ đo kết cấu LBP (Local Binary Patterm)
2.4. Phát hiện chuyển cảnh dựa vào sự biến thiên cục bộ của vecter kết cấu SP
Chương 3: Chương trình thử nghiệm
3.1 Đặt vấn đề
3.2 Phân tích và lựa chọn công cụ
3.3 Một số giao diện của chương trình


3

CHƯƠNG 1: KHÁI QUÁT VỀ XỬ LÝ VIDEO
VÀ BÀI TOÁN PHÁT HIỆN CHUYỂN CẢNH
1.1. Khái quát về video
1.1.1. Lịch sử
1.1.1.1. Lịch sử điện ảnh
Điện ảnh mới chỉ có hơn 100 năm tuổi. Sự ra đời của điện ảnh là ngày 28
Tháng 12 năm 1895 khi Auguste và Louis Lumiμere cho phát bộ phim của họ
cho một đối tượng trả tiền ở Paris. Sự phát triển của máy ảnh và máy chiếu

của họ thông qua một đường dài của sự phát triển cho sự phát minh ra bánh
xe Faraday vào năm 1831 mà minh họa các lý thuyết về sự tồn tại của tầm
nhìn. Nhiếp ảnh đã được khám phá vào thập niên 1840 và những bức ảnh đã
được thực hiện vào năm 1839 bởi William Henry Fox trên giấy halogen bạc.
1872 chứng kiến lần đầu tiên sử dụng một loạt các hình ảnh cho phong trào
thu âm (Eadweard Muybridge). Khi George Eastman sản xuất phim cuộn giấy
vào năm 1885, Etienne- Jules Marey, lấy cảm hứng từ Muybridge, xây dựng
một máy ảnh có thể chụp 100 hình mỗi giây. Chỉ 4 năm sau đó vào năm 1889,
Thomas Alva Edison phát triển một máy ảnh sử dụng phim nhựa. Ông đã cho
thấy bộ phim của mình vào một vòng lặp liên tục trong một loại máy peep show được gọi là kinetoscope . Nó là phát minh này đã gây ấn tượng anh em
Lumiμere đủ để cố gắng một chiếu công cộng của điện ảnh trong năm 1895.
Các rạp chiếu phim xây dựng đầu tiên xuất hiện vào năm 1906 (Omnia Pathé) ở Paris. Tại Mỹ năm 1908 đã có gần 10.000 nickelodeons thu hút 20
triệu người mỗi tuần.
1.1.1.2. Lịch sử phát sóng truyền hình
Phát sóng truyền hình được thực hiện lần đầu vào ngày 02 tháng 11 năm
1936 bởi BBC từ Alexandra Palace. Đó là với việc phát sóng của lễ đăng


4
quang của Vua George VI vào ngày 12 tháng 5 năm đó, truyền hình cho thấy
tiềm năng để phổ biến thông tin nhanh chóng. Trong năm 1953, đăng quang
của Nữ hoàng đã được xem trong nhà và 3.000.000 trường hợp chứng minh
TV là một thiết bị phương tiện truyền thông đại chúng chính hãng.
Truyền hình màu được phát sóng lần đầu tiên vào năm 1954 tại Hoa Kỳ
bằng cách sử dụng tiêu chuẩn NTSC. Châu âu lựa chọn để đánh giá các
chương trình truyền màu sắc khác nhau cho đến năm 1967 khi PAL (Phase
Alternate Line) tiêu chuẩn phát sóng đã được thông qua để phát sóng truyền
hình màu ở Anh và Đức. Định dạng tín hiệu màu sắc đã được lựa chọn để mọi
người với ti vi màu đen và trắng vẫn có thể nhận được tín hiệu.
1.1.1.3. Lịch sử ghi hình video

Thiết bị quay video có sau nhiều so với TV. Các thiết bị đã được phát
minh vào đầu những năm 1950 và RCA đã phát triển một máy tính với tốc độ
băng 6 m / giây. Họ đã sử dụng ghi âm theo chiều dọc của tín hiệu trên băng,
vì vậy tốc độ nhanh đã được yêu cầu để ghi lại các tín hiệu truyền hình băng
thông lớn. Máy ghi hình thực tế đầu tiên được phát triển vào năm 1953 bởi
tập đoàn Ampex. Nó được sử dụng sự sắp xếp quét xoắn ốc mà ngày nay
chúng ta vẫn sử dụng và cho phép tốc độ ghi lại hiệu quả cao hơn mà không
có một tốc độ băng đáng sợ.
Các thiết bị video gia đình đầu tiên được phát triển bởi Philips vào năm
1972 đã được nhanh chóng thay thế bởi các máy VHS của Panasonic và các
máy Betamax của Sony trong năm 1978. Sự xuất hiện của các định dạng đánh
dấu sự khởi đầu của kỷ nguyên video gia đình. Khả năng ghi và chỉnh sửa
chương trình được thực hiện bởi người sử dụng nhà tăng sự phổ biến của
truyền hình. Sony đã thua cuộc chiến tiếp thị bây giờ nổi tiếng vào năm 1980
khi VHS đã trở thành tiêu chuẩn chính cho người sử dụng video gia đình chủ
yếu là do thời gian còn chơi của nó . Đây là mặc dù chất lượng cao của các
định dạng Betamax.


5
1.2. Các thao tác cơ bản trong Video
1.2.1. Đặc điểm của Video
Ảnh Video: Là một chuỗi các ảnh tĩnh, chuỗi các frame ảnh (gọi là
khung hình), xuất hiện liên tiếp tạo cảm thụ theo thời gian, quan hệ thời gian
giữa các frame biểu diễn ảnh động.
S = f (x,y,t)
trong đó:
- x, y tọa độ điểm ảnh ( Thông tin về không gian).
- t: thông tin về thời gian.
 ảnh tĩnh là 1 trường hợp riêng của video, khi đó nó là một chuỗi các

ảnh không thay đổi theo thời gian:
f (x,y,t1) = f (x,y,t2).
Chất lượng Video: Tốc độ xuất hiện các khung hình và độ phân giải ảnh
là các nhân tố quan trọng của chất lượng video.
Một số thông số quan trọng của tín hiệu Video:
- Độ phân giải theo chiều dọc (Vertical resolution): Thông số có liên
quan đến số dòng quét trên 1 frame.
- Tỉ lệ co (aspect ratio): Tỉ lệ giữa chiều rộng và chiều cao của frame.
Tín hiệu Video có các đặc điểm sau:
- Tín hiệu video là tín hiệu mang tính chất xung: ngoài các xung đồng bộ
và xung xóa, trong tín hiệu video thường có sự thay đổi biên đột ngột, tạo ra
biên nước va biên sau của các “xung hình”
- Tín hiệu Video là tín hiệu đơn cực, có thành phần 1 chiều;
- Tín hiệu video được coi là tín hiệu tuần hoàn
Tín hiệu video tương tự cũng như tín hiệu ảnh tính phải được số hóa
trước khi đưa vào hệ thống xử lý số. Cũng như trong các hệ thống xử lý tín
hiệu một chiều, quá trình số hóa tín hiệu hình ảnh cũng được chia làm 3 giai đoạn:


6
(1). Rời rạc tín hiệu trong miền không gian hai chiều, đây là quá trình lấy mẫu.
(2). Số lượng vô hạn các mức xám trong tín hiệu hình ảnh tương tự được
thay bằng số lượng hữu hạn các mức lượng tử đây là quá trình lượng tử hóa
tín hiệu.
(3). Mỗi mức lượng tử được biểu diễn bằng một số nhị phân - Mã Hóa
tín hiệu.
Các chuẩn Video:
- NTSC (US, Japon): 525 dòng quét/ 1frame; 60 frame/s; 30 images/s
quét cách dòng; tỉ lệ co là 4/3.
- PAL (EU) vàSECAM (France): 625 dòng/ 1 frame;

50 frames/s;25 images/s
- Film : 24 images/s
1.2.2 Quá trình thu nhận ảnh
Các thiết bị thu nhận ảnh bao gồm camera, scanner các thiết bị thu nhận
này có thể cho ảnh đen trắng…
Các thiết bị thu nhận ảnh có 2 loại chính ứng với 2 loại ảnh thông dụng
Raster, Vector.
Các thiết bị thu nhận ảnh thông thường Raster là camera. Các thiết bị thu
nhận ảnh thông thường Vector là sensor hoặc bàn số hoá Digitalizer hoặc
được chuyển đổi từ ảnh Raster.
Nhìn chung các hệ thống thu nhận ảnh thực hiện 1 quá trình
• Cảm biến: biến đổi năng lượng quang học thành năng lượng điện
• Tổng hợp năng lượng điện thành ảnh.
Ảnh trên máy tính là kết quả thu nhận theo các phương pháp số hoá được
nhúng trong các thiết bị kỹ thuật khác nhau. Quá trình lưu trữ ảnh nhằm 2
mục đích:
• Tiết kiệm bộ nhớ


7
• Giảm thời gian xử lý
Việc lưu trữ thông tin trong bộ nhớ có ảnh hưởng rất lớn đến việc hiển thị, in
ấn và xử lý ảnh được xem như là 1 tập hợp các điểm với cùng kích thước nếu sử
dụng càng nhiều điểm ảnh thì bức ảnh càng đẹp, càng mịn và càng thể hiện rõ hơn
chi tiết của ảnh người ta gọi đặc điểm này là độ phân giải.
Việc lựa chọn độ phân giải thích hợp tuỳ thuộc vào nhu cầu sử dụng và
đặc trưng của mỗi ảnh cụ thể, trên cơ sở đó các ảnh thường được biểu diễn
theo 2 mô hình cơ bản:
a) Mô hình Raster
Đây là cách biểu diễn ảnh thông dụng nhất hiện nay, ảnh được biểu diễn

dưới dạng ma trận các điểm (điểm ảnh). Thường thu nhận qua các thiết bị như
camera, scanner. Tuỳ theo yêu cầu thực thế mà mỗi điểm ảnh được biểu diễn
qua 1 hay nhiều bít. Mô hình Raster thuận lợi cho hiển thị và in ấn. Ngày nay
công nghệ phần cứng cung cấp những thiết bị thu nhận ảnh Raster phù hợp
với tốc độ nhanh và chất lượng cao cho cả đầu vào và đầu ra. Một thuận lợi
cho việc hiển thị trong môi trường Windows là Microsoft đưa ra khuôn dạng
ảnh DIB (Device Independent Bitmap) làm trung gian. Một trong những
hướng nghiên cứu cơ bản trên mô hình biểu diễn này là kỹ thuật nén ảnh các
kỹ thuật nén ảnh lại chia ra theo 2 khuynh hướng là nén bảo toàn và không
bảo toàn thông tin nén bảo toàn có khả năng phục hồi hoàn toàn dữ liệu ban
đầu còn nếu không bảo toàn chỉ có khả năng phục hồi độ sai số cho phép nào
đó. Theo cách tiếp cận này người ta đã đề ra nhiều quy cách khác nhau như
BMP, TIF, GIF, PCX…
Hiện nay trên thế giới có trên 50 khuôn dạng ảnh thông dụng bao gồm cả
trong đó các kỹ thuật nén có khả năng phục hồi dữ liệu 100% và nén có khả
năng phục hồi với độ sai số nhận được.


8

Hình 1.1 Quá trình hiển thị và chỉnh sửa, lưu trữ ảnh thông qua DIB (quy
trình chung để hiển thị ảnh Raster thông qua DIB)
b) Mô hình Vector
Biểu diễn ảnh ngoài mục đích tiết kiệm không gian lưu trữ dễ dàng cho
hiển thị và in ấn còn đảm bảo dễ dàng trong lựa chọn sao chép di chuyển tìm
kiếm… Theo những yêu cầu này kỹ thuật biểu diễn vector tỏ ra ưu việt hơn.
Trong mô hình vector người ta sử dụng hướng giữa các vector của điểm
ảnh lân cận để mã hoá và tái tạo hình ảnh ban đầu ảnh vector được thu nhận
trực tiếp từ các thiết bị số hoá như Digital hoặc được chuyển đổi từ ảnh Raster
thông qua các chương trình số hoá

Công nghệ phần cứng cung cấp những thiết bị xử lý với tốc độ nhanh và chất
lượng cho cả đầu vào và ra nhưng lại chỉ hỗ trợ cho ảnh Raster. Do vậy, những
nghiên cứu về biểu diễn vectơ đều tập trung từ chuyển đổi từ ảnh Raster.

Hình 1.2 Sự chuyển đổi giữa các mô hình biểu diễn ảnh
Để dễ tưởng tượng, xét các bước cần thiết trong xử lý ảnh. Đầu tiên, ảnh
tự nhiên từ thế giới ngoài được thu nhận qua các thiết bị thu (như Camera,
máy chụp ảnh). Trước đây, ảnh thu qua Camera là các ảnh tương tự (loại
Camera ống kiểu CCIR). Gần đây, với sự phát triển của công nghệ, ảnh màu
hoặc đen trắng được lấy ra từ Camera, sau đó nó được chuyển trực tiếp thành
ảnh số tạo thuận lợi cho xử lý tiếp theo. (Máy ảnh số hiện nay là một thí dụ


9
gần gũi). Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có thể quét từ ảnh
chụp bằng máy quét ảnh.

Hình 1.3 Các bước cơ bản trong xử lý ảnh
Sơ đồ này bao gồm các thành phần sau:
-

Phần thu nhận ảnh (Image Acquisition)

Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua
camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh
25 dòng), cũng có loại camera đã số hoá (như loại CCD - Change Coupled
Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh.
Camera thường dùng là loại quét dòng ; ảnh tạo ra có dạng hai chiều.
Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường
(ánh sáng, phong cảnh)

- Tiền xử lý (Image Processing)
Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào
bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc
nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn.
- Phân đoạn (Segmentation) hay phân vùng ảnh
Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để
biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch)
trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về


10
địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt
để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ
gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất
nhiều vào công đoạn này.
-

Biểu diễn ảnh (Image Representation)

Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân
đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này
thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn
các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection)
gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng
hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm
vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta
miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác.
- Nhận

dạng

và

nội

suy

ảnh

(Image

Recognition

and

Interpretation)
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được
bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là
phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét
gạch ngang trên phong bì thư có thể được nội suy thành mã điện thoại. Có
nhiều cách phân loai ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các
mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản:
- Nhận dạng theo tham số.
- Nhận dạng theo cấu trúc.
Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng
trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký
điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch,
nhận dạng mặt người…

11
- Cơ sở tri thức (Knowledge Base)
Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung
lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong
nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp
toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình
tiếp nhận và xử lý ảnh theo cách của con người. Trong các bước xử lý đó,
nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người. Vì vậy,
ở đây các cơ sở tri thức được phát huy.
1.2.3 Chuyển hệ màu
1.2.3.1 Không gian màu

Hình 1.4 Hệ toạ độ RGB
RGB (Red-Green-Blue): 8 bits cho mỗi giá trị màu.
Mô hình màu RGB sử dụng mô hình bổ sung trong đó ánh sáng đỏ, xanh
lá cây và xanh lam được tổ hợp với nhau theo nhiều phương thức khác nhau
để tạo thành các màu khác. Từ viết tắt RGB trong tiếng Anh có nghĩa là đỏ
(red), xanh lá cây (green) và xanh lam (blue), là ba màu gốc trong các mô
hình ánh sáng bổ sung. Mô hình màu RGB tự bản thân nó không định nghĩa
thế nào là "đỏ", "xanh lá cây" và "xanh lam" một cách chính xác, vì thế với
cùng các giá trị như nhau của RGB có thể mô tả các màu tương đối khác nhau


12
trên các thiết bị khác nhau có cùng một mô hình màu. Trong khi chúng cùng
chia sẻ một mô hình màu chung, không gian màu thực sự của chúng là dao
động một cách đáng kể.
Sử dụng mô hình màu RGB như một tiêu chuẩn biểu thị màu trên Internet
có nguồn gốc từ các tiêu chuẩn cho ti vi màu năm 1953 của RCA và việc sử
dụng tiêu chuẩn RGB bởi Edwin Land trong các camera Land / Polaroid.

1.2.3.2 Cơ sở sinh học
Các màu gốc có liên quan đến các khái niệm sinh học hơn là vật lý, nó
dựa trên cơ sở phản ứng sinh lý học của mắt người đối với ánh sáng. Mắt
người có các tế bào cảm quang có hình nón nên còn được gọi là tế bào hình
nón, các tế bào này thông thường có phản ứng cực đại với ánh sáng vàng xanh lá cây (tế bào hình nón L), xanh lá cây (tế bào hình nón M) và xanh lam
(tế bào hình nón S) tương ứng với các bước sóng khoảng 564 nm, 534 nm và
420 nm. Ví dụ, màu vàng thấy được khi các tế bào cảm nhận màu xanh ánh
vàng được kích thích nhiều hơn một chút so với tế bào cảm nhận màu xanh lá
cây và màu đỏ cảm nhận được khi các tế bào cảm nhận màu vàng - xanh lá
cây được kích thích nhiều hơn so với tế bào cảm nhận màu xanh lá cây. Mặc
dù biên độ cực đại của các phản xạ của các tế bào cảm quang không diễn ra ở
các bước sóng của màu "đỏ", "xanh lá cây" và "xanh lam", ba màu này được
mô tả như là các màu gốc vì chúng có thể sử dụng một cách tương đối độc lập
để kích thích ba loại tế bào cảm quang. Để sinh ra khoảng màu tối ưu cho các
loài động vật khác, các màu gốc khác có thể được sử dụng. Với các loài vật có
bốn loại tế bào cảm quang, chẳng hạn như nhiều loại chim, người ta có lẽ phải
nói là cần tới bốn màu gốc; cho các loài vật chỉ có hai loại tế bào cảm quang,
như phần lớn các loại động vật có vú, thì chỉ cần hai màu gốc.
Biểu diễn dạng số 24 bit: Khi biểu diễn dưới dạng số, các giá trị RGB
trong mô hình 24 bpp thông thường được ghi bằng cặp ba số nguyên giữa 0


13
và 255, mỗi
ỗi số đại diện cho cường
c
độ của màu đỏ,
ỏ, xanh lá cây, xanh lam
trong trật tự như thế.
ế. Số lượng

l
màu tối đa sẽ là:
Ví dụ:
(0, 0, 0) là màu đen
(255, 255, 255) là màu trắng
(255, 0, 0) là màu đỏ
(0, 255, 0) là màu xanh lá cây
(0, 0, 255) là màu xanh lam
(255, 255, 0) là màu vàng
(0, 255, 255) là màu xanh ngọc
(255, 0, 255) là màu hồng cánh sen
Định nghĩa trên sử
ử dụng thỏa thuận được
đ
biết đến như là toàn bbộ khoảng
RGB. Thông thường,
ờng, RGB cho video kỹ thuật số không phải
ph là toàn bộ
khoảng này.
ày. Thay vì thế
thế video RGB sử dụng thỏa thuận với thang độ v
và các
giá trị tương đối
ối chẳng hạn như
như (16, 16, 16) là màu đen, (235, 235, 235) là
màu trắng
ắng v.v. Ví dụ, các thang đọ và
v giá trị tương đối này được
ợc sử dụng cho
định

ịnh nghĩa RGB kỹ thuật số trong CCIR 601.
Kiểu 16 bit: Kiểu
ểu 16 bpp, trong đó hoặc là
là có 5 bit cho m
mỗi màu, gọi là
kiểu 555 hay thêm một
ột bit còn
c lại cho màu xanh
anh lá cây (vì m
mắt có thể cảm
nhận màu này tốt hơn
ơn so với
v các màu khác), gọi là kiểu
ểu 565. Kiểu 24 bpp nói
chung được gọi là thật
ật màu,
m trong khi kiểu 16 bpp được gọi là cao màu.
màu
Kiểu 32 bit: Kiểu
ểu 32 bpp phần lớn là sự
ự đồng nhất chính xác với kiểu 24
bpp, do ở đây thực sự cũng chỉ có 8 bit cho mỗi màu
màu thành ph
phần, tám bit dư
đơn giản là không sử
ử dụng (ngoại trừ khả năng sử dụng nh
như
ư là kênh alpha).
Lý do của
ủa việc mở rộng của kiểu 32 bpp là

l vận tốc cao hơn
ơn mà ph
phần lớn các
phần cứng ngày
ày nay có thể
th truy cập các dữ liệu được
ợc sắp xếp trong các địa chỉ
byte có thể chia được
ợc ngang nhau theo cấp số của 2, so với các dữ liệu không
được sắp xếp như vậy.


14
Kiểu 48 bit: "Kiểu 16-bit" cũng có thể để chỉ tới 16 bit cho mỗi màu
thành phần, tạo ra trong kiểu 48 bpp. Kiểu này làm cho nó có khả năng biểu
thị 65.535 sắc thái mỗi màu thành phần thay vì chỉ có 255. Nó đầu tiên được
sử dụng trong chỉnh sửa hình ảnh chuyên nghiệp, như Photoshop của Adobe
để duy trì sự chính xác cao hơn khi có hơn một thuật toán lọc hình ảnh được
sử dụng đối với hình ảnh đó. Với chỉ có 8 bit cho mỗi màu, các sai số làm
tròn có xu hướng tích lũy sau mỗi thuật toán lọc hình ảnh được sử dụng và
làm biến dạng kết quả cuối cùng.
YcrCb.
- Thành phần độ chói Y (Luminance, gray-scale components): Giới hạn
phổ 6.5 Mhz.
- Hai thành phần màu sắc Cr và Cb (Chrominance, color components):
Giới hạn phổ 2 Mhz.
(YUV (Chuẩn PAL): Tương tự YCrCb. Y-thành phần độ chói. U, V
- Hai thành phần màu.

15
Chuyển đổi hệ màu:
Chuyển đổi từ RGB sang YUV:
- Cách 1:
Y = 0.299R + 0.587G + 0.114B.
U = 0.492(B − Y) = − 0.147R − 0.289G + 0.436B.
V = 0.877(R − Y) = 0.615R − 0.515G − 0.100B.
- Cách 2: (Dùng ma trận).

Chuyển đổi từ YUV sang YCrCb (JPEG):
Y = Y;
Cb = U/2 + 0.5.
Cr = V/1.6 + 0.5
1.2.4 Lấy mẫu các thành phần màu
Lấy mẫu là một quá trình, qua đó ảnh được tạo nên trên một vùng có tính
liên tục được chuyển thành các giá trị rời rạc theo tọa độ nguyên. Quá trình
này gồm 2 lựa chọn:
- Một là: khoảng lấy mẫu được đảm bảo nhờ lý thuyết lấy mẫu Shannon.
- Hai là: cách thể hiện dạng mẫu liên quan đến độ đo (Metric) được dùng
trong miền rời rạc.
Tọa độ màu tĩnh: Là tọa độ của các điểm màu tĩnh trong đó đồ thị tĩnh
màu của hệ tọa độ x, y tiêu chuẩn.


16

Độ phân giải ( Resolution): Là độ sắc nét của hình ảnh thể hiện qua số
dòng và số cột của màn ảnh hay số phần tử hình ảnh trên một đơn vị diện tích.
Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic
Adaptor) là một lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc *

200 điểm ảnh (320*200). Rõ ràng, cùng màn hình CGA 12” ta nhận thấy mịn
hơn màn hình CGA 17” độ phân giải 320*200. Lý do: cùng một mật độ (độ
phân giải) nhưng diện tích màn hình rộng hơn thì độ mịn (liên tục của các
điểm) kém hơn.
Độ chói (Luminance): Là lượng ánh sáng do một phần tử ánh sáng hay
một vùng cụ thể của ảnh phát xạ.
Mức xám của ảnh: Một điểm ảnh (pixel) có hai đặc trưng cơ bản là vị trí
(x, y) của điểm ảnh và độ xám của nó.
Mức xám của điểm ảnh: là cường độ sáng của nó được gán bằng giá trị
số tại điểm đó.
Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256
là mức phổ dụng. Lý do: từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn
mức xám: Mức xám dùng 1byte biểu diễn: 28=256 mức ( tức là từ 0 đến 255).


17
Điểm lấy mẫu: Là điểm được lấy trên hình ảnh trong quá trình rời rạc
hóa hình ảnh để tạo nên tín hiệu số của hình ảnh.
Độ tương phản: Độ tương phản là sự khác nhau về màu sắc giữa hình
ảnh và nền.
1.2.4.1 Khoảng lấy mẫu (Sampling Interval)
Ảnh lấy mẫu có thể được mô tả như việc lựa chọn một tập các vị trí lấy
mẫu trong không gian hai chiều liên tục. Đầu tiên mô tả qua quá trình lấy mẫu
một chiều với việc sử dụng hàm delta:

Định nghĩa hàm răng lược với các khoảng Δx:

với r là số nguyên, Δx : khoảng lấy mẫu
Như vậy, hàm răng lược là chuỗi các xung răng lược từ (-∞ đến +∞). Giả
sử hàm một chiều g(x) được mô tả (gần đúng) bằng g(r Δx ) tức là:

g(x)≈g(rΔx)
Khi đó tín hiệu lấy mẫu được mô hình hoá:

(tích chập trong miền không gian x.)
Hoặc tương đương:


18
Trong thực tế, r không thể tính được trong khoảng vô hạn (từ − ∞ đến
+∞) mà là một số lượng NΔx mẫu lớn cụ thể. Như vậy, để đơn giản có thể nói
hàm liên tục g(x) có thể biểu diễn trên một miền với độ dài NΔx mẫu thành
chuỗi như sau:
g(x) ≈ {g(0), g(Δx), g(2Δx),..., g((N −1)Δx) }
Chú ý 1: Khoảng lấy mẫu (Sampling Interval) Δx là một tham số cần
phải được chọn đủ nhỏ, thích hợp, nếu không tín hiệu thật không thể khôi
phục lại được từ tín hiệu lấy mẫu.
Chú ý 2: Từ lý thuyết về xử lý tín hiệu số tích chập trong miền không
gian x tương đương với tích chập trong miền tần số ω tức là biến đổi Fourier
của gs(x) là:

trong đó ωx là giá trị tần số ứng với giái trị x trong miền không gian.
Điều kiện khôi phục ảnh lấy mẫu về ảnh thật được phát biểu từ định lý
lẫy mẫu của Shannon.
1.2.4.2 Định lý lấy mẫu của Shannon
Giả sử g(x) là một hàm giới hạn giải (Band Limited Function) và biến đổi
Fourier của nó là

đối với các giá trị

. Khi đó g(x) có thể

được khôi phục lại từ các mẫu được tạo tại các khoảng Δx đều đặn. Tức là Δx
≤ 1 / 2ωx
Định lý lẫy mẫu của Shannon có thể mở rộng cho không gian hai chiều.
Hàm răng lược hai chiều khi đó được xác định: