Báo cáo lý thuyết Thị Giác Máy Tính Phát hiện và phân loại cá

ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC SÀI GỊN

BÁO CÁO TIỂU LUẬN
Mơn học: THỊ GIÁC MÁY TÍNH
ĐỀ TÀI: PHÁT HIỆN VÀ PHÂN LOẠI CÁ

Tên sinh viên: Nguyễn Phan Triều Dương
MSSV: 3119411017
Tên sinh viên: Lâm Minh Huy
MSSV: 3119411027
Tên sinh viên: Trương Nguyễn Hoàng Nam
MSSV: 3119411041
Hướng dẫn: PGS.TS PHẠM THẾ BẢO

Tp. Hồ Chí Minh, tháng 12 năm 2021
1


MỤC LỤC
I.
II.

MỞ ĐẦU …………………………………………………………. 3
NỘI DUNG CÁC CHƯƠNG …………………………………….. 4

CHƯƠNG 1: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH ………………….…. 4
1.1
1.2
1.3

KHÁI NIỆM ………………………………………………... 4
CÁC HƯỚNG TIẾP CẬN PHÂN ĐOẠN ẢNH …………... 4
MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH ………….. 5

CHƯƠNG 2: TÌM HIỂU CÁC PHƯƠNG PHÁP VỀ PHÂN ĐOẠN ẢNH . 6
II.1 PHÂN ĐOẠN DỰA TRÊN NGƯỠNG ……………………. 6
II.1.1 Kỹ thuật phân ngưỡng toán cục ……………………… 6
II.1.2 Kỹ thuật phân ngưỡng đa ngưỡng …………………… 7
II.1.3 Kỹ thuật phân ngưỡng thích nghi ……………………. 8
II.2 PHÂN ĐOẠN DỰA TRÊN KHU VỰC ………………….. 10
II.3 PHÂN ĐOẠN DỰA TRÊN CẠNH ………………………. 13
II.4 PHÂN ĐOẠN DỰA TRÊN MẠNG NƠ-RON NHÂN TẠO 14
III. TÀI LIỆU THAM KHẢO ……………………….……………… 16

I. MỞ ĐẦU

- Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng,
2


nhận dạng ảnh phát triển không ngừng. Các phương pháp tri thức nhân
tạo như mạng nơ-ron nhân tạo, các thuật tốn xử lý hiện đại và cải tiến,
các cơng cụ nén ảnh ngày càng được áp dụng rộng rãi và thu nhiều kết
quả khả quan. Để dễ hình dùng các bước cần thiết trong xử lý ảnh. Đầu
tiên, ảnh tự nhiên từ thế giới ngoài được thu nhận qua các thiết bị thu
(như Camera, máy chụp ảnh). Trước đây, ảnh thu qua Camera là các
ảnh tương tự (loại Camera ống kiểu CCIR). Gần đây, với sự phát triển
của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ Camera, sau đó
nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo.
(Máy ảnh số hiện nay là một thí dụ gần gũi). Mặt khác, ảnh cũng có thể

tiếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằng máy quét ảnh. Hình
1.1 dưới đây mô tả các bước cơ bản trong xử lý ảnh.

II. NỘI DUNG CÁC CHƯƠNG
CHƯƠNG 1: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH

3


1.1 Khái niệm
- Phân đoạn ảnh là một thao tác ở mức thấp trong tồn bộ q trình xử lý
ảnh. Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc
và đồng nhất với nhau hay nói cách khác là xác định các biên của các
vùng ảnh đó. Các vùng ảnh đồng nhất này thơng thường sẽ tương ứng
với toàn bộ hay từng phần của các đối tượng thật sự bên trong ảnh. Vì
thế, trong hầu hết các ứng dụng của lĩnh vực xử lý ảnh, phân đoạn ảnh
ln đóng một vai trị cơ bản và thường là bước tiền xử lý đầu tiên
trong toàn bộ quá trình trước khi thực hiện các thao tác khác ở mức cao
hơn như nhận dạng đối tượng, biểu diễn đối tượng, nén ảnh dựa trên
đối tượng, hay truy vấn ảnh dựa vào nội dung … Trước đây, các
phương pháp phân vùng ảnh được đưa ra chủ yếu làm việc trên các ảnh
mức xám do các hạn chế về phương tiện thu thập và lưu trữ. Ngày nay,
cùng với sự phát triển về các phương tiện thu nhận và biểu diễn ảnh,
các ảnh màu đã hầu như thay thế hoàn toàn các ảnh mức xám trong
việc biểu diễn và lưu trữ thông tin do các ưu thế vượt trội hơn hẳn so
với ảnh mức xám. Do đó, các kỹ thuật, thuật giải mới thực hiện việc
phân vùng ảnh trên các loại ảnh màu liên tục được phát triển để đáp
ứng các nhu cầu mới.

1.2 Các hướng tiếp cận phân đoạn ảnh

- Cách tiếp cận tương đồng (Similarity approach), có nghĩa là phát hiện sự
tương đồng giữa các pixel hình ảnh để tạo thành một phân đoạn, dựa trên
một ngưỡng. Các thuật toán học máy như phân cụm thường dựa trên kiểu
tiếp cận này để phân vùng một hình ảnh.
- Cách tiếp cận gián đoạn (Discontinuity approach): Cách tiếp cận này dựa
trên sự gián đoạn của các giá trị cường độ pixel trong hình ảnh. Các kỹ
thuật phát hiện đường, điểm và cạnh sử dụng kiểu tiếp cận gián đoạn để
4


thu được các kết quả phân vùng trung gian. Kết quả này sau đó có thể được
xử lý để cho ra hình ảnh được phân vùng cuối cùng

1.3 Các phương pháp phân đoạn ảnh
- Phân vùng dựa trên ngưỡng: tìm các vùng ảnh bằng cách nhóm các
điểm có giá trị mức xám tương tự nhau.
- Phân vùng dựa theo đường biên: xác định đường ranh giới giữa các
vùng lân cận. Đây là bài toán đối ngẫu với bài toán phân đoạn ảnh. Bởi
lẽ nếu xác định được đối tượng trong ảnh ta sẽ dễ dàng xác định được
biên và ngược lại. Do vậy bài tốn này ta sẽ tìm hiểu sau.
- Phân vùng ảnh dựa trên các miền: xác định trực tiếp các vùng ảnh bằng
cách gia tăng hoặc phân chia vùng.
- Phân vùng dựa trên mạng nơron nhân tạo (Artificial Neural Network
Based Segmentation): kỹ thuật này sử dụng AI để tự động phân tích một
hình ảnh và xác định các thành phần khác nhau của nó như khn mặt, đối
tượng, văn bản, …

CHƯƠNG 2: TÌM HIỂU CÁC PHƯƠNG PHÁP VỀ PHÂN ĐOẠN ẢNH

5

2.1 Phân vùng dựa trên ngưỡng
Cắt ngưỡng là kỹ thuật chuyển gía trị mức xám của điểm ảnh pixelQ về một
giá trị xám chung nào đó.
Ví dụ: cắt ngưỡng nhị phân là chuyển ảnh về 2 giá trị: 0 hoặc 1
2.1.1 Kỹ thuật phân ngưỡng toàn cục
Cắt ngưỡng toàn cục là cắt ngưỡng dựa vào 1 giá trị ngưỡng T cho toàn bộ
ảnh.
g=
là biểu diễn cho ảnh đầu vào
g là biểu diễn cho ảnh đa cắt ngưỡng

6


Ảnh gốc

Ảnh sau cắt ngưỡng

Để xác định ngưỡng toàn cục T, ta dùng thuật tốn tìm ngưỡng tồn cục cơ bản
B1: Chọn giá trị ngưỡng ban đầu T (thường là trung bình múc xám trong ảnh)
B2: Sử dụng ngưỡng T để phân đoạn ảnh, tạo ra 2 nhóm điểm ảnh (áp dụng cơng
thức (1)):
 Nhóm G1 chứa các pixel với mức xám > T
 Nhóm G2 chứa các pixel với mức xám T
B3: Tính mức xám trung bình nhóm G1 là m1 và mức xám trung bình G2 là m2
B4: Tính ngưỡng mới : T =
B5: Lặp lại B2 đến B4 cho đến khi giá trị của T trong các lần lặp tiếp theo nhỏ
hơn T

2.1.2 Kỹ thuật phân ngưỡng đa ngưỡng
Cắt ngưỡng đa ngưỡng dựa vào nhiều giá trị ngưỡng T (T có nhiều giá trị)
Ví dụ: cắt ngưỡng đa ngưỡng T1 = 80; T2 = 177

7


Ảnh gốc

Ảnh phân đoạn bằng cắt đa ngưỡng

2.1.3 Kỹ thuật phân ngưỡng thích nghi
8

Histogram ảnh gốc

Histogram ảnh phân đoạn


Đối với các trường hợp mà không thể cắt ngưỡng tồn cục thì chia ảnh
thành các vùng con và cắt ngưỡng riêng lẻ các vùng con này.
Do việc cắt ngưỡng cho mỗi pixel phụ thuộc vào vị trí của nó và các pixel lân
cận trong ảnh con nên kỹ thuật này được gọi là cắt ngưỡng thích nghi (adaptive)
 Cịn gọi là cắt ngưỡng cục bộ.

Ảnh gốc

Ảnh được chia thành các vùng con

Ảnh phân đoạn

Phân đoạn ảnh bằng cắt ngưỡng thích nghi dựa trên Thuộc tính vùng ảnh cục bộ.
Tính giá trị ngưỡng cho mỗi pixel trong ảnh dựa trên vùng lân cận của nó:
 là giá trị trung bình mức xám của các pixel trong ảnh đầu vào.
 là vùng ảnh con hình vng với kích thước mỗi cạnh là k, với tọa độ
của pixel tại tâm của vùng .
9




là độ lệch chuẩn của pixel trong vùng .

Thuật toán:
1. Tính và
2. Tính ngưỡng của pixel(x,y) trong vùng : =
Trong đó: a, b khơng là số âm
3. Ảnh phân đoạn được tính bằng: g =
Trong đó: f là ảnh đầu vào

2.2 Phân vùng dựa trên khu vực (Region – Based Segmentation)
* Các ràng buộc cơ bản
Một vùng có thể được phân loại là một nhóm các pixel kết nối với nhau và có
các thuộc tính tương đồng về cường độ, màu sắc, v.v. Trong kiểu phân vùng
này, có một số quy tắc được định sẵn mà pixel phải tuân theo để đảm bảo có
thể phân loại thành các vùng pixel tương tự. Phương pháp phân vùng dựa trên
khu vực được ưu tiên hơn phương pháp phân vùng dựa trên cạnh trong
trường hợp ảnh bị nhiễu.
Có 2 nhóm kỹ thuật chính trong phân vùng dựa trên khu vực, bao gồm:

Phát triển khu vực (Region growing method)
Phân tách và hợp nhất khu vực (Region splitting and merging method)

* Phát triển khu vực (Region growing method)

10


Đối với kỹ thuật này, chúng ta bắt đầu với một số pixel làm pixel hạt
giống và sau đó kiểm tra các pixel liền kề. Nếu các pixel liền kề tuân theo các
quy tắc được xác định trước, thì pixel đó sẽ được thêm vào vùng của pixel
gốc và quá trình sẽ tiếp tục cho đến khi khơng cịn điểm tương đồng nào.
Phương pháp này thực hiện theo cách tiếp cận từ dưới lên. Trong trường hợp
khu vực đang phát triển, quy tắc ưu tiên có thể được đặt làm ngưỡng.

* Phân tách và hợp nhất khu vực (Region splitting and merging method)

11


Đối với phân tách khu vực, tồn bộ hình ảnh đầu tiên được chụp dưới
dạng một vùng duy nhất. Nếu không tuân theo các quy tắc được xác định
trước, vùng đó sẽ lại được chia thành nhiều vùng (thường là 4 góc phần tư)
và tiếp tục áp dụng các quy tắc để quyết định có chia nhỏ hơn nữa hay khơng.
Q trình này kéo dài cho đến khi khơng có sự phân chia khu vực nào nữa,
tức là mọi khu vực đều tuân theo các quy tắc được xác định trước.
Điều kiện kiểm tra để quyết định có nên phân tách một vùng hay không
là: Nếu giá trị tuyệt đối của sự chênh lệch giữa cường độ pixel tối đa và tối
thiểu trong một vùng nhỏ hơn hoặc bằng một giá trị ngưỡng do người dùng
quyết định thì vùng đó không yêu cầu phân tách thêm.

Đối với hợp nhất khu vực, mỗi pixel được coi là một vùng riêng lẻ. Ta
chọn một vùng làm vùng hạt giống để kiểm tra tính tương đồng của các vùng
lân cận dựa trên quy tắc được định trước. Nếu giống nhau, chúng sẽ được hợp
nhất thành một vùng duy nhất và cứ tiếp tục như vậy cho đến khi xây dựng
12


các vùng được phân đoạn của tồn bộ hình ảnh.
Cả phân tách và hợp nhất khu vực đều là quá trình lặp đi lặp lại. Thơng
thường, việc tách vùng đầu tiên được thực hiện trên một hình ảnh để chia ảnh
đó thành các vùng tối đa, trước khi các vùng này được hợp nhất để tạo thành
hình ảnh mới, với những phân vùng tốt hơn so với hình ảnh gốc.
2.3 Phân vùng dựa trên cạnh (Edge Based Segmentation)
Cạnh trong ảnh đánh dấu những vị trí hình ảnh khơng liên tục về mức xám,
màu sắc, kết cấu, v.v. Khi di chuyển từ vùng này sang vùng khác, mức xám có
thể thay đổi. Vì vậy, nếu tìm thấy sự gián đoạn đó, ta có thể tìm thấy cạnh. Thực
tế, có nhiều tốn tử phát hiện cạnh, nhưng hình ảnh thu được là kết quả phân
vùng trung gian, và không nên nhầm lẫn với hình ảnh được phân vùng cuối cùng.
Để ra được kết quả cuối, cần thực hiện một số bước bổ sung bao gồm: kết hợp
các phân vùng cạnh thu được làm một, để giảm số lượng phân vùng và có được
một đường viền liền mạch của đối tượng.
Như vậy, có thể thấy, phân vùng cạnh đưa ra một kết quả phân vùng trung
gian. Kết quả này sau đó có thể áp dụng theo vùng hoặc bất kỳ kiểu phân đoạn
nào khác, nhằm có được hình ảnh được phân vùng cuối.

13


Các loại cạnh trong ảnh

Các cạnh thường được liên kết với “Độ lớn” và “Hướng”. Một số toán tử phát
hiện cạnh cung cấp cả hai yếu tố này, chẳng hạn như Sobel edge operator, canny
edge detector, Kirsch edge operator, Prewitt edge operator, Robert’s edge
operator,….

2.4 Phân vùng dựa trên mạng nơron nhân tạo (Artificial Neural Network
Based Segmentation)
Kỹ thuật này sử dụng AI để tự động phân tích một hình ảnh và xác định
các thành phần khác nhau của nó như khn mặt, đối tượng, văn bản, v.v. Mạng
14


thần kinh tích chập (convolutional neural networks) khá phổ biến đối với việc
phân vùng ảnh vì chúng có thể xác định và xử lý dữ liệu hình ảnh một cách
nhanh chóng và hiệu quả.
Các chuyên gia tại Facebook AI Research (FAIR) đã tạo ra một kiến trúc
học sâu được gọi là Mask R-CNN, có thể được sử dụng như một bộ lọc pixel
thông minh cho mọi đối tượng trong ảnh. Đây là phiên bản nâng cao của kiến
trúc phát hiện đối tượng Faster R-CNN.
Trong quá trình phân vùng ảnh, trước tiên phải chuyển hình ảnh đầu vào
đến ConvNet để tạo bản đồ đối tượng cho hình ảnh. Sau đó, hệ thống áp dụng
mạng đề xuất vùng (Region Proposal Network – RPN) trên bản đồ đối tượng và
tạo đề xuất đối tượng cùng với điểm số của chúng. Sau đó, lớp tổng hợp ROI
(Region of interest) được triển khai cho các đề xuất để giảm chúng xuống một
kích thước.
Trong giai đoạn cuối cùng, hệ thống chuyển các đề xuất đến lớp kết nối để
phân loại và tạo ra kết quả với các hộp giới hạn được gán cho mọi đối tượng.

15

III. TÀI LIỆU THAM KHẢO
[1] (Truy cập lần cuối: 20h, 01/06/2022)
[2]
/>Model_Development_for_Monocrystalline_Superalloys_PREPRINT (Truy
cập lần cuối: 20h, 01/06/2022)
[3]
/>or_melanoma_diagnosis_A_performance_evaluation (Truy cập lần cuối: 20h,
01/06/2022)

16