(Luận án tiến sĩ) Nghiên cứu, phát triển một số kỹ thuật học sâu áp dụng cho phân vùng polyp trên ảnh nội soi đại tràng

i
BỘ GIÁO DỤC VÀ ĐÀO TẠO

BỘ QUỐC PHỊNG

VIỆN KHOA HỌC
CƠNG
NGHỆ QN SỰ
LỜIVÀ
CAM
ĐOAN

Tơi xin cam đoan, đây là cơng trình nghiên cứu của riêng tôi. Những nội
dung, số liệu và kết quả trình bày trong luận án là hồn tồn trung thực và chưa
từng được công bố trong bất cứ công trình nào khác. Các dữ liệu tham khảo
được trích dẫn đầy đủ.

LÊ THỊ THU HỒNG

Hà Nội, ngày

tháng năm 2022
Tác giả

NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ THUẬT
Lê Thị Thu
Hồng TRÊN
HỌC SÂU ÁP DỤNG CHO PHÂN VÙNG
POLYP
ẢNH NỘI SOI ĐẠI TRÀNG

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội – 2022


ii

BỘ GIÁO DỤC VÀ ĐÀO TẠO

LỜI CẢM ƠN

BỘ QUỐC PHÒNG

VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ

Luận án này được thực hiện tại Viện Khoa học và Công nghệ quân sự/Bộ
Quốc phòng. Lời đầu tiên, nghiên cứu sinh xin bày tỏ lịng cảm ơn sâu sắc tới
TS Nguyễn Chí Thành và TS Trần Quốc Long, các thầy đã tận tình giúp đỡ,
trang bị cho NCS phương pháp nghiên cứu, kinh nghiệm, kiến thức khoa học
và kiểm tra, đánh giá các kết quả
cứu của
nghiên cứu sinh.
LÊnghiên
THỊ THU
HỒNG
Nghiên cứu sinh xin chân thành cảm ơn Thủ trưởng Viện KH-CN quân
sự, Thủ trưởng và các cán bộ Phịng Đào tạo, Viện Cơng nghệ thông tin/Viện
KHCNQS đã tạo mọi điều kiện, hỗ trợ, giúp đỡ NCS trong quá trình học tập,
nghiên cứu.

NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ THUẬT
NCS xin
bàyÁP
tỏ lời
cảm ơnCHO
chân thành
tới VÙNG
các thầy, POLYP
cơ giáo của
Viện
HỌC
SÂU
DỤNG
PHÂN
TRÊN
Cơng nghệ thơng tin, cácẢNH
đồng nghiệp
phịngĐẠI
CơngTRÀNG
nghệ tri thức và phịng Phần
NỘI SOI

mềm chun dụng thuộc Viện Cơng nghệ thông tin/Viện KHCNQS đã luôn

động viên, chia sẻ, giúp đỡ NCS trong suốt thời gian qua. Bên cạnh đó, NCS
toánnghiệp
học chovà
tincác
họcbạn sinh viên trong
cũng xin gửi Chuyên

lời cảmngành:
ơn các thầy Cơ
cơ,sởđồng
Mã số:

9460110

nhóm nghiên cứu thị giác máy tính tại Phịng thí nghiệm mục tiêu Trí tuệ nhân
tạo (UET-AILAB) thuộc Trường Đại học Công nghệ, Đại học Quốc gia Hà nội,
đã nhiệt tình đóng góp các ý kiến q báu trong quá trình học tập, nghiên cứu
của NCS.

LUẬN ÁN TIẾN SĨ TỐN HỌC

Nghiên cứu sinh ln ghi nhớ cơng ơn của bố mẹ và gia đình, những
người đã ln ở bên cạnh, động viên và là chỗ dựa về mọi mặt giúp nghiên cứu
sinh vượt qua khó khăn để hồn thành luận án.
TácKHOA
giả luận
án
NGƯỜI HƯỚNG DẪN
HỌC:
1. TS Nguyễn Chí Thành
Lê Thị
Thu Hồng
2. TS Trần Quốc
Long

Hà Nội – 2022

iii

MỤC LỤC
Trang

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT, THUẬT NGỮ ... vi
DANH MỤC BẢNG BIỂU ............................................................... viii
DANH MỤC CÁC HÌNH VẼ ........................................................... x
MỞ ĐẦU ............................................................................................ 1
CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG
POLYP TRÊN ẢNH NỘI SOI ĐẠI TRÀNG .................................... 7
1.1. Bài toán tự động phân vùng polyp trên ảnh nội soi đại tràng ......... 7
1.1.1. Giới thiệu bài toán .......................................................................... 7
1.1.2. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố ..... 12
1.2. Kỹ thuật học sâu cho phân vùng đối tượng trên ảnh ....................... 16
1.2.1. Kỹ thuật học sâu ............................................................................. 16
1.2.2. Kỹ thuật học chuyển giao .............................................................. 19
1.2.3. Mạng học sâu phân vùng đối tượng trên ảnh ............................... 21
1.2.4. Đánh giá phương pháp phân vùng đối tượng trên ảnh................ 23
1.2.5. Tăng cường dữ liệu cho hệ thống học sâu.................................... 26
1.2.6. Mạng sinh dữ liệu có điều kiện CGAN ........................................ 26
1.2.7. Phương pháp học tự giám sát các đặc trưng thị giác của ảnh ...... 27
1.3. Tình hình nghiên cứu bài tốn phân tích ảnh nội soi đại tràng. ...... 28
1.3.1. Tình hình nghiên cứu trên thế giới ................................................ 28
1.3.2. Tình hình nghiên cứu trong nước.................................................. 35
1.3.3. Những vấn đề còn tồn tại ............................................................... 37
1.3.4. Những vấn đề luận án tập trung giải quyết. ................................. 38
1.4. Kết luận Chương 1 ........................................................................... 39
CHƯƠNG 2 MƠ HÌNH PHÂN VÙNG POLYP ĐẠI TRÀNG

DỰA TRÊN MẠNG UNET CẢI TIẾN VÀ HÀM MẤT MÁT BẤT
ĐỐI XỨNG KẾT HỢP ...................................................................... 41
2.1. Đặt vấn đề ........................................................................................ 41
2.2. Phương pháp đề xuất ....................................................................... 41


iv

2.2.1. Kiến trúc mơ hình học sâu đề xuất cho phân vùng polyp trên
ảnh nội soi đại tràng ..................................................................................
2.2.2. Mạng UNet điều chỉnh cho phân vùng polyp trên ảnh nội soi
đại tràng. ....................................................................................................
2.2.3. Tích hợp lớp CRF-RNN vào mạng UNet ....................................
2.2.4. Hàm mất mát bất đối xứng kết hợp AsymCE..............................
2.2.5. Phương pháp học chuyển giao cho huấn luyện mơ hình
đề xuất ....................................................................................
2.3. Thử nghiệm và đánh giá các kết quả ...............................................
2.3.1. Các bộ dữ liệu thử nghiệm và các phương pháp tăng cường dữ
liệu huấn luyện ..........................................................................................
2.3.2. Môi trường cài đặt huấn luyện mơ hình và các độ đo đánh giá
mơ hình ......................................................................................................
2.3.3. Đánh giá hiệu quả của từng kỹ thuật trong phương pháp đề xuất
(Ablation study) ........................................................................................
2.3.4. Đánh giá độ phức tạp của mơ hình đề xuất ..................................
2.3.5. So sánh, đánh giá kết quả của phương pháp đề xuất với các
phương pháp mới được công bố gần đây. ..............................................
2.4. Kết luận Chương 2 ...........................................................................
CHƯƠNG 3 PHƯƠNG PHÁP HỌC TỰ GIÁM SÁT ĐẶC
TRƯNG THỊ GIÁC CỦA ẢNH NỘI SOI ĐẠI TRÀNG CHO
PHÂN VÙNG.....................................................................................

3.1. Đặt vấn đề ........................................................................................
3.2. Phương pháp đề xuất .......................................................................
3.2.1. Mơ hình hệ thống học tự giám sát các đặc trưng thị giác cho
phân vùng polyp trên ảnh nội soi đại tràng.............................................
3.2.2. Mạng tái tạo ảnh nội soi đại tràng .................................................
3.2.3. Phân vùng polyp sử dụng chuyển giao tri thức đã học từ mạng
tái tạo ảnh nội soi đại tràng ......................................................................
3.3. Thử nghiệm và đánh giá các kết quả ...............................................
3.3.1. Các bộ dữ liệu thử nghiệm.............................................................

42
43
46
48
54
55
55
56
56
64
65
71

73
73
75
75
75
79
80

80
81


v

3.3.2. Cài đặt các mơ hình ........................................................................
3.3.3. Kết quả tái tạo ảnh ..........................................................................
3.3.4. Kết quả phân vùng polyp. ..............................................................
3.3.5. So sánh độ chính xác phân vùng polyp của phương pháp đề xuất
với các phương pháp mới hiện nay .........................................................
3.4. Kết luận Chương 3 ...........................................................................
CHƯƠNG 4 PHƯƠNG PHÁP SINH DỮ LIỆU ẢNH NỘI SOI
ĐẠI TRÀNG CÓ NHÃN PHÂN VÙNG POLYP ............................
4.1. Đặt vấn đề ........................................................................................
4.2. Phương pháp đề xuất .......................................................................
4.2.1. Mạng sinh ảnh nội soi đại tràng chứa polyp PolypGenPix2Pix.
4.2.2. Kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh ...................
4.3. Thử nghiệm và đánh giá các kết quả ...............................................
4.3.1. Các bộ dữ liệu thử nghiệm.............................................................
4.3.2. Môi trường cài đặt huấn luyện mơ hình và các độ đo đánh giá
mơ hình ......................................................................................................
4.3.3. Kết quả sinh ảnh nội soi chứa polyp của mơ hình
PolypGenPix2Pix ......................................................................................
4.3.4. Đánh giá hiệu quả của kỹ thuật sinh điều kiện đầu vào cho mạng
sinh ảnh nội soi ..........................................................................................
4.3.5. So sánh độ chính xác của mơ hình học sâu phân vùng polyp
được tăng cường dữ liệu bởi mơ hình sinh ảnh. .....................................
4.4. Kết luận Chương 4 ...........................................................................
KẾT LUẬN ........................................................................................

1. Các kết quả nghiên cứu của luận án ...................................................
2. Những đóng góp mới của luận án.......................................................
3. Hướng nghiên cứu tiếp theo ...............................................................
DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ ..
TÀI LIỆU THAM KHẢO .................................................................

81
83
86
86
89
89
91
91
95
96
96
97
98
99
100
103
105
105
106
106
107
108

vi

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT
Ký hiệu, chữ viết tắt

Ý nghĩa

ℝ𝒏
|𝓓|
X∪Y
X∩Y
𝑓(∙)
log⁡(∙)
exp⁡(∙)
(∙)𝑇
‖∙‖𝑝

Tập các vector số thực n chiều
Số lượng các phần tử của tập hợp 𝒟
Hợp của hai tập hợp X và Y
Giao của hai tập hợp X và Y
Hàm số
Logarit tự nhiên
Hàm mũ
Chuyển vị của ma trận hoặc vector
Dạng chuẩn p

Baseline
CE
CGAN

CV

Cơ sở
Cross-Entropy
Mạng sinh dữ liệu đối nghịch có điều kiện
(Conditional GAN)
Mạng nơ-ron tích chập
Tích chập
Ung thư đại tràng (ColoRectal Cancer)
Mơ hình xác suất trường ngẫu nhiên có điều kiện
(Conditional Random Field)
Thị giác máy tính (Computer Vision)

Data Augumentation
Decoder
Deconvolution
Discriminative model

Tăng cường dữ liệu
Bộ giải mã
Giải tích chập
Mơ hình phân biệt

Encoder

Bộ mã hóa

‖∙‖
𝑃(∙)

𝑧~𝑃
𝑃(𝑋|𝑌)
𝔼𝑥 [𝑓(𝑥)]

CNN
Convolution
CRC
CRF

Dạng chuẩn 2
Phân phối xác suất
Biến ngẫu nhiên z với phân phối xác suất P
Xác suất có điều kiện X|Y
Kỳ vọng của hàm f(x)


vii

GAN
GD
Generative model
Image classification
Knowlegde Transfer
Loss function
MSE
NCS
PACS
Polyp
Polyp classification
Polyp detection

Polyp mask
Polyp segmentation
Regularization
RNN
Self-supervised learning
Self-supervised visual
feature learning
Semi-suppervised learning
SSIM
Supervised learning
Testing set
Training set
Transfer learning
Unsupervised learning
Validing set

Mạng sinh dữ liệu đối nghịch (GAN- Generative
Adversarial Networks)
Thuật toán hạ gradient (Gradient Descent)
Mơ hình sinh
Phân loại ảnh
Chuyển giao kiến thức
Hàm mất mát
Trung bình bình phương lỗi (Mean Squared
Error)
Nghiên cứu sinh
Hệ thống lưu trữ và truyền dữ liệu hình ảnh
(Picture Archiving and Communication Systems)
Đối tượng bất thường trong đại tràng có nguy cơ
phát triển thành ung thư đại tràng

Phân loại polyp
Phát hiện polyp
Ảnh nhị phân thể hiện hình dạng polyp
Phân vùng polyp
Điều chuẩn
Mạng nơ-ron hồi quy (Recurrent Neural
Network)
Học tự giám sát
Học tự giám sát các đặc trưng thị giác
Học bán giám sát
Độ tương tự về mặt cấu trúc (Structure
Similarity Index Measure)
Học có giám sát
Tập dữ liệu kiểm tra
Tập dữ liệu huấn luyện
Học chuyển giao
Học không giám sát
Tập dữ liệu xác thực


viii

DANH MỤC CÁC BẢNG
Trang
Bảng 1.1. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn được công bố cho
các mô hình học máy .....................................................................

14

Bảng 1.2. Các cơng trình nghiên cứu phân tích ảnh nội soi đại tràng ........

Bảng 2.1. Các hàm mất mát sử dụng cho huấn luyện mơ hình phân vùng

31

polyp trên ảnh nội soi đại tràng ......................................................

52

Bảng 2.2. Độ chính xác mạng UNet điều chỉnh với các bộ mã hóa khác
nhau..............................................................................................
Bảng 2.3. Độ chính xác của mơ các mơ hình UNet khi có tích hợp lớp
CRF-RNN và khi khơng có tích hợp lớp CRF-RNN ........................
Bảng 2.4 Độ chính xác phân vùng polyp của mạng UNet được huấn luyện
bằng các hàm mất mát khác nhau ...................................................
Bảng 2.5. So sánh độ chính xác mơ hình huấn luyện sử dụng phương
pháp học chuyển giao ....................................................................
Bảng 2.6. Độ phức tạp của mạng Unet cải tiến với các bộ mã hóa khác
nhau cho phân vùng polyp .............................................................
Bảng 2.7. So sánh độ chính xác của các mơ hình huấn luyện và đánh giá

57
59
60
64
65

trên cùng bộ dữ liệu CVC-ClinicDB ...............................................
Bảng 2.8. So sánh độ chính xác của các mơ hình huấn luyện và đánh giá
trên cùng bộ dữ liệu Kvarsir-SEG ..................................................

66

Bảng 2.9. So sánh độ chính xác của các mơ hình được huấn luyện bằng...........
bộ dữ liệu CVC-ClinicDB, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVCColonDB .......................................................................................

68

67

68

Bảng 2.10. So sánh điểm số Dice và IoU của mơ hình huấn luyện bằng bộ
Kvasir-SEG, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVCColonDB.......................................................................................
Bảng 2.11. So sánh điểm số Dice và IoU của mơ hình huấn luyện bằng dữ
liệu trộn giữa 2 bộ Kvasir-SEG và ClinicDB, kiểm thử trên hai bộ

69

dữ liệu ETIS-Larib và CVC-ColonDB ............................................
Bảng 3.1. Độ chính xác của mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau ....
Bảng 3.2. Độ chính xác của mạng phân vùng polyp học chuyển giao từ

70
82

mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau ......................................

83

ix

Bảng 3.3. Độ chính xác của mạng phân vùng polyp với phương pháp học
chuyển giao khác nhau ..................................................................

84

Bảng 3.4. So sánh điểm số Dice của các phương pháp phân vùng
polyp ............................................................................................

86

Bảng 4.1. Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử
CVC-ColonDB ..............................................................................

102

Bảng 4.2. Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử
ETIS-Larib ....................................................................................

102

Bảng 4.3. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng
cường khác nhau trên bộ dữ liệu kiểm thử CVC-ColonDB ..............

102

Bảng 4.4. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng
cường khác nhau trên bộ dữ liệu kiểm thử ETIS-Larib ....................

103


x

DANH MỤC CÁC HÌNH VẼ
Trang
Hình 1.1. Minh họa thủ thuật nội soi đại tràng ........................................

7

Hình 1.2. Hệ thống CADx hỗ trợ chuẩn đốn nội soi đại tràng .................
Hình 1.3. Phân vùng polyp trên ảnh nội soi đại tràng ...............................
Hình 1.4. Các trường hợp khó phân vùng polyp.......................................

8
9
10

Hình 1.5. Ví dụ minh họa dữ liệu khơng cân bằng ...................................
Hình 1.6. Ví dụ minh họa bộ dữ liệu CVC-ClinicDB ...............................
Hình 1.7. Ví dụ minh họa bộ dữ liệu Kvasir-Seg .....................................
Hình 1.8. Kiến trúc mơ hình học sâu phân vùng ảnh ................................
Hình 1.9. Kiến trúc mạng UNet ..............................................................

11
12
13
22
23

Hình 1.10. Minh họa điểm số Dice ..........................................................
Hình 1.11. Minh họa chỉ số IoU ..............................................................
Hình 1.12. Phương pháp học tự giám sát các đặc trưng thị giác máy tính. .

24
24
27

Hình 2.1. Tổng quan kiến trúc mơ hình phân vùng polyp trên ảnh nội soi
đại tràng ........................................................................................
Hình 2.2. Mạng UNet cho phân vùng polyp trên ảnh nội soi đại tràng ......

42
44

Hình 2.3. Kiến trúc bộ mã hóa EfficientB7 ..............................................
Hình 2.4. Khối Upsample2D của bộ giải mã ............................................
Hình 2.5. Cấu trúc lớp CRF-RNN tích hợp trong mơ hình phân vùng polyp..
Hình 2.6. Các phương thức học chuyển giao ...........................................

45
45
47
54

Hình 2.7. Ví dụ các phép biến đổi ảnh dùng cho tăng cường dữ liệu .........
Hình 2.8. Biểu đồ độ chính xác của mạng UNet điều chỉnh ......................
Hình 2.9. Biểu đồ so sánh điểm số Dice của mơ hình có và khơng có tích

56
58

hợp lớp CRF-RNN .............................................................................
Hình 2.10. Biểu đồ so sánh điểm số Dice của mơ hình được huấn luyện
bằng các hàm mất mát khác nhau ...................................................
Hình 2.11. Ảnh hưởng của các hàm mất mát trong quá trình học. .............

59

Hình 2.12. Phân vùng polyp được tạo ra bởi các tùy biến của mơ hình đề xuất ..
Hình 3.1. Tổng quan kiến trúc hệ thống học tự giám sát các đặc trưng thị
giác cho phân vùng polyp trên ảnh nội soi đại tràng ........................
Hình 3.2. Ví dụ các phép biến đổi ảnh tạo đầu vào cho mạng tái tạo ảnh ..

62

Hình 3.3. Mơ hình mạng tái tạo ảnh nội soi đại tràng ...............................

78

61
62

76
77


xi

Hình 3.4. Minh họa các phương pháp học chuyển giao từ mạng tái tạo ảnh
nội soi sang mạng phân vùng polyp ................................................

79

Hình 3.5. Một số ảnh do mạng tái tạo ảnh nội soi tạo ra ...........................
Hình 3.6. Phân vùng polyp tạo bởi các mạng UNet huấn luyện theo phương
pháp học chuyển giao khác nhau từ mạng tái tạo ảnh ......................
Hình 4.1. Minh họa mơ hình sinh ảnh nội soi chứa polyp. ........................

82
85

Hình 4.2. Huấn luyện bộ phân biệt ..........................................................

92

Hình 4.3. Huấn luyện bộ sinh ......................................................................

92

Hình 4.4. Kiến trúc bộ sinh của PolypGenPix2Pix ...................................
Hình 4.5. Kiến trúc bộ phân biệt của PolypGenPix2Pix ...........................
Hình 4.6. Kỹ thuật sinh tạo điều kiện đầu vào cho mơ hình sinh ảnh ........
Hình 4.7. Một số ảnh nội soi chứa polyp sinh ra bởi mơ hình sinh ảnh nội
soi đại tràng có chứa polyp ............................................................

93
94
96

91

98

Hình 4.8. Sự khác nhau của ảnh nội soi đại tràng chứa polyp sinh ra do
điều kiện đầu vào mơ hình sinh ảnh khác nhau ........................................ 100
Hình 4.9. Mơ hình học sâu phân vùng polyp trên ảnh nội soi đại tràng ....... 101


1

MỞ ĐẦU
1. Tính cấp thiết của đề tài luận án
Thị giác máy tính (Computer Vision) là một lĩnh vực trong trí tuệ nhân tạo
và khoa học máy tính nhằm giúp máy tính có khả năng “nhìn” và hiểu được
hình ảnh giống con người. Hiện nay thị giác máy tính là một chuyên ngành có
nhiều ứng dụng rộng rãi trong đời sống, nó đã được ứng dụng nhiều trong các
máy móc thiết bị như máy ảnh, thiết bị quang học, xe hơi, rô bốt, xe tự hành.
Trong ngành y tế các bác sỹ dùng các ảnh y tế như ảnh nội soi, ảnh X quang,
ảnh chụp cộng hưởng từ (MRI), ảnh chụp cắt lớp (CT scan), ảnh SPECT, ảnh
PET… để chẩn đoán bệnh và lên phác đồ điều trị. Các ứng dụng máy tính có
thể hỗ trợ các bác sỹ trong chẩn đốn bệnh bằng cách dùng các mơ hình học
máy và các kỹ thuật thị giác máy tính tiên tiến để tự động phân tích các ảnh y
tế với độ chính xác tương đương như con người nhưng tốc độ thực hiện nhanh
hơn rất nhiều lần. Nghiên cứu phát triển các mơ hình học máy, các kỹ thuật thị
giác máy tính tiên tiến, áp dụng để xây dựng các ứng dụng tự động phân tích
ảnh y tế hỗ trợ các bác sỹ trong chẩn đốn hình ảnh sẽ tiết kiệm được rất nhiều
về thời gian và chi phí nhân cơng cho việc chẩn đốn hình ảnh.
Ung thư đại tràng (Colorectal Cancer-CRC) là một trong những nguyên

nhân phổ biến gây tử vong liên quan đến ung thư trên thế giới, với 576,858 ca
tử vong (chiếm 5,8% tổng số ca tử vong do ung thư) trên toàn thế giới vào năm
2020 [73]. CRC thường phát sinh từ các đối tượng bất thường được gọi là các
polyp, tăng trưởng bất thường bên trong đại tràng, các đối tượng này thường
phát triển chậm và có thể mất nhiều năm để biến thành ung thư, do đó chẩn
đốn phát hiện sớm ung thư đại trực tràng là rất có giá trị [42]. Hiện tại, nội soi
đại tràng (Colonoscopy) [42] là công cụ phổ biến trong việc sàng lọc, phát hiện
sớm CRC. Tuy nhiên nội soi đại tràng dị tìm các polyp là một thủ thuật khó
ngay cả với các bác sỹ chuyên khoa được đào tạo bài bản. Tỷ lệ bỏ sót các
polyp trong quá trình nội soi đại trực tràng của các bác sĩ là khoảng 25% [42].
Các polyp bị bỏ sót khơng phát hiện được có thể dẫn đến chẩn đốn phát hiện
CRC muộn và nguy kịch cho bệnh nhân. Vì thế, nghiên cứu các mơ hình học
máy và các kỹ thuật thị giác máy tính tiên tiến để phân tích ảnh nội soi phát
hiện polyp là nghiên cứu quan trọng và rất hữu ích. Các nghiên cứu này sẽ làm


2

nền tảng để xây dựng các ứng dụng hỗ trợ các bác sỹ trong chẩn đoán nội soi
đại tràng, phát hiện sàng lọc sớm CRC, nâng cao hiệu suất làm việc của bác sĩ.
Một trong những bước quan trọng nhất trong các thuật tốn dựa trên máy
tính để phát hiện polyp là việc phân loại các pixel trên ảnh nội soi thành vùng
polyp và khơng polyp, chính là bài tốn phân vùng polyp trên ảnh nội soi (polyp
segmentation). Phân vùng polyp trên ảnh nội soi là cách hiệu quả để thu được
các vùng quan tâm (ROI- Regions Of Interest) có chứa polyp. Việc phát hiện
các ROI trong mỗi hình ảnh dựa trên sự phân bố pixel có thể hỗ trợ các bác sỹ
nâng cao chất lượng chẩn đoán polyp với thời gian ngắn hơn.
Khi xây dựng các mơ hình học sâu áp dụng cho phân tích ảnh nội soi một
khó khăn lớn nhất là sự thiếu hụt các tập dữ liệu huấn luyện đủ lớn. Các hệ
thống lưu trữ và truyền dữ liệu hình ảnh (Picture Archiving and Communication

Systems-PACS) hiện nay đã được sử dụng rộng rãi trong y tế và chúng đang
lưu trữ một lượng ảnh y tế rất lớn trong đó có ảnh nội soi đại tràng, tuy nhiên
khó khăn gặp phải là việc gán nhãn cho các tập dữ liệu ảnh này. Gán nhãn cho
các ảnh nội soi phải được thực hiện bởi các chuyên gia chẩn đốn hình ảnh nội
soi đại tràng lành nghề, việc này địi hỏi rất nhiều thời gian và cơng sức. Ngồi
ra, hình ảnh các polyp trên ảnh nội soi đại tràng thường có mức độ biến thể rất
lớn về hình dạng, kích thước, kết cấu và màu sắc, chất lượng hình ảnh nội soi
cũng rất đa dạng phụ thuộc rất nhiều thiết bị, cách cài đặt hệ thống nội soi trong
các thiết bị ở các cơ sở y tế. Để vượt qua những trở ngại đó địi hỏi có những
nghiên cứu chuyên sâu để tìm ra các hướng giải quyết khác nhau.
Từ những nhận định trên cho thấy việc nghiên cứu, phát triển các mơ
hình học máy và kỹ thuật thị giác máy tính tiên tiến để phân tích ảnh nội soi đại
tràng, tự động phát hiện các polyp có độ chính xác và tính tổng qt hóa tốt là
một hướng nghiên cứu rất cần thiết. Từ các nghiên cứu này có thể áp dụng để
xây dựng các hệ thống phân tích ảnh nội soi đại tràng, tự động phát hiện và
phân vùng các polyp có độ chính xác cao, được chấp nhận và sử dụng rộng rãi
trong y tế, trở thành công cụ hỗ trợ các bác sỹ trong chẩn đoán nội soi đại tràng,
sàng lọc và phát hiện ung thư đại tràng sớm.


3

2. Mục tiêu nghiên cứu
Giải quyết trọn vẹn bài toán phân tích ảnh nội soi đại tràng là một vấn đề
khó và đồ sộ, địi hỏi phải nghiên cứu lâu dài. Do đó, trong khn khổ luận án
này sẽ tập trung vào bài toán phân vùng polyp trên ảnh nội soi đại tràng, là một
trong những bài toán quan trọng nhất trong phân tích ảnh nội soi đại tràng. Mục
tiêu chung của luận án là xây dựng và cải tiến mơ hình học sâu cho phân vùng
phân vùng polyp đạt độ chính xác cao và tính tổng qt hóa tốt, dựa trên các
dữ liệu huấn luyện được gán nhãn phân vùng polyp chuẩn và các dữ liệu ảnh

nội soi chưa được gán nhãn được thu thập từ hệ thống PACS. Để giải quyết
được mục tiêu này luận án đặt ra các mục tiêu cụ thể như sau:
1. Xây dựng mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng
có độ chính xác cao và tính tổng qt hóa tốt và giải quyết được vấn đề dữ liệu
khơng cân bằng.
2. Đề xuất phương pháp học bán giám sát khai thác dữ liệu ảnh nội soi đại
tràng không gán nhãn từ hệ thống PACS để nâng cao độ chính xác của mơ hình
phân vùng polyp
3. Khắc phục tình trạng thiếu hụt dữ liệu ảnh nội soi đại tràng có gán nhãn
phân vùng polyp đa dạng.
3. Đối tượng và phạm vi nghiên cứu
Đối tượng: Đối tượng luận án nghiên cứu là dữ liệu ảnh nội soi đại tràng
và các phương pháp học sâu cho phân vùng đối tượng trên ảnh.
Phạm vi: Luận án tập trung vào các phương pháp học sâu phân vùng các
polyp trên ảnh nội soi đại tràng:
- Nghiên cứu, đề xuất mơ hình học sâu phân vùng các polyp trên ảnh nội
soi đại tràng.
- Nghiên cứu, đề xuất một số kỹ thuật cải tiến để nâng cao độ chính xác
và tính tổng quát của hệ thống phân vùng polyp trên ảnh nội soi đại tràng.
4. Nội dung nghiên cứu
Để đạt được các mục tiêu đề ra, luận án tập trung nghiên cứu một số nội
dung chính như sau:
- Nghiên cứu, phân tích, đánh giá, áp𝛽 dụng các mơ hình học sâu, các kỹ
thuật thị giác tiên tiến để phân vùng đối tượng trên ảnh, đặc biệt là ảnh y tế.


4

- Khảo sát, phân tích, đánh giá các bộ dữ liệu ảnh nội soi đại tràng chuẩn
đã được công bố cho hiện nay và các dữ liệu ảnh nội soi thu thập được từ hệ

thống PACS của bệnh viện 103. Từ đó lựa chọn các bộ dữ liệu phù hợp cho
huấn luyện và kiểm thử các mơ hình phân vùng polyp trên ảnh nội soi đại tràng.
- Nghiên cứu, áp dụng các kỹ thuật học chuyển giao để chuyển giao các
tri thức học được của các mạng đã huấn luyện sẵn trên các bộ dữ liệu lớn vào
giải quyết bài toán trên lĩnh vực ảnh nội soi đại tràng.
- Nghiên cứu, đề xuất các phương pháp học bán giám sát, không giám sát
để tận dụng được kho dữ liệu lớn các dữ liệu ảnh nội soi đại tràng không được
gán nhãn nhằm nâng cao hiệu quả tác vụ phân vùng polyp trên ảnh nội soi đại
tràng.
- Nghiên cứu, đề xuất các phương pháp tăng cường dữ liệu huấn luyện cho
mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng nhằm khắc phục
tình trạng thiếu dữ liệu huấn luyện có gán nhãn phân vùng polyp.
5. Phương pháp nghiên cứu
Phương pháp nghiên cứu của luận án là kết hợp nghiên cứu lý thuyết với
nghiên cứu thực nghiệm.
- Về lý thuyết: Nghiên cứu tổng quan các kỹ thuật học sâu trong thị giác
máy tính để quyết bài tốn phân vùng polyp trên ảnh nội soi đại tràng. Nghiên
cứu, khảo sát các bộ dữ liệu ảnh nội soi đại tràng chuẩn và các cơng trình nghiên
cứu khoa học có liên quan trong và ngoài nước. Nghiên cứu các kỹ thuật tăng
cường dữ liệu, học chuyển giao, học bán giám sát, không giám sát áp dụng để
giải quyết vấn đề thiếu dữ liệu ảnh nội soi có gán nhãn phân vùng poly cho
huấn luyện các mơ hình học sâu.
-Về thực nghiệm: Khảo sát các bộ dữ liệu về ảnh nội soi đại tràng chuẩn
công bố trong cộng đồng nghiên cứu. Cài đặt thử nghiệm các kỹ thuật đề xuất,
lựa chọn các bộ dữ liệu huấn luyện và thử nghiệm là các bộ dữ liệu chuẩn phổ
biến với các ngữ cảnh sử dụng dữ liệu đa dạng. Đồng thời tiến hành so sánh,
đánh giá các phương pháp đề xuất với các cơng trình đã công bố mới hiện nay
sử dụng các độ đo đánh giá độ chính xác mơ hình phân vùng đối tượng chuẩn
phổ biến hiện nay.

5

6. Ý nghĩa khoa học và thực tiễn
Việc nghiên cứu các kỹ thuật học sâu cho phân vùng polyp trên ảnh nội
soi đại tràng của luận án có ý nghĩa trên cả hai phương diện khoa học và thực
tiễn:
Về khía cạnh khoa học: Luận án đề xuất 03 đóng góp mới để giải quyết
bài toán phân vùng polyp trên ảnh nội soi đại bao gồm:
-Đề xuất mơ hình học sâu phân vùng polyp trên ảnh nội soi đại tràng CRFEfficientUNet. Mơ hình này được mở rộng từ mạng UNet với bộ mã hóa
EfficientNet tích hợp lớp CRF-RNN ở trên cùng và sử dụng hàm mất mát bất
đối xứng kết hợp AsymCE do luận án đề xuất.
-Đề xuất một phương pháp học tự giám sát các đặc trưng thị giác của ảnh
nội soi đại tràng cho cho phân vùng polyp dựa trên tác vụ tái tạo ảnh nội soi.
- Đề xuất một phương pháp sinh ảnh nội soi đại tràng giả lập có nhãn phân
vùng polyp sử dụng mạng sinh dữ liệu đối nghịch có điều kiện, nhằm tăng
cường dữ liệu huấn luyện cho các mơ hình học sâu phân vùng polyp trên ảnh
nội soi đại tràng.
Các đề xuất được thử nghiệm và đánh giá dựa trên 04 bộ dữ liệu chuẩn đã
cơng bố cho các mơ hình học máy với các kịch bản sử dụng dữ liệu cho huấn
luyện và kiểm thử đa dạng. Luận án đã sử dụng phương pháp đánh giá dựa trên
các độ đo được áp dụng phổ biến. Bên cạnh đó, luận án cũng đã tiến hành so
sánh hiệu quả của mơ hình đề xuất với các mơ hình mới được cơng gần đây,
kết quả so sánh cho thấy mơ hình đề xuất vượt trội về tính chính xác và tính
tổng quát trên tất cả các bộ dữ liệu thử nghiệm.
Về khía cạnh thực tiễn: Các kết quả nghiên cứu trong luận án được mơ hình
hóa và biểu diễn trên cơ sở toán học và được cài đặt thử nghiệm bằng các module
phần mềm. Các modul này có thể được sử dụng để xây dựng các ứng dụng tự
động phân vùng polyp trên ảnh nội soi đại tràng với độ chính xác cao, giúp các
bác sỹ giảm thiểu sai sót trong q trình nội soi đại tràng, tiết kiệm thời gian và

công sức của các bác sỹ trong thực hiện thủ thuật nội soi đại tràng để sàng lọc và
phát hiện ung thư đại tràng sớm. Hơn nữa, với điều kiện hệ thống y tế hiện tại ở
Việt Nam, nguồn nhân lực chất lượng cao trong lĩnh vực chẩn đoán nội soi đại
tràng rất hiếm, các ứng dụng phân tích ảnh nội soi đại tràng tự động phát hiện và
phân vùng polyp, hỗ trợ các bác sỹ trong chẩn đoán nội soi khi được triển khai
ở các bệnh viện, trạm y tế tuyến cơ sở sẽ đem lại lợi ích to lớn.


6

7. Bố cục của luận án
Luận án gồm 04 chương nội dung cùng với các phần mở đầu, kết luận,
danh mục các cơng trình đã cơng bố của NCS và tài liệu tham khảo.
Chương 1. Tổng quan về bài toán phân vùng polyp trên ảnh nội soi
đại tràng và các kỹ thuật học sâu
Chương này trình bày tổng quan về bài tốn phân tích ảnh nội soi đại tràng,
các hướng nghiên cứu và các bộ dữ liệu ảnh nội soi chuẩn đã cơng bố cho các
mơ hình học máy. Phần cuối cùng của chương trình bày các kiến thức cơ sở về
kỹ thuật học sâu và kỹ thuật thị giác máy tính cần dùng trong luận án.
Chương 2. Mơ hình học sâu phân vùng polyp trên ảnh nội soi đại
tràng dựa trên mạng Unet cải tiến với hàm mất mát bất đối xứng kết hợp.
Nội dung chương này trình bày đóng góp của luận án là: xây dựng một
mơ hình học sâu phân vùng polyp trên ảnh nội soi đại tràng mới dựa trên kiến
trúc mạng Unet cải tiến và đề xuất một hàm mất mát mới dùng cho huấn luyện
mơ hình học sâu phân vùng các đối tượng trên ảnh với dữ liệu huấn luyện không
cân bằng.
Chương 3. Phương pháp học tự giám sát đặc trưng thị giác của ảnh
nội soi đại tràng cho phân vùng polyp thông qua tác vụ tái tạo ảnh
Chương 3 trình bày đề xuất của luận án là một phương pháp học tự giám
sát các đặc trưng thị giác của ảnh nội soi đại tràng cho phân vùng polyp thông

qua tác vụ tái tạo ảnh nội soi, sử dụng tập dữ liệu ảnh nội soi đại tràng không
gán nhãn thu thập từ hệ thống PACS của Bệnh viện Quân y 103.
Chương 4. Phương pháp sinh dữ liệu ảnh nội soi có nhãn phân vùng
polyp dựa trên mạng sinh dữ liệu có điều kiện
Chương 4 của luận án đề xuất một phương pháp sinh ảnh nội soi có chứa
polyp nhằm tăng cường dữ liệu ảnh nội soi đại tràng có gán nhãn phân đoạn
polyp cho huấn luyện các mơ hình học sâu phân vùng polyp. Phương pháp đề
xuất có thể tạo ra nhiều ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại
tràng bình thường khơng chứa polyp. Các dữ liệu giả lập được sinh ra dùng để
tăng cường dữ liệu huấn luyện cho mơ hình học sâu phân vùng polyp nhằm cải
thiện độ chính xác của mơ hình phân vùng.


7

CHƯƠNG 1
TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG POLYP TRÊN ẢNH
NỘI SOI ĐẠI TRÀNG
1.1. Bài toán tự động phân vùng polyp trên ảnh nội soi đại tràng

1.1.1. Giới thiệu bài toán
Nội soi đại tràng là một kiểm tra được sử dụng để phát hiện những đối
tượng bất thường trong ruột già (đại tràng) và trực tràng [42] . Phương pháp
này có thể dị tìm các polyp bất thường là ngun nhân gây nên ung thư. Để
tiến hành nội soi đại tràng bác sĩ sẽ dùng một ống soi mỏng được gắn camera
và đèn soi. Ống nội soi sẽ được đưa vào từ hậu mơn qt tồn bộ đại tràng.
Hình ảnh thu được từ camera được phóng đại trên màn hình màu có độ nét cao,
cho phép các bác sĩ quan sát kỹ bên trong đại tràng, phát hiện các đối tượng bất
thường. Hình 1.1 minh họa thủ thuật nội soi đại tràng.

Hình 1.1. Minh họa thủ thuật nội soi đại tràng [12]
Nội soi là một thủ thuật hiệu quả làm giảm đáng kể về tỷ lệ mắc và tử
vong do ung thư. Tuy nhiên, qui trình nội soi hiện tại các bác sỹ thực hiện quan
sát bằng mắt thường để dị tìm các đối tượng bất thường nên chất lượng thủ
thuật nội soi phụ thuộc hoàn toàn vào tay nghề, kinh nghiệm và sự tập trung
của các bác sĩ nội soi. Các nghiên cứu gần đây đã chỉ ra tỷ lệ bỏ sót các polyp
trong q trình nội soi đại trực tràng của các bác sĩ là khoảng 25% và 1/13 số
bệnh nhân ung thư đại trực tràng không phát hiện được bằng chẩn đoán bằng


8

nội soi [42]. Có nhiều nguyên nhân gây nên tỉ lệ lỗi cao trong q trình nội soi
trong đó có nguyên nhân là do kỹ năng điều hướng camera của bác sỹ chưa
thành thạo dẫn tới không kiểm tra được các khu vực khó tiếp cận của đại tràng
là nơi có thể chứa các polyp và sự mất tập trung khơng quan sát kỹ lưỡng chi
tiết các hình ảnh của bác sỹ dẫn tới có thể bỏ sót polyp [42]. Ngoài ra khả năng
phát hiện polyp của các bác sỹ cịn phụ thuộc vào chất lượng hình ảnh thu được
của hệ thống nội soi. Một số hệ thống nội soi có chế độ tăng cường ánh sáng
giúp các bác sỹ có thể quan sát rõ hơn và dễ dàng dị tìm polyp hơn.
Hệ thống hỗ trợ chẩn đốn bằng máy tính gọi tắt là CADx (ComputerAided Diagnosis), có thể tự động phân tích ảnh, phát hiện, phân vùng các polyp
trên hình ảnh thu được từ camera nội soi và cảnh báo cho các bác sỹ trong quá
trình nội soi sẽ là một công cụ hiệu quả, hỗ trợ các bác sỹ giảm thiểu tỷ lệ sai
sót trong q trình nội soi đại tràng chuẩn đoán ung thư trực tràng giúp, thực
hiện thủ thuật nội soi đại tràng tầm soát ung thư đại tràng nhanh hơn với độ
chính xác cao hơn, nâng cao hiệu suất làm việc của các bác sỹ. Hình 1.2 dưới
đây là minh họa cho hệ thống CADx hỗ trợ chuẩn đốn nội soi đại tràng

Hình 1.2. Hệ thống CADx hỗ trợ chuẩn đoán nội soi đại tràng [16]
Hệ thống CADx phân tích ảnh nội soi đại tràng sẽ nhận đầu vào là các ảnh

nội soi đại tràng thu được từ camera nội soi và phân tích các ảnh này sử dụng
các kỹ thuật thị giác máy để tự động phát hiện các polyp (Real time polyp
detection, polyp localization) và khoanh vùng chúng trên ảnh (polyp
segmentation), phân tích đặc trưng của polyp (region content analysis) và hỗ
trợ chẩn đốn bệnh trong q trình nội soi đại tràng.
Các kỹ thuật thị giác máy để phân tích ảnh nội soi đại tràng cần phải giải
quyết các bài toán thị giác máy tính cơ bản sau: phân loại ảnh (classification),
phát hiện đối tượng trên ảnh (object detection), phân vùng các đối tượng trên
ảnh (object segmentation), phân loại đối tượng (object classification)


9

- Phân loại ảnh: đầu vào là ảnh nội soi đại tràng, đầu ra phân loại ảnh đó
có chứa polyp hoặc không chứa polyp.
- Phát hiện đối tượng: phát hiện các polyp, xác định vị trí và nhận biết các
vùng chứa nó trên ảnh.
- Phân vùng đối tượng: phân vùng các polyp, xác định hình dạng và kích
thước của chúng trên ảnh.
-Phân loại đối tượng: phân loại các polyp hỗ trợ chẩn đoán bệnh dựa trên
đặc trưng của các vùng polyp.
Để xây dựng các hệ thống CADx này, các nhà nghiên cứu đã và đang tập
trung vào nghiên cứu đề xuất các mơ hình học máy và các kỹ thuật thị giác máy
tính tự để tự động phân tích ảnh nội soi đại tràng, phát hiện và phân vùng các
polyp một cách nhanh chóng, chính xác.
Giải quyết trọn vẹn bài tốn phân tích ảnh nội soi đại tràng là một vấn đề
khó và đồ sộ, địi hỏi phải nghiên cứu lâu dài. Luận án này tập trung vào bài
toán phân vùng các polyp trên ảnh nội soi đại tràng với các ảnh nội soi được
chụp bằng ánh sáng trắng thông thường và hệ thống nội soi không sử dụng chế
độ tăng cường ảnh. Đầu vào của bài toán là các ảnh nội soi đại tràng được chụp

với ánh sáng trắng, đầu ra là phân vùng ngữ nghĩa của ảnh đó, trong đó các
pixel trên ảnh sẽ được phân lớp nhị phân, thành các pixel thuộc lớp polyp hoặc
các pixel thuộc lớp không phải là polyp. Nhãn phân vùng polyp là các ảnh nhị
phân thể hiện hình dạng polyp, gọi là polyp mask, trong đó vùng polyp có giá
trị 1, vùng khơng phải polyp có giá trị 0. Hình 1.3 là các ví dụ về phân vùng
polyp trên ảnh nội soi đại tràng.

Hình 1.3. Phân vùng polyp trên ảnh nội soi đại tràng: (a) Ảnh đầu vào, (b) Kết
quả phân vùng polyp, (c): Hiển thị trực quan phát hiện và phân vùng poly.


10

Phân vùng polyp là tác vụ rất cần thiết trong các ứng dụng hỗ trợ chẩn
đoán lâm sàng, hỗ trợ các bác sỹ tập trung vào các khu vực polyp tiềm ẩn, trích
rút thơng tin chi tiết về polyp và hỗ trợ các bác sỹ đánh giá các tổn thương và
ra quyết định loại bỏ polyp nếu cần thiết. Hệ thống CADx tự động phân vùng
polyp có thể hỗ trợ các bác sỹ theo dõi và tăng khả năng chẩn đốn chính xác
và giảm thiểu các can thiệp thủ cơng. Hơn nữa, nó có thể làm giảm lỗi phân
vùng polyp hơn so với khi được thực hiện thủ công bởi con người. Hệ thống
này có thể làm giảm khối lượng cơng việc và cải thiện quy trình làm việc của
bác sĩ. Phân vùng polyp tự động có thể giúp bác sỹ điều hướng ống nội soi tập
trung hơn vào những vùng nghi ngờ trong q trình nội soi. Do đó hệ thống
CADx tự động phân vùng polyp có thể sử dụng như một công cụ hỗ trợ các bác
sỹ giảm thiểu lỗi bỏ sót polyp trong nội soi đại tràng.
Phân vùng các polyp một cách chính xác là một tác vụ khó vì các polyp
có hình dạng, kích thước, màu sắc và kết cấu rất đa dạng. Khi nghiên cứu phát
triển các kỹ thuật thị giác máy tính tự động phân vùng polyp trên ảnh nội soi
đại tràng có một số khó khăn phải giải quyết:
-Một là, hình ảnh các polyp có mức độ biến thể rất lớn về hình dạng, kích

thước, kết cấu và màu sắc. Thêm vào đó là camera nội soi chuyển động trong
quá trình nội soi có thể làm cho ảnh bị mờ, ảnh bị chói và chất lượng hình ảnh
thấp. Hình 1.4. là một số ví dụ các trường hợp khó phân vùng polp

Hình 1.4. Các trường hợp khó phân vùng polyp: (a) polyp có hình dạng, kích
thước, màu sắc và kết cấu rất đa dạng, (b) polyp nhỏ khó nhìn thấy, (c) ảnh
mờ, chói, chất lượng ảnh thấp, đại tràng chưa được làm sạch khi nội soi


11

- Hai là, các dữ liệu ảnh nội soi đại tràng là các dữ liệu không cân bằng,
tức là số lượng dữ liệu thuộc lớp polyp (dương tính) ít hơn nhiều so với lớp
bình thường khơng phải polyp (âm tính). Hình 1.5 là minh họa về các dữ liệu
khơng cân bằng, các pixel thuộc lớp không polyp lớn hơn nhiều so với số lượng
pixel thuộc lớp polyp. Mơ hình được huấn luyện bằng dữ liệu khơng cân bằng
có thể đưa ra các dự đốn của bị lệch về phía lớp khơng phải là polyp, điều này
là khơng mong muốn vì hậu quả của dự đốn âm tính sai sẽ đặc biệt nghiêm
trọng hơn so với dự đốn dương tính giả.

Hình 1.5. Ví dụ minh họa dữ liệu khơng cân bằng
- Ba là, sự thiếu hụt các tập dữ liệu ảnh nội soi được gán nhãn phân vùng
polyp đủ lớn, bởi vì việc gán nhãn phân vùng polyp cho các ảnh nội soi đại
tràng phải được thực hiện bởi các chuyên gia chẩn đoán ảnh nội soi lành nghề,
và việc này địi hỏi rất nhiều thời gian, cơng sức. Hơn nữa, một yếu tố hạn chế
khác là sự thiếu hụt các mẫu dữ liệu huấn luyện đa dạng, mặc dù các tập dữ liệu
có thể có nhiều ảnh, nhưng những ảnh này thường được trích xuất từ một số
lượng nhỏ các chuỗi video nội soi, mỗi chuỗi video nội soi chỉ chứa một loại
polyp được chụp từ các góc nhìn khác nhau.
Để vượt qua những khó khăn này, địi hỏi có những nghiên cứu chuyên

sâu để tìm ra các hướng giải quyết bài toán khác nhau. Hiện nay trên thế giới
đã có nhiều nhóm nghiên cứu tập trung vào bài tốn phân vùng polyp trên ảnh
nội soi đại tràng và đã đạt được một số kết quả, tuy nhiên các kết quả đạt được
còn chưa đủ thuyết phục để được ứng dụng rộng rãi trong y tế.


12

1.1.2. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố
Trong những năm gần đây, bài tốn phân tích ảnh nội soi đại tràng tự động
phát hiện, phân vùng các polyp đã được quan tâm nghiên cứu rộng rãi. Các
nhóm nghiên cứu ngồi việc đưa ra các mơ hình thuật tốn giải quyết bài tốn
cịn cơng bố các bộ dữ liệu ảnh soi đại tràng chuẩn để dùng cho các mơ hình
học máy. Điều này đã tạo điều kiện để các nghiên cứu giải quyết bài toán được
thuận lợi hơn rất nhiều. Luận án đã tiến hành khảo sát một số bộ dữ liệu ảnh
nội soi chuẩn được công bố công khai và sử dụng rộng rãi hiện nay, từ đó lựa
chọn ra các bộ dữ liệu phù hợp cho nghiên cứu. Phần dưới đây là tổng quan các
bộ dữ liệu nội soi đại tràng phổ biến hiện nay:
- CVC-ClinicDB [8] gồm 612 ảnh kích thước (384x384) ảnh được cắt từ
các video nội soi của 29 bệnh nhân khác nhau, trên mỗi ảnh đều có các polyp
với 31 loại polyp khác nhau. Các ảnh trong bộ dữ liệu này đều được gán nhãn
polyp mask. Hình 1.6 dưới đây là một số ảnh nội soi đại tràng và các nhãn phân
vùng polyp tương ứng. Dữ liệu ảnh nội soi của bộ dữ liệu này được cung cấp
bởi Hospital Clinic, Barcelona, Tây Ban Nha, các nhãn polyp mask được cung
cấp bởi Trung tâm thị giác máy tính, đại học Antonoma (UBA), Bacelona, Tây
Ban Nha. Bộ dữ liệu này được công bố và cho phép sử dụng cho các mục đích
nghiên cứu và đào tạo.

Hình 1.6. Ví dụ minh họa bộ dữ liệu CVC-ClinicDB
- CVC-ColonDB [67] là bộ dữ liệu được cung cấp bởi trung tâm thị giác

máy tính, đại học Antonoma (UBA), Bacelona, Tây Ban Nha. Bộ dữ liệu này
gồm 300 ảnh nội soi đại tràng, kích thước 574× 500, được cắt ra từ 15 video
nội soi đại tràng, và được gán nhãn phân vùng polyp bởi các chuyên gia y tế.


13

- Kvasir-Seg [33] là bộ dữ liệu ảnh nội soi đại tràng có gán nhãn phân vùng
polyp được cơng bố bởi Simula Research Laboratory. Bộ dữ liệu này bao gồm 1000
ảnh với kích thước thay đổi từ (332 × 482) đến (1920× 1072). Các ảnh được gán
nhãn polyp mask và vùng chứa polyp (polyp bounding box). Hình 1.7 dưới đây là
một số ảnh nội soi đại tràng và các nhãn tương ứng của bộ dữ liệu này. Dữ liệu được
thu thập từ Vestre Viken Health Trust là một tổ chức gồm 4 bệnh viện thuộc Na uy,
và được gán nhãn bởi các bác sỹ nội soi của bệnh viện đại học Oslo thuộc Na uy
(Oslo University Hospital). Đây là một bộ dữ liệu mở cho phép sử dụng công khai
cho mục đích nghiên cứu và đào tạo.

Hình 1.7. Ví dụ minh họa bộ dữ liệu Kvasir-Seg
- ASU-Mayo Clinic Colonoscopy Video [78] là một cơ sở dữ liệu video
nội soi đại tràng được thu thập tại Khoa Tiêu hóa của Bệnh viện Mayo, Arizona,
Mỹ, trong đó có các video của các ca bệnh có chứa polyp và các video nội soi
đại tràng của các ca bệnh không chứa polyp. Các video khá đa dạng bao gồm
nhiều dạng xuất hiện trong khi nội soi đại tràng: Một số video có độ phân giải
cao, nhưng một số khác có độ phân giải thấp hơn, một số video ghi lại quá trình
kiểm tra rất cẩn thận tỉ mỉ, trong khi những video khác lại ghi lại quá trình kiểm
tra nhanh, và một số video có hình ảnh các dụng cụ phẫu thuật. Các ảnh nội soi
trong bộ dữ liệu được gán nhãn polyp mask, các nhãn này được gán bởi các
sinh viên y khoa đại học bang Arizona, Mỹ và được kiểm tra lại bởi các chuyên

14

gia y tế. Đây là bộ dữ liệu được bảo vệ bản quyền bởi đại học bang Arizona,
Mỹ và khi sử dụng cần phải xin phép.
- ETIS-Larib [8] là bộ dữ liệu gồm 196 ảnh với kích thước 1225× 966
được cắt ra từ 36 video nội soi khác nhau, các ảnh được gán nhãn phân vùng
polyp bởi các chuyên gia y tế. Bộ dữ liệu này được cung cấp trong cuộc thi
“2015 MICCAI automatic polyp detection sub-challenge” [17] để làm bộ dữ
liệu kiểm thử.
Trong cộng đồng nghiên cứu, ngoài các bộ dữ liệu nêu trên là các bộ dữ
liệu ảnh nội soi đại tràng được gán nhãn phân vùng polyp phổ biến, cịn có một
số dữ liệu ảnh nội soi cho các mục đích nghiên cứu khác nhau khác như: phát
hiện, phân vùng các dụng cụ phẫu thuật, phát hiện phân loại các bệnh dựa trên
ảnh nội soi tiêu hóa, phát hiện và phân vùng các đối tượng bất thường trên ảnh
nội soi tiêu hóa, phân loại mức độ làm sạch đại tràng khi nội soi…. Bảng 1 dưới
đây trình bày tổng hợp các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được cơng
bố cho các mơ hình học máy.
Bảng 1.1. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn được cơng bố cho các
mơ hình học máy
STT

Tên bộ dữ liệu

Số lượng

Loại nhãn
Phân vùng polyp

1

CVC-ClinicDB [8]

2

CVC-ColonDB
[67]

3

ASU-Mayo [78]

612 ảnh
Phân vùng polyp

Phát hiện, Có
phân vùng
polyp

Polyp mask

Phát hiện, Khơng
phân vùng
polyp

300 ảnh

20 video

Cơ sở
dữ liệu

Tác vụ
mở
Phát hiện, Có
phân vùng
polyp