Cải tiến phương pháp học sâu cho tác vụ phân loại ảnh và ứng dụng cho bài toán chẩn đoán ung thư da

Tuyển tập Hội nghị Khoa học thường niên năm 2020. ISBN: 978-604-82-3869-8

CẢI TIẾN PHƯƠNG PHÁP HỌC SÂU CHO TÁC VỤ PHÂN LOẠI
ẢNH VÀ ỨNG DỤNG CHO BÀI TOÁN
CHẨN ĐOÁN UNG THƯ DA
1

Nguyễn Trung Hiếu1, Đỗ Văn Hải2
Trung tâm Không gian Mạng Viettel, 2Khoa CNTT, Trường Đại học Thủy lợi

2. PHƯƠNG PHÁP NGHIÊN CỨU

1. GIỚI THIỆU CHUNG

Ung thư da là một vấn đề sức khỏe cộng
đồng lớn, với hơn 5.000.000 trường hợp
mới được chẩn đoán ở Hoa Kỳ mỗi năm.
Ung thư hắc tố (melanoma cancer) là dạng
ung thư da nguy hiểm nhất, chịu trách
nhiệm cho phần lớn các ca tử vong do ung
thư da. Năm 2015, tỷ lệ mắc u ác tính tồn
cầu được ước tính là hơn 350.000 trường
hợp, với gần 60.000 ca tử vong. Mặc dù tỷ
lệ tử vong là đáng kể, nhưng khi được phát
hiện sớm, tỷ lệ sống của khối u ác tính vượt
quá 95%. Tuy nhiên chi phí và thời gian
đào tạo các y bác sĩ có đủ chun mơn cho
cơng việc trẩn đốn ung thư da là rất lớn,
không thể đáp ứng nhu cầu thực tế.
Phân loại hình ảnh là một bài tốn có rất
nhiều ứng dụng thực tiễn trong các ngành

công nghiệp, nông nghiệp,… Đặc biệt trong
y tế, phân loại ảnh có thể góp phần giải
quyết bài toán trẩn đoán ung thư qua ảnh
chụp X quang, chụp da liễu. Trong những
năm gần đây, các mơ hình học sâu sử dụng
mạng nơ-ron tích chập được sử dụng rất
rộng rãi và thành công cho nhiều bài toán
phân loại ảnh. Nhưng để ứng dụng trong
bài toán trẩn đốn ung thư da, các mơ hình
này phải cực kì chính xác để đưa ra hỗ trợ
hay thậm chí thay thế các bác sĩ.
Trong nghiên cứu này, chúng tôi đưa ra
các phương pháp cải tiến độ chính xác của
mơ hình học sâu sử dụng mạng nơ-ron tích
chập, ứng dụng cho bài toán phân loại ảnh
trẩn đoán ung thư da.

2.1. Xây dựng hệ thống
Hệ thống trẩn đoán ung thư da được xây
dựng như các bài toán phân loại ảnh khác:
ảnh đầu vào được đưa vào các lớp trích chọn
đặc trưng của mạng tích chập để trích xuất ra
véc-tơ đặc trưng, véc-tơ này được đưa qua
một mạng nơ-ron nhiều lớp với số đầu ra
được định nghĩa trước, ví dụ: bệnh A, bệnh
B, hoặc không bị bệnh.
2.2. Tăng cường số lượng và đa dạng
hố dữ liệu
Một mơ hình học sâu nhiều tầng-lớp cần
rất nhiều dữ liệu để được huấn luyện hiệu

quả, cho độ chính xác cao. Hơn nữa ảnh chụp
da để trẩn đốn có thể được chụp trong
những điều kiện tối-sáng, tương phản, màu
da, góc chụp khác nhau, nên trong nghiên
cứu này, chúng tôi sử dụng các phương pháp
tăng cường dữ liệu ảnh sau để nâng cao tính
tổng qt của mơ hình:
 Chỉnh độ sáng, độ tương phản
 Xoay góc chụp, lật ngược ảnh
 Thay đổi màu da, thêm long trên da một
cách ngẫu nhiên.
2.3. Tăng tần số lấy mẫu
Trong các bài toán học giám sát nói chung
và phân loại ảnh nói riêng, phân bố dữ liệu
qua các lớp đóng vai trị rất quan trọng trong
hiệu quả huấn luyện mơ hình. Việc lượng dữ
liệu học của một lớp nào đó áp đảo các lớp
cịn lại sẽ khiến mơ hình bị thiên kiến,
thường sẽ cho kết quả phân loại lên lớp đó.

111


Tuyển tập Hội nghị Khoa học thường niên năm 2019. ISBN: 978-604-82-3869-8

Để khắc phục việc mất cân bằng dữ liệu,
chúng tôi sử dụng một phương pháp lấy mẫu
sao cho tần số xuất hiện trong mỗi vòng lặp
huấn luyện của từng lớp là như nhau.
3. KẾT QUẢ NGHIÊN CỨU

3.3. Phương pháp đánh giá
Phương pháp đánh giá được sử dụng là
AUC (Area Under the Curve) - cũng chính là
tiêu chuẩn đánh giá được sử dụng trong cuộc
thi ISIC 2017.
3.4. Kết quả thí nghiệm

3.1. Phân tích và chuẩn hố dữ liệu
Dữ liệu được sử dụng trong nghiên cứu
này là tập ISIC 2017, gồm 3 lớp Melanoma,
Seborrheic Keratosis và Nevus. Tập dữ liệu
này gồm 2000 ảnh cho tập huấn luyện
(training set), 150 ảnh cho tập phát triển
(development set) và 600 ảnh cho tập kiểm
thử (test set).

Hình 1. Một số mẫu dữ liệu
Cụ thể hơn, tập ISIC bị mất cân bằng
trong phân bố dữ liệu ở cả 3 tập con, khi
nhãn Nevus áp đảo 2 nhãn cịn lại:

Kết quả thí nghiệm được so sánh trực tiếp
với top 1 và top 5 bảng xếp hạng của cuộc thi
ISIC 2017:
Kết quả thí Top1 ISIC Top5 ISIC
nghiệm
2017
2017
Melanoma

AUC

0.848

0.874

0.836

Seborrheic
Keratosis
AUC

0.953

0.965

0.935

AUC
trung bình

0.900

0.911

0.886

Lưu ý: các đội trong cuộc thi ISIC 2017
được phép sử dụng các nguồn dữ liệu khác.
Một số mẫu dữ liệu cùng kết quả do mơ

hình dự đốn:

Tất cả dữ liệu được tiền xử lý bằng cách
đưa về kích thước 224x224, sau đó chuẩn
hố bằng trung bình và độ lệch chuẩn của tập
ImageNet.
3.2. Cài đặt tham số hệ thống
 Mơ hình: ImageNet pretrained
EfficientNetB7
 Hàm mất mát: Cross Entropy
 Số epoch: 20
 Hàm tối ưu: AdamW
 Tốc độ học khởi điểm: 1e-3
 Điều chỉnh tốc độ học: 1cycle policy
 Tấn suất đánh giá tập phát triển: sau mỗi
vòng lặp huấn luyện
 Các cài đặt khác: batchsize 16, weight
decay 1e-2
112

Confusion matrix trên tập kiểm thử:
Dự đoán
M

NV

SK

M

60

41

16

Nhãn đúng NV

33

380

30

SK

2

12

26


Tuyển tập Hội nghị Khoa học thường niên năm 2020. ISBN: 978-604-82-3869-8

4. KẾT LUẬN

Trong phạm vi của nghiên cứ này, chúng
tôi đã nghiên cứu sử dụng phương pháp
tăng cường dữ liệu cùng kĩ thuật tăng tần số

lấy mẫu để huấn luyện mơ hình
EfficientNetB7 cho bài tốn trẩn đốn ung
thư da trong cuộc thi ISIC 2017, với tài
ngun tính tốn hạn chế (1 session 12h
trên Google Colaboratory) và không sử
dụng các nguồn dữ liệu ngoài cuộc thi
nhưng kết quả cho được là rất khả quan.
Trong tương lai, chúng tôi sẽ tiếp tục cải
tiến phương pháp huấn luyện, sử dụng các kĩ
thuậtn tiên tiến khác cùng các mơ hình mạng
nơ-ron tích chập hiện đại để giải quyết bài
tốn vơ cùng thiết thực này.

[9]

[10]
[11]

[12]

[13]

5. TÀI LIỆU THAM KHẢO
[1] K. He, X. Zhang, S. Ren and J. Sun, "Deep
Residual Learning for Image Recognition,"
CoRR, vol. abs/1512.03385, 2015.
[2] J. Hu, L. Shen and G. Sun, "Squeeze-andExcitation
Networks,"
CoRR,
vol.

abs/1709.01507, 2017.
[3] D. P. Kingma and J. L. Ba, "Adam: A
method for stochastic optimization," in 3rd
International Conference on Learning
Representations, ICLR 2015 - Conference
Track Proceedings, 2015.
[4] A. Krizhevsky, I. Sutskever and G. E.
Hinton, "ImageNet classification with deep
convolutional
neural
networks,"
in
Advances in Neural Information Processing
Systems, 2012.
[5] B. Zoph and Q. V. Le, "Neural Architecture
Search with Reinforcement Learning,"
CoRR, vol. abs/1611.01578, 2016.
[6] M. D. Zeiler, "ADADELTA: An Adaptive
Learning Rate Method," CoRR, vol.
abs/1212.5701, 2012.
[7] S. Xie, R. B. Girshick, P. Dollár, Z. Tu and
K.
He,
"Aggregated
Residual
Transformations for Deep Neural Networks,"
CoRR, vol. abs/1611.05431, 2016.
[8] A. C. Wilson, R. Roelofs, M. Stern, N.
Srebro and B. Recht, "The marginal value
of adaptive gradient methods in machine

[14]

[15]
[16]

[17]

[18]

113

learning," in Advances in Neural
Information Processing Systems, 2017.
wikipedia, "Rectifier (neural networks),"
[Online].
Available:
/>ral_networks).
T. H. Vũ, Machine Learning cơ bản, Nhà
xuất bản Khoa học và Kỹ thuật, 2018.
M. Tan, B. Chen, R. Pang, V. Vasudevan
and Q. V. Le, "MnasNet: Platform-Aware
Neural Architecture Search for Mobile,"
CoRR, vol. abs/1807.11626, 2018.
M. Tan and Q. V. Le, "EfficientNet:
Rethinking
Model
Scaling
for
Convolutional Neural Networks," CoRR,

vol. abs/1905.11946, 2019.
C. Szegedy, S. Ioffe and V. Vanhoucke,
"Inception-v4, Inception-ResNet and the
Impact of Residual Connections on
Learning," CoRR, vol. abs/1602.07261,
2016.
L. N. Smith and N. Topin, "SuperConvergence: Very Fast Training of
Residual Networks Using Large Learning
Rates," CoRR, vol. abs/1708.07120, 2017.
L. N. Smith, "No More Pesky Learning
Rate Guessing Games," CoRR, vol.
abs/1506.01186, 2015.
K. Simonyan and A. Zisserman, "Very deep
convolutional networks for large-scale
image recognition," in 3rd International
Conference on Learning Representations,
ICLR
2015
Conference
Track
Proceedings, 2015.
M. Sandler, A. G. Howard, M. Zhu, A.
Zhmoginov and L.-C. Chen, "Inverted
Residuals and Linear Bottlenecks: Mobile
Networks for Classification, Detection and
Segmentation,"
CoRR,
vol.
abs/1801.04381, 2018.
NVIDIA, "What’s the Difference Between

Artificial Intelligence, Machine Learning
and Deep Learning?," [Online]. Available:
/>hats-difference-artificial-intelligencemachine-learning-deep-learning-ai/.