Nhận dạng ảnh giả mạo dựa trên phương pháp phân lớp kết hợp biến đổi ảnh đầu vào p3

CHƯƠNG 3

GIẢI THUẬT ĐỀ XUẤT VÀ KẾT QUẢ NGHIÊN CỨU

Chương này trình bày phương pháp sử dụng tiền xử lý và Inception V3 để xác định
xem hình ảnh có bị giả mạo dạng Splicing hay không. Việc phát hiện giả mạo hình
ảnh trước khi xác định vị trí khu vực giả mạo giúp tiết kiệm thời gian xử lý và có thể
được xử lý trong trường hợp xác thực tính xác thực trong cơ sở dữ liệu hình ảnh
khổng lồ.

3.1

Tiền xử lý ảnh

Đối với những hình ảnh đã được xác nhận là có giả mạo, bước tiếp theo là xác định
vị trí khu vực giả mạo. Nghiên cứu của tác giả tập trung vào các hình ảnh giả mạo ở
dạng Splicing, tức là vùng giả mạo được thêm vào từ mợt hình ảnh khác. Để có thể
phát hiện giả mạo mợt cách chính xác, tác giả đã thực hiện mợt bước xử lý trước với
mục đích làm nổi bật vùng bị cắt. Dựa trên các đặc điểm của thao tác Splicing, các
kỹ thuật nhận biết thường phân tích hai đặc điểm cơ bản: trích xuất cạnh và trích xuất
dựa trên nâng cao hình ảnh.
Đối với các kỹ thuật Splicing đơn giản, việc biến đổi hình ảnh đầu vào theo vùng
cạnh là khá hiệu quả để phát hiện. Tuy nhiên, đối với các kỹ thuật Splicing phức tạp
hoặc cao hơn, không có sự khác biệt giữa các cạnh của đối tượng được Splicing và
các cạnh của đối tượng trong ảnh, do đó, tách cạnh khơng phải là giải pháp tốt. Vì lý
do đó, nghiên cứu của tác giả khơng sử dụng tính năng phát hiện cạnh mà tập trung
vào việc sử dụng nâng cao chất lượng hình ảnh theo kỹ thuật Contrast kết hợp
Enhance cho hình ảnh được Splicing trước khi đưa vào tập dữ liệu được huấn luyện,
nhằm huấn luyện cho mơ hình định vị được vùng Splicing. Phương pháp đã được
phát triển với đợ chính xác cao.
Các bước tiền xử lý được trình bày theo ba bước sau:

❖ Bước 1: Chuyển tất cả ảnh Splicing thành ảnh có kích thước 224 x 224 để giảm
thời gian tính tốn mà vẫn giữ được đặc trưng của ảnh.

30


❖ Bước 2: Thực hiện kỹ thuật Contrast kết hợp Enhance [18]
-

Đầu tiên, tác giả khai báo thư viện Python Pillow

-

Sau đó thực hiện vịng lặp chạy qua từng ảnh trong tập ảnh thật và ảnh Splicing

-

Tại mỗi ảnh tác giả lần lượt thực hiện các bước sau:

• Thực hiện đọc ảnh với định dạng RGB nhằm giữ nguyên đặc trưng của ảnh.
• Thực hiện thao tác Contrast để tăng đợ tương phản màu sắc của ảnh.
• Từ ảnh đã thực hiện Contrast, tác giả tiếp tục thực hiện thao tác Enhance nhằm
mục tiêu nâng cao độ chênh lệch sáng giữa ảnh thật và đối tượng Splicing.

Hình 3.1 Kết quả thực hiện kỹ thuật Contrast kết hợp Enhance

31


Sau bước này, vùng Splicing đã được làm nổi bật lên só với phần ảnh thật. Bước này

mang tính chất quyết định cho việc phát hiện đặc trưng ảnh trong q trình h́n luyện
mơ hình.
Bước 3: Lưu lại với tập ảnh Splicing làm dữ liệu đầu vào cho việc huấn luyện.

3.2

Huấn luyện với Inception V3

Để h́n luyện mơ hình với Inception V3, tác giả đã thực hiện theo 08 bước như sau:
Bước 1: Dữ liệu đầu vào huấn luyện là 02 tập ảnh: Original và Splicing.
Bước 2: Biến đổi kích thước ảnh đầu vào về 224 x 224.
Bước 3: Chia dữ liệu đầu vào thành phần, tập Train và tập Test với tỷ lệ 75:25.
Bước 4:
• Khai báo Model sử dụng Inception V3
• Sử dụng hàm kích hoạt ReLU để giảm chi phí tính tốn
• Sử dụng hàm kích hoạt Softmax tăng đợ chính xác trong việc phân lớp
Bước 5: Thực hiện khai báo Checkpoint dùng để lưu lại các kết quả huấn luyện khi
có bước phát triển.
Bước 6: Khai báo Optimizer với Learning Rate = 0.0001
Bước 7: Compile Model với Loss Function là Cross - Entropy
Bước 8: Huấn luyện Model với Batch Size = 64, số Epochs = 100 và số Validation = 0.2

3.3

Đánh giá độ chính xác và kiểm thử kết quả ngẫu nhiên

Để đánh giá thực hiện đợ chính xác của việc h́n luyện, tác giả đã đánh giá dựa trên
các tiêu chí sau:
• Accuracy
• Precision

• Recall

32


• F1
• Confusion Matrix
Quá trình kiểm thử được thực hiện thao các bước sau:
Bước 1: Biến đổi ảnh đầu vào dự trên kỹ thuật Contrast kết hợp Enhance
Bước 2: Dựa đốn ảnh có phải là giả mạo dạng Splicing hay không dựa trên tỷ lệ
phần trăm.

3.4

Kết quả đạt được

Trong phần này, tác giả thực hiện mô phỏng để phát hiện giả mạo hình ảnh trong
trường hợp sử dụng Inception V3 và các ảnh đầu vào là các tập các ảnh đã được tiền
xử lý. Việc triển khai này nhằm mục đích xác định rằng đợ chính xác chỉ được nâng
cao khi quá trình tiền xử lý hình ảnh đầu vào được thực hiện. Đây cũng là một gợi ý
cho các nhà nghiên cứu trong việc phát triển các phương pháp nhận dạng giả mạo
hình ảnh, vai trị của tiền xử lý hình ảnh đóng mợt vai trị khá quan trọng.

33


Sau khi thực hiện huấn luyện, kết quả mang lại với đợ chính xác là 93.7%

Hình 3.2 Kết quả sau khi huấn luyện

Với kết quả của Confusion matrix cho thấy, với 172 ảnh tḥc lớp NoForgery
thì nhận dạng được 140 ảnh thuộc lớp NoForgery và 32 ảnh thuộc lớp Splicing.
Tương tự, với 556 ảnh tḥc lớp Splicing thì nhận dạng được 09 ảnh thược lớp
NoForgery và 447 ảnh thuộc lớp Splicing.

34


Biểu đồ về đợ chính xác của việc h́n luyện

Hình 3.3 Biểu đồ sau khi huấn luyện

35


Hình 3.4 Mợt ví dụ về kết quả dự đốn là Splicing

36


Hình 3.5 Mợt ví dụ về kết quả dự đốn là khơng giả mạo
Trong Hình 3.4, tỷ lệ dự đốn của hình ảnh tḥc lớp NoForgery là 4,63-05% và lớp
Splicing là 99%. Kết quả dự đoán này xác nhận rằng hình ảnh đầu vào tḥc lớp
Splicing và nó cũng có nghĩa là dự đốn là chính xác.
Trong Hình 3.5, tỷ lệ dự đốn của hình ảnh tḥc lớp NoForgery là 96,5% và lớp
Splicing là 3,5%. Kết quả dự đoán này xác nhận rằng hình ảnh đầu vào tḥc lớp
NoForgery và nó cũng có nghĩa là dự đốn là chính xác. Một số kết quả mô phỏng
khác cũng được thể hiện trong Hình 3.4.
Từ Hình 3.4, chúng ta có thể thấy rằng đợ chính xác của phương pháp đề x́t là
tương đối cao. Khi áp dụng trong tập dữ liệu 2629 hình ảnh, đợ chính xác trung bình

là 93,7%. Kết quả này chứng minh rằng mơ hình là mợt ứng cử viên sáng giá để phát
hiện hình ảnh Splicing. Hầu hết các nghiên cứu trước đây chủ yếu tập trung vào việc
tìm kiếm các khu vực giả mạo trên các hình ảnh bị can thiệp. Điều này có nghĩa là
các hình ảnh đầu vào được xác nhận là đã được Splicing trong khi phương pháp được
đề xuất tập trung vào việc phân loại hình ảnh trong các bợ dữ liệu khổng lồ, do đó,

37


các hình ảnh đầu vào có thể là ngun bản hoặc Splicing. Mặc dù các cách tiếp cận
khác nhau, vật kính được áp dụng trong lĩnh vực Image Forensics, đặc biệt là để phát
hiện hình ảnh Splicing. Kết quả nghiên cứu có thể được áp dụng để phân loại các hình
ảnh giả mạo mợt cách hiệu quả với đợ chính xác đáng tin cậy.

38


Hình 3.6 Kết quả dự đốn mợt số ảnh khác

39


KẾT LUẬN VÀ KIẾN NGHỊ
Luận văn nhằm mục đích mang lại mợt khía cạnh khác của việc phát hiện giả mạo
hình ảnh dựa trên các thuật tốn tìm Deep Learning. Trên thực tế, với đợ chính xác
trung bình là 93,7% trong việc phát hiện ảnh giả mạo dạng Splicing, phương pháp
của tác giả chứng minh rằng xử lý hình ảnh đầu vào kết hợp với Inception V3 là hiệu
quả và đóng góp mợt cách tiếp cận mới cho lĩnh vực Image Forensics. Ngoài ra, các
nghiên cứu trước đây thường chỉ đánh giá trên các tập dữ liệu đã xuất bản về các hình
ảnh Splicing như là của Columbia hoặc CASIA. Luận văn kết hợp tập dữ liệu tiêu

chuẩn của Columbia và tập dữ liệu tích hợp mà tác giả đã tạo ra và thực hiện lại các
hoạt động giả mạo hình ảnh dưới dạng Splicing, những loại giả mạo này là những
phương pháp làm giả hình ảnh phổ biến trên Internet, các trang web và mạng xã hội.
Định hướng phát triển sắp tới của luận văn là ứng dụng Mantranet trong q trình
h́n luyện nhằm nâng cao đợ chính xác.

40


DANH MỤC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA HỌC VIÊN
1. Trung-Tri Nguyen, Kha-Tu Huynh. “Spliced Image Forgery Detection Based on
the Combination of Image Pre-processing and Inception V3,” present at The 8th
International Conference on Future Data and Security Engineering (FDSE 2021),
Ho Chi Minh City, Vietnam (Virtual Mode), pp. 308–422, 2021. [Online]. Available:
/>
41


TÀI LIỆU THAM KHẢO
[1] Szegedy, C. et al. “Rethinking the inception architecture for computer vision,”
present at The Proceedings of the IEEE conference on computer vision and pattern
recognition, pp. 2818-2826, 2016.
[2] Hsu, Y. F. and Chang, S. F. “Detecting image splicing using geometry invariants
and camera characteristics consistency,” present at The 2006 IEEE International
Conference on Multimedia and Expo, pp. 549-552, July. 2006.
[3] Ahonen, T. et al. “Face Description with Local Binary Patterns: Application to
Face Recognition,” IEEE Trans. Pattern Analysis and Machine Intelligence. Vol. 28,
pp. 2037-2041, 2006.
[4] Vinoth, S. and Gopi, E. S. “Neural network modeling of color array filter for
digital forgery detection using kernel LDA,” Procedia Technology. Vol. 10, pp. 498504, 2013.

[5] Liu, Y. and Zhao, X. “Constrained Image Splicing Detection and Localization
With Attention-Aware Encoder-Decoder and Atrous Convolution,” IEEE Access,
Vol. 8, pp. 6729-6741, 2020.
[6] Liu, Y. et al. “Adversarial learning for constrained image splicing detection and
localization based on atrous convolution,” IEEE Transactions on Information
Forensics and Security. Vol. 14, pp. 2551-2566, 2019.
[7] Almawas, L. et al. “Comparative performance study of classification models for
image-splicing detection,” Procedia Computer Science. Vol. 175, pp. 278-285, 2020.
[8] Hany Farid. Photo Forensics. The MIT Press, 2016.
[9] Reinhard Klette. “Concise Computer Vision.” Springer. 2014.
[10]

Nguyễn

Thanh

Tuấn.

“Deep

Learning

cơ

bản.”

Internet:

www.

nttuan8.com/sach-deep-learning-co-ban, Jul. 20, 2021.
[11] Noron. “Chia sẻ về mạng nơ ron tích chập.” Internet: www.noron.vn/post/chiase-ve-mang-no-ron-tich-chap-convolutional-neural-networks-or-convnetsefskm9q3opa, Jul. 23, 2021.

42


[12]

Aivivn.

“Mạng

Nơ-ron

Tích

chập.”

d2l.aivivn.com/chapter_convolutional-neural-networks/index_vn.html,

Internet:
Jul.

23,

2021.
[13] Krizhevsky, A. et al. “Imagenet classification with deep convolutional neural
networks,” present at The Advances in neural information processing systems, 2012.
[14] Yann LeCun et al. “Gradient-Based Learning Applied to Document
Recognition,” present at The Proceedings of the IEEE. 1998.

[15] Alex Krizhevsky et al. “ImageNet Classification with Deep Convolutional
Neural Networks,” present at The NeurIPS. 2012.
[16] Karen Simonyan and Andrew Zisserman. “Very Deep Convolutional Networks
for Large-Scale Image Recognition,” present at The arXiv preprint. 2014.
[17] Christian Szegedy et al. “Going Deeper with Convolutions,” present at The IEEE
Conference on Computer Vision and Pattern Recognition. 2015.
[18]
OpenCV.
“Python
Tutorial.”
Internet:
www.docs.opencv.org/3.4/da/df6/tutorial_py_table_of_contents_setup.html, Jul. 20,
2021.

43


PHỤ LỤC
1.

Mã nguồn biến đổi ảnh đầu vào

Để biến đổi ảnh đầu vào, tác giả đã xây dựng một thuật toán gồm các bước như sau:
Bước 1: Đọc vào dữ liệu ảnh gốc.
Bước 2: Biến đổi kích thước ảnh đầu vào về 224 x 224. Nhằm giảm tốc đợ tính toán.
Bước 3: Thay đổi tên ảnh để tránh việc ghi đè dữ liệu.
Bước 4: Thực hiện việc Contrast ảnh đầu vào.
Bước 5: Thực hiện Enhance ảnh đã Contrast.
Bước

Mã nguồn

1

img = Image.open(path)

2

IMG_SIZE = 224

3

name = "/content/drive/MyDrive/LuanVan/Spl2/contrastSpl" + str(i) + ".jpg"

4

contrast = ImageEnhance.Contrast(img)

5

contrast.enhance(8).save(name)

44


2.

Bước

Các bước huấn luyện sử dụng Inception V3 và tập ảnh đầu vào đã được

tiền xử lý
Mã nguồn

1

2

3

4

5

6

7

8

45


9

10

Thực thi chương trình

46

LÝ LỊCH TRÍCH NGANG CỦA HỌC VIÊN
I. LÝ LỊCH SƠ LƯỢC:
Họ và tên: Nguyễn Trung Trí

Giới tính: Nam

Ngày, tháng, năm sinh: 17/11/1987

Nơi sinh: Đồng Tháp

Email:

Điện thoại: 0946 086 066

II. QUÁ TRÌNH ĐÀO TẠO:
Từ năm 2005 đến 2010: Học Đại học Khoa học Máy tính tại trường Đại học Đồng
Tháp.
Từ năm 2019 đến 2021: Thạc sĩ tại trường Đại học Cơng nghiệp TP HCM
III. Q TRÌNH CƠNG TÁC CHUN MƠN:

Thời gian

Nơi công tác

Công việc đảm nhiệm

2010

Trung tâm Tin học Công báo, Văn

phòng UBND tỉnh Đồng Tháp

Chuyên viên

2012

Trung tâm Tin học tỉnh Đồng Tháp

Chuyên viên

2014

Trung tâm Tin học tỉnh Đồng Tháp

Phó trưởng phịng

2016

Trung tâm CNTT & Truyền thơng

Phó trưởng phịng

2021

Giáo viên tại trường THCS – THPT
Bình Thạnh Trung

Giáo viên

Đồng Tháp, ngày ......... tháng .......... Năm 20...

Người khai

Nguyễn Trung Trí

47