Nghiên cứu một số ứng dụng của đạo hàm cấp phân số trong học máy

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.05 MB, 75 trang )

Trang 2<div class="page_container" data-page="2">

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS. ĐÀM THANH PHƯƠNG

THÁI NGUYÊN - 2022

</div>Trang 3<div class="page_container" data-page="3">

Lời đầu tiên em xin gửi lời cảm ơn sâu sắc tới thầy giáo hướng dẫn TS.Đàm Thanh Phương. Thầy đã giao đề tài và tận tình hướng dẫn em trong q trình hồn thành luận văn này.

Em xin gửi lời cám ơn của mình tới các thầy cơ giáo trong khoa Công nghệ thông tin đã giảng dạy và giúp đỡ chúng em trong suốt quá trình học tập nghiên cứu tại khoa.

Tôi xin cảm ơn các bạn trong lớp CH K19B ngành Khoa học máy tính, khoa Cơng nghệ thơng tin đã nhiệt tình giúp đỡ tơi trong q trình học tập tại lớp.

Tơi xin chân thành cảm ơn lãnh đạo Trường THPT Trần Quốc Tuấn đã tạo điều kiện cho tơi đi học tập nâng cao trình độ. Cảm ơn bạn bè đồng nghiệp đã hỗ trợ tôi trong công việc để tôi tập trung học tập và

</div>Trang 4<div class="page_container" data-page="4">

Mục lục

DANH SÁCH BẢNG. . . .4

DANH SÁCH HÌNH VẼ. . . .4

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT. . . .6

LỜI NÓI ĐẦU. . . .7

Chương 1.MỘT SỐ KIẾN THỨC LIÊN QUAN. . . .9

1.1.Một số kiến thức về học máy. . . .9

1.1.1.Khái niệm học máy. . . .9

1.1.2.Dữ liệu. . . .9

1.1.3.Các bài toán cơ bản trong học máy. . . .11

1.1.4.Các thuật toán học máy. . . .13

1.1.5.Hàm mất mát và tham số mơ hình. . . .15

1.1.6.Những thách thức chính của học máy. . . .16

1.1.7.Quy trình thực hiện một dự án học máy. . . .19

1.2.Thuật toán Gradient Decent. . . .19

1.2.1.Gradient Decent cho hàm một biến. . . .21

1.2.2.Gradient Decent cho hàm nhiều biến. . . .22

1.3.Đạo hàm cấp phân số. . . .22

1.3.1.Mở đầu. . . .22

1.3.2.Định nghĩa đạo hàm và tích phân cấp phân số theo Riemann-Liouville. .23

1.3.3.Định nghĩa đạo hàm và tích phân cấp phân s theo Gr ăunwald-Letnikov.241.3.4.nh ngha o hm cp phõn s theo Caputo. . . .24

1.4.Mạng nơ ron tích chập. . . .25

1.4.1.Kiến trúc chung của mạng nơ ron tích chập. . . .25

1.4.2.Tính chất của mạng nơ ron tích chập. . . .27

Chương 2.ỨNG DỤNG CỦA ĐẠO HÀM CẤP PHÂN SỐ TRONGHỌC MÁY. . . .30

2.1.Đặt vấn đề. . . .30

2.2.Gradient Decent cấp phân số. . . .30

</div>Trang 5<div class="page_container" data-page="5">

2.3.Mạng nơ ron tích chập với Gradient cấp phân số. . . .33

</div>Trang 6<div class="page_container" data-page="6">

Danh sách bảng

2.1 Kết quả tối ưu argmin f với một số bậc α khác nhau. . . . 32

2.2 Kết quả tính min g với một số bậc α khác nhau. . . . 33

3.1 Các tham số đặt cho mạng CNN LeNet. . . . 51

3.2 Độ chính xác huấn luyện và kiểm tra trung bình. . . . 52

3.3 Phương sai của hàm mất mát trong các cấp đạo hàm khác nhau. . . . 54

</div>Trang 7<div class="page_container" data-page="7">

Danh sách hình vẽ

1.1 Cấu trúc đại diện của một mạng nơ ron tích chập. . . 27

2.1 Hiệu quả của thuật toán gradient decent với hàm f . . . 32

2.2 Hiệu quả của thuật toán GD cấp phân số trên hàm f(x) = (x−3)2 . . . 36

2.3 Lan truyền tiến của tầng kết nối đầy đủ . . . 37

2.4 Lan truyền ngược của tầng kết nối đầy đủ . . . 38

2.5 Quá trình lan truyền tiến trong lớp tích chập. . . . 45

3.1 Một số mẫu trong tập dữ liệu MNIST. . . . 50

3.2 Cấu trúc mạng CNN LeNet. . . . 51

3.3 Kết quả độ chính xác trung bình của q trình training và test. . . . 53

3.4 Ảnh hưởng của bậc đạo hàm α đến sai số. . . . 53

3.5 Giá trị biến đổi của hàm mất mát khi bậc đạo hàm α = 0.9. . 54

3.6 Giá trị biến đổi của hàm mất mát khi bậc đạo hàm α = 1. . . 55

3.7 Giá trị biến đổi của hàm mất mát khi bậc đạo hàm α = 1.1. . 55

</div>Trang 8<div class="page_container" data-page="8">

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

L(θ) Hàm mất mát với tham số tối ưu θ.

θ∗ =argminθL(θ).Bài tốn tìm tham số tối ưu sao cho hàm đạt giá trị nhỏ nhất.|x|2 Chuẩn 2 của véc tơ, chuẩn Euclide

GDThuật toán Gradiet Decent, một phương pháp lặp ngược hướng đạo hàm.RMSESai số căn trung bình bình phương (root mean square error).

MSESai số trung bình bình phương (mean square error)

∇θf(θt)Véc tớ gradient, véc tơ đạo hàm theo hướng của hàm nhiều biến.Γ(n)Hàm Gamma, cho giá trị là n! nếu n nguyên dương.

CNNMạng nơ ron tích chập - Convolutional neural networks.

Chain ruleQuy tắc tính đạo hàm hàm hợp, thường được sử dụng cập nhập tham số.Pooling layerMột loại lớp trong mạng CNN, có vai trị gộp mẫu.

tf(t) = Đạo hàm cấp phân số α theo định nghĩa Caputo.

LayerTầng, lớp mạng.

∂zi đạo hàm riêng hàm L theo biến zi.

Batch siteSố lô mẫu được đưa vào huấn luyện mỗi lượt.BiasHệ số tự do, hệ số điều chỉnh.

Learning rateHệ số học, tốc độ học.

</div>Trang 9<div class="page_container" data-page="9">

LỜI NÓI ĐẦU

Học máy, học sâu, trí tuệ nhân tạo là lĩnh vực đang thu hút được sự quan tâm của xã hội nói chung và những nhà nghiên cứu khoa học máy tính nói riêng trong những năm gần đây. Bằng việc sử dụng lượng dữ liệu huấn luyện lớn, các thuật tốn học máy có thể học hỏi từ dữ liệu để từ đó đưa ra được những mơ hình giải quyết nhiều bài toán thực tế như hồi quy, phân lớp, dự đoán, phân cụm, giảm chiều, v.v.v. Trong quá trình đó, thơng thường việc xây dựng mơ hình sẽ trải qua bước tối ưu hoá hàm mất mát để tìm được bộ tham số tốt nhất. Tại bước này có nhiều phương pháp tối ưu được áp dụng, và một trong các phương pháp hiệu quả là sử dụng thuật toán Gradient Decent cũng như các biến thể của chúng. Để áp dụng phương pháp này, chúng ta cần tính đạo hàm của hàm mất mát và cập nhật tham số theo luật của thuật toán Gradient Decent.

Kỹ thuật tính đạo hàm vì vậy là một phần rất quan trọng trong các thuật tốn học máy, học sâu. Thơng thường các thư viện phổ biến như Tensorflow hay Keras đã cung cấp phương thức tính đạo hàm thơng thường. Tuy vậy, các nhà khoa học vẫn rất quan tâm cải tiến cách tính đạo hàm để thuật tốn trở nên tốt hơn. Luận văn của em tập trung vào hướng này, nghiên cứu đạo hàm theo cấp phân số để cải tiến thuật toán Gradient Decent. Đạo hàm cấp phân số nghĩa là một định nghĩa đạo hàm khác, cấp không nguyên (cấp 1,2,3..) nữa mà dùng số thực để

định nghĩa cấp đạo hàm cấp α với α là số thực bất kỳ. Dù về mặt toán

học, ý tưởng này đã có từ thời Leibniz, L’Hospital thế kỷ 17 nhưng hiện nay đang cho thấy nhiều ứng dụng trong cơ lượng tử, trí tuệ nhân tạo. Luận văn của em gồm 3 chương:

Chương 1: Trình bày tổng quan về đạo hàm cấp phân số, định nghĩa, cách tính, lập trình đạo hàm cấp phân số. Chương này cũng trình bày tổng quan về học máy, một số khái niệm cơ bản về học máy, quy trình thực hiện xây dựng mơ hình học máy và thuật tốn Gra-dient Decent thơng thường.

</div>Trang 10<div class="page_container" data-page="10">

Chương 2: Trình bày một số ứng dụng của đạo hàm cấp phân số trong học máy, thuật toán Gradient Decent cấp phân số và ứng dụng cụ thể trong một số thuật toán như SVM cấp phân số, mạng nơ ron cấp phân số.

Chương 3: Thực nghiệm tính tốn các thuật tốn học máy sử dụng đạo hàm cấp phân số trên các bộ dữ liệu chuẩn và so sánh đánh giá với thuật tốn sử dụng đạo hàm thơng thường.

Tuy đã có nhiều cố gắng nhưng do thời gian và khả năng có hạn nên các vấn đề trong khóa luận vẫn chưa được trình bày sâu sắc và khơng thể tránh khỏi có những sai sót trong cách trình bày. Mong được sự góp ý xây dựng của thầy cơ và các bạn. Em xin chân thành cảm ơn!

Thái Nguyên, ngày 10 tháng 7 năm 2022

Học viên

Đặng Thu Hiền

</div>Trang 11<div class="page_container" data-page="11">

Chương 1

MỘT SỐ KIẾN THỨC LIÊN QUAN

1.1.Một số kiến thức về học máy

1.1.1.Khái niệm học máy

Học máy là một mơn khoa học về cách lập trình máy tính để chúng có thể học từ dữ liệu. Chúng ta thường gặp một số cách định nghĩa dưới đây:

Học máy là lĩnh vực nghiên cứu nhằm giúp máy tính có khả năng học mà khơng cần lập trình một cách tường minh.

Một chương trình máy tính được gọi là “học tập” từ kinh nghiệm Eđể hoàn thành nhiệm vụ T với hiệu quả được đo bằng phép đánh giá P,

nếu hiệu quả của nó khi thực hiện nhiệm vụ T, khi được đánh giá bởi P, cải thiện theo kinh nghiệm E. [1]

Nói chung, một thuật tốn học máy là một thuật tốn có khả năng học tập từ dữ liệu. Để xây dựng một chương trình máy tính có khả năng học, ta cần xác định rõ ba yếu tố: Nhiệm vụ, phép đánh giá, và đặc biệt là kinh nghiệm E, là nguồn dữ liệu huấn luyện. Nếu khơng có dữ liệu và thuật tốn học thì khơng thể xây dựng một chương trình học máy.

1.1.2.Dữ liệu

Các nhiệm vụ trong học máy được mô tả thông qua việc một hệ thống

xử lý một điểm dữ liệu đầu vào như thế nào. Một mơ hình học máy như một hàm toán học mà đầu vào là dữ liệu, đầu ra là kết quả chúng ta mong muốn hiểu biết về dữ liệu. Một điểm dữ liệu có thể là một bức

</div>Trang 12<div class="page_container" data-page="12">

ảnh, một đoạn âm thanh, một văn bản, hoặc một tập các hành vi của người dùng trên Internet. Để chương trình máy tính có thể học được, các điểm dữ liệu thường được đưa về dạng tập hợp các con số mà mỗi

số được gọi là một đặc trưng.

Vậy mọi loại dữ liệu đều biểu diễn dưới dạng vector đặc trưng, ma

trận hay tensor. Vector đặc trưng của một điểm dữ liệu thường được

ký hiệu là x ∈ Rd trong đó d là số lượng đặc trưng. Các mảng nhiều

chiều được hiểu là đã bị vector hoá thành mảng một chiều. Kỹ thuật xây

dựng vector đặc trưng cho dữ liệu là một phần quan trọng của dự án học máy.

Kinh nghiệmtrong học máy là bộ dữ liệu được sử dụng để xây dựng mô hình. Trong q trình xây dựng mơ hình, bộ dữ liệu thường được chia ra làm ba tập dữ liệu không giao nhau: Tập huấn luyện, tập kiểm tra, và tập xác thực.

Tập huấn luyện(training set) bao gồm các điểm dữ liệu được sử dụng

trực tiếp trong việc xây dựng mơ hình. Tập kiểm tra (test set) gồm các

dữ liệu được dùng để đánh giá hiệu quả của mơ hình. Để đảm bảo tính phổ quát, dữ liệu kiểm tra khơng được sử dụng trong q trình xây dựng mơ hình. Điều kiện cần để một mơ hình hiệu quả là kết quả đánh giá trên cả tập huấn luyện và tập kiểm tra đều cao. Tập kiểm tra đại diện cho dữ liệu mà mơ hình chưa từng thấy, có thể xuất hiện trong q trình vận hành mơ hình trên thực tế.

Để tăng hiệu quả của mơ hình trên dữ liệu kiểm tra, người ta thường

sử dụng một tập dữ liệu nữa được gọi là tập xác thực (validation set).

Tập xác thực này được sử dụng trong việc đánh giá sai số kiểm tra và từ đó lựa chọn các siêu tham số mơ hình sao cho tốt nhất có thể.

Phép đánh giá P là thước đo quá trình cải thiện tham số mơ hình để biết rằng giữa đầu ra mong muốn từ mơ hình và thực tế có khớp khơng. Phép đánh giá thường là sai số giữa đầu ra mơ hình và nhãn thực tế và chúng ta cần tối ưu hàm mất mát sao cho sai số nhỏ nhất có thể.

</div>Trang 13<div class="page_container" data-page="13">

1.1.3.Các bài toán cơ bản trong học máy

Bài toán phân lớp

Bài toán Phân lớp hay phân loại là một trong những bài toán được

nghiên cứu nhiều nhất trong học máy. Trong bài tốn này, chương trình

được u cầu xác định lớp/nhãn của một điểm dữ liệu trong số C nhãn

khác nhau. Cặp (dữ liệu, nhãn) được ký hiệu là (x, y) với y nhận một trong C giá trị trong tập đích Y. Việc xây dựng mơ hình tương đương

với việc đi tìm hàm số f ánh xạ một điểm dữ liệu x vào một phần tử

y ∈ Y : y = f(x) trên tập dữ liệu huấn luyện đã biết sao cho sau đó mơ hình được áp dụng trên các dữ liệu mới với sai số chấp nhận được. Khi đó ta xác định được nhãn của dữ liệu mới. [2]

Ví dụ 1.1. Bài tốn xác định email rác là một bài toán phân lớp trong học máy

. Trong đó,

• Nhiệm vụ T là xác một email mới trong hộp thư đến là email rác haykhơng.

• Phép đánh giá P có thể định nghĩa là tỉ lệ email rác được xác định theomơ hình và đúng là email rác trong thực tế.

• Kinh nghiệm E là cặp các (email, nhãn) thu thập được trước đó. Dữ liệunày dùng để huấn luyện mơ hình, tìm ra hàm f(x).

Có một biến thể nhỏ ở đầu ra của hàm số f(x)khi đầu ra không phải

là một số mà là một vector y ∈ RC trong đó y = (y1, y2, ..., yc, ...yC) và yc là xác suất để điểm dữ liệu x rơi vào lớp thứ c. Lớp được chọn cuối

cùng là lớp có xác suất rơi vào là cao nhất. Việc sử dụng xác suất này

đôi khi rất quan trọng, nó giúp chỉ ra độ chắc chắn của mơ hình. Nếu

xác suất cao nhất là cao hơn nhiều so với các xác suất cịn lại, ta nói

mơ hình có độ chắn chắn là cao khi phân lớp điểm dữ liệu x. Ngược

lại, nếu độ chênh lệch giữa xác suất cao nhất và các xác suất tiếp theo là nhỏ, thì khả năng mơ hình đã phân loại nhầm là cao hơn. Hồi quy logistic là một ví dụ về phân lớp sử dụng xác suất. [2]

</div>Trang 14<div class="page_container" data-page="14">

Bài tốn hồi quy

Nếu tập đích Y gồm các giá trị là các số thực thì bài tốn được gọi

là hồi quy. Trong bài toán này, ta cần xây dựng một hàm số f : Rd → R,

ánh xạ mỗi véc tơ dữ liệu với nhãn y ∈ Y, đầu ra mong muốn dự đốn. [2]

Ví dụ 1.2. Ước lượng giá của một căn nhà rộng x m2, có y phòng ngủ vàcách trung tâm thành phố z km. Ta mong muốn xây dựng hàm dự đoán dạng

f : R3 → R, với giá = f(x, y, z).

Bài toán hồi quy có thể mở rộng ra việc dự đốn nhiều đầu ra cùng một lúc, khi đó, hàm cần tìm sẽ là f : Rd → Rm. Một ví dụ là bài toán tạo ảnh độ phân giải cao từ một ảnh có độ phân giải thấp hơn. Khi đó, việc dự đoán giá trị các điểm trong ảnh đầu ra là một bài toán hồi quy nhiều đầu ra.

Bài tốn máy dịch

Trong bài tốn máy dịch, chương trình máy tính được u cầu dịch

một đoạn văn từ một ngơn ngữ sang một ngôn ngữ khác. Dữ liệu huấn luyện là các cặp văn bản song ngữ. Các văn bản này có thể chỉ gồm hai ngơn ngữ đang xét hoặc có thêm các ngơn ngữ trung gian. [2]

Ví dụ 1.3. Google translate là một ứng dụng (với nhiều kỹ thuật học sâu khác

được áp dụng) học máy trong lĩnh vực máy dịch.

Bài toán phân cụm

Bài toán phân cụm là bài toán chia tập dữ liệu X thành các cụm nhỏ dựa trên sự liên quan nào đó giữa các dữ liệu trong mỗi cụm. Trong bài toán này, dữ liệu huấn luyện khơng có nhãn, mơ hình tự phân chia dữ liệu thành các cụm khác nhau dựa vào độ đo sự gần gũi của các đặc trưng dữ liệu.[2]

Ví dụ 1.4. Phân cụm khách hàng dựa trên hành vi mua hàng. Dựa trên việc

mua bán và theo dõi của người dùng trên một trang web thương mại điện tử,mơ hình có thể phân người dùng vào các cụm theo sở thích mua hàng. Từ đó,mơ hình có thể quảng cáo các mặt hàng mà người dùng có thể quan tâm trên

</div>Trang 15<div class="page_container" data-page="15">

cơ sở những mặt hàng này người cùng nhóm đã mua, đã quan tâm. Nhữngđặc trưng của khách hàng cũng cần được véc tơ hóa và sự gần gũi về sở thíchmua hàng được tính tốn thơng qua một độ đo.

Bài tốn hồn thiện dữ liệu

Bài tốn hồn thiện dữ liệu là bài tốn dự đốn các trường dữ liệu cịn thiếu trong dữ liệu đích. Nhiệm vụ của bài tốn này là dựa trên mối tương quan giữa các điểm dữ liệu để dự đốn những giá trị cịn thiếu. Các hệ thống khuyến nghị là một ví dụ điển hình của loại bài toán này. Hệ thống sẽ dự đoán sự quan tâm của các đối tượng (user) thể hiện bằng các thang điểm, số sao đánh giá mà họ chưa đánh giá các mặt hàng (item), dựa trên mối tương quan giữa các user với nhau hoặc các item với nhau. Các phần mềm khôi phục ảnh cũ, tô màu ảnh cũ sử dụng học máy cũng là những ứng dụng thuộc phạm vi hồn thiện dữ liệu. [2]

Ngồi ra, có nhiều bài toán học máy khác như bài toán xếp hạng, bài

toán giảm chiều dữ liệu, bài toán phát hiện bất thường....tùy thuộc vào yêu

cầu đầu ra, dữ liệu chúng ta có và khả năng giải quyết của thuật tốn.

1.1.4.Các thuật tốn học máy

Phân nhóm dựa theo phương thức học có các loại thuật tốn học máy sau:

Học có giám sát

Một thuật tốn học máy được gọi là học có giám sát nếu việc xây dựng

mơ hình dự đốn mối quan hệ giữa đầu vào và đầu ra được thực hiện dựa trên các cặp (đầu vào, đầu ra) đã biết trong tập huấn luyện. Nghĩa là dữ liệu huấn luyện đã có nhãn, là đầu ra mong muốn. [1], [2].

Các thuật toán phân lớp và hồi quy là hai ví dụ điển hình trong nhóm này.

Diễn giải theo tốn học, học có giám sát xảy ra khi việc dự đoán

quan hệ giữa đầu ra y và dữ liệu đầu vào x được thực hiện dựa trên các

cặp {(x1, y1),(x2, y2), . . . ,(xN, yN)} trong tập huấn luyện. Việc huấn luyện là việc xây dựng một hàm số f sao cho với mọi i = 1, 2, . . . , N,

</div>Trang 16<div class="page_container" data-page="16">

f(xi) gần với yi nhất có thể. Hơn thế nữa, khi có một điểm dữ liệu x

nằm ngoài tập huấn luyện, đầu ra dự đoán f(x) cũng gần với đầu ra

thực sự y của x.

Học khơng giám sát

Trong các thuật tốn học khơng giám sát, dữ liệu huấn luyện chỉ

bao gồm các dữ liệu đầu vào x mà khơng có đầu ra tương ứng. Các

thuật tốn học máy có thể khơng dự đốn được đầu ra nhưng vẫn trích xuất được những thơng tin quan trọng dựa trên mối liên quan giữa các điểm dữ liệu. [1], [2].

Các thuật toán giải quyết bài toán phân cụm và giảm chiều dữ liệu là các ví dụ điển hình của nhóm này. Trong bài tốn phân cụm, có thể mơ hình khơng trực tiếp dự đốn được đầu ra của dữ liệu nhưng vẫn có khả năng phân các điểm dữ liệu có đặc tính gần giống nhau vào từng nhóm.

Học bán giám sát

Thuật tốn học bán giám sát là nhóm thuật tốn học máy mà tập huấn luyện bao gồm các cặp (đầu vào, đầu ra) và dữ liệu khác chỉ có đầu vào, nghĩa là chứa cả dữ liệu có nhãn và khơng có nhãn trong tập huấn luyện.[1], [2].

Thực tế cho thấy ngày càng nhiều thuật tốn rơi vào nhóm này vì việc thu thập nhãn cho dữ liệu có chi phí cao và tốn thời gian. Chẳng hạn, chỉ một phần nhỏ trong các bức ảnh y học có nhãn vì quá trình gán nhãn tốn thời gian và cần sự can thiệp của các chun gia.

Học củng cố

Mơ hình học cách ra quyết định bằng cách giao tiếp với môi trường xung quanh. Các thuật tốn thuộc nhóm này liên tục ra quyết định và nhận phản hồi từ môi trường để tự củng cố hành vi. Nhóm các thuật

tốn này có tên học củng cố. [1], [2]. Chúng có thể không yêu cầu dữ liệu

huấn luyện.

Việc huấn luyện một thuật tốn học củng cố thơng thường dựa trên

một đại lượng được gọi là điểm thưởng. Mơ hình cần tìm ra một thuật

</div>Trang 17<div class="page_container" data-page="17">

toán tối đa điểm thưởng đó qua rất nhiều lần chơi khác nhau. Học củng cố được áp dụng nhiều trong việc tạo ra các chương trình máy tính có khả năng tự chơi cờ, tự chơi game hay xe tự lái.

Ngồi ra cịn có những cách thức phân loại khác như: Học dựa trên mẫu hay học dựa trên mơ hình; Học theo batch hay học trực tuyến...

1.1.5.Hàm mất mát và tham số mơ hình

Mỗi mơ hình học máy được mơ tả bởi bộ các tham số mơ hình. Cơng

việc của một thuật tốn học máy là đi tìm các tham số mơ hình tối ưu cho mỗi bài tốn, nghĩa là đạt được tốt nhất theo phép đánh giá P. Việc đi tìm các tham số mơ hình có liên quan mật thiết đến các phép đánh giá. Mục đích chính là đi tìm các tham số mơ hình sao cho các phép đánh giá đạt kết quả tốt nhất. Trong bài tốn phân loại, kết quả tốt có thể được hiểu là có ít điểm dữ liệu bị phân loại sai. Trong bài toán hồi quy, kết quả tốt là khi sự sai lệch giữa đầu ra dự đoán và đầu ra thực sự là nhỏ.

Quan hệ giữa một phép đánh giá và các tham số mơ hình được mơ

tả thơng qua một hàm số gọi là hàm mất mát. Hàm số này thường có giá

trị nhỏ khi phép đánh giá cho kết quả tốt và ngược lại. Việc đi tìm các tham số mơ hình sao cho phép đánh giá trả về kết quả tốt tương đương với việc tối thiểu hàm mất mát. Như vậy, việc xây dựng một mơ hình học máy chính là việc đi giải một bài tốn tối ưu. Q trình đó được

coi là q trình học của máy. [2].

Tập hợp các tham số mơ hình thường được ký hiệu bằng θ, hàm mất

mát của mơ hình được ký hiệu là L(θ) hoặc J(θ). Bài tốn đi tìm tham số mơ hình tương đương với bài tốn tối thiểu hàm mất mát:

Trong đó, ký hiệu argminθL(θ) được hiểu là giá trị của θ để hàm số

L(θ) đạt giá trị nhỏ nhất, cần phân biệt với giá trị nhỏ nhất của L(θ), là giá trị mà ta ít quan tâm.

Sai số huấn luyện: Đại lượng này là mức độ sai khác giữa đầu ra

thực và đầu ra dự đốn của mơ hình. Trong nhiều trường hợp, giá trị này chính là hàm mất mát khi áp dụng lên dữ liệu huấn luyện. Hàm

</div>Trang 18<div class="page_container" data-page="18">

mất mát này cần có một thừa số 1

Nhl, trong đó Nhl là số điểm dữ liệu huấn luyện, để tính giá trị trung bình mất mát trên mỗi điểm dữ liệu.

Với các bài toán hồi quy, đại lượng này thường được xác định bởi sai số

với ky− ˆyk22 là chuẩn Euclid của véc tơ. Với các bài toán phân loại, có nhiều cách đánh giá mơ hình trên các tập dữ liệu.

Sai số kiểm tra: Tương tự như trên, áp dụng mơ hình tìm được vào

dữ liệu kiểm tra. Chú ý rằng dữ liệu kiểm tra không được sử dụng khi xây dựng mơ hình. Với các mơ hình hồi quy, đại lượng này thường được định nghĩa bởi

sai số kiểm tra = 1

tập kiểm tra

ky− ˆyk22 (1.3)

Việc lấy trung bình là quan trọng vì lượng dữ liệu trong tập huấn luyện và tập kiểm tra có thể chênh lệch nhau.

1.1.6.Những thách thức chính của học máy

Vì nhiệm vụ chính của học máy là chọn và huấn luyện thuật tốntrên tập dữ liệu, nên hai vấn đề có thể xảy ra là thuật toán tệ và dữ liệu

xấu. Các thách thức chính đến từ đây. [1].

Các thách thức đến từ dữ liệu xấu

Không đủ dữ liệu huấn luyện. Hầu hết các thuật toán Học Máy cần rất nhiều dữ liệu để có thể hoạt động hiệu quả. Ngay cả với những bài toán đơn giản, ta cũng cần đến hàng nghìn mẫu, và với những bài tốn phức tạp như nhận diện ảnh hoặc giọng nói thì có thể lên đến hàng triệu mẫu (trừ khi ta có thể tận dụng một mơ hình có sẵn).

Dữ liệu huấn luyện khơng mang tính đại diện. Để khái qt hóa tốt, điều quan trọng là dữ liệu huấn luyện phải có tính đại diện cho các trường

</div>Trang 19<div class="page_container" data-page="19">

hợp mới mà ta muốn khái quát hóa. Điều này đúng cho cả phương pháp học dựa trên mẫu hay học dựa trên mơ hình.

Dữ liệu kém chất lượng. Nếu tập huấn luyện chứa đầy lỗi, điểm ngoại lai và nhiễu (chẳng hạn như do sai số đo lường), hệ thống sẽ gặp nhiều khó khăn trong việc phát hiện các khn mẫu ẩn, và ít có khả năng hoạt động tốt. Việc dành thời gian làm sạch dữ liệu huấn luyện thường rất cần thiết. Sự thật là đa số các nhà khoa học dữ liệu dành phần lớn thời gian của họ chỉ để làm việc đó. Những ví dụ sau đây là các trường hợp mà ta cần làm sạch dữ liệu huấn luyện:

• Nếu một số mẫu rõ ràng là ngoại lai, ta có thể đơn thuần loại bỏ chúng hoặc sửa lỗi một cách thủ cơng.

• Với những mẫu bị thiếu một số đặc trưng (ví dụ: 5% khách hàng của bạn không cung cấp tuổi của họ), ta cần quyết định giữa việc bỏ qua ln thuộc tính này, bỏ qua những mẫu bị thiếu, điền vào các giá trị cịn thiếu (ví dụ, bằng tuổi trung vị), hoặc huấn luyện hai mơ hình: một mơ hình với đặc trưng đó và một mơ hình thì khơng.

Các đặc trưng khơng liên quan. Hệ thống chỉ có thể học được nếu dữ liệu huấn luyện chứa đủ các đặc trưng liên quan và không quá nhiều các đặc trưng không liên quan. Một phần quan trọng dẫn đến một dự án Học Máy thành công là xây dựng được một bộ đặc trưng tốt để huấn luyện. Quy trình này được gọi là thiết kế đặc trưng và bao gồm các bước sau:

• Lựa chọn đặc trưng (lựa chọn những đặc trưng hữu ích nhất từ các đặc trưng sẵn có để huấn luyện)

• Trích xuất đặc trưng (kết hợp các đặc trưng sẵn có để tạo ra một đặc trưng hữu ích hơn, và như đã đề cập phía trên, các thuật tốn giảm chiều có thể có ích)

• Tạo ra các đặc trưng mới bằng cách thu thập thêm dữ liệu

</div>Trang 20<div class="page_container" data-page="20">

Các thách thức đến từ thuật toán tệ

Quá khớp dữ liệu huấn luyện. Trong học máy, khái niệm quá khớp có nghĩa là mơ hình hoạt động tốt trên dữ liệu huấn luyện nhưng lại khơng có tính khái qt hóa. Q khớp xảy ra khi mơ hình q phức tạp so với lượng mẫu và nhiễu của dữ liệu huấn luyện. Đây là những giải pháp để tránh vấn đề này:

• Đơn giản hóa mơ hình bằng cách chọn mơ hình có ít tham số hơn (ví dụ, một mơ hình tuyến tính thay vì mơ hình đa thức bậc cao), giảm số lượng thuộc tính trong dữ liệu huấn luyện, hoặc ràng buộc mơ hình.

• Thu thập thêm dữ liệu huấn luyện.

• Giảm nhiễu trong dữ liệu huấn luyện (ví dụ như chỉnh sửa lỗi sai trong dữ liệu và loại bỏ những mẫu ngoại lai).

Việc ràng buộc một mơ hình để làm cho nó đơn giản hơn và giảm

nguy cơ quá khớp được gọi là điều chuẩn. Mức độ điều chuẩn áp dụng

trong q trình học có thể được kiểm soát bởi một siêu tham số. Một siêu tham số là một tham số của thuật toán chứ khơng phải của mơ hình. Vì vậy, nó khơng bị ảnh hưởng bởi quá trình học. Giá trị của siêu tham số cần được đặt trước khi huấn luyện và sẽ được giữ nguyên trong suốt quá trình huấn luyện. Nếu ta đặt siêu tham số điều chuẩn quá cao, ta sẽ nhận được một mơ hình gần như nằm ngang. Khi đó, thuật tốn gần như chắc chắn sẽ không quá khớp dữ liệu huấn luyện, nhưng sẽ khó để tìm được một mơ hình tốt. Điều chỉnh siêu tham số là một phần quan trọng trong quá trình xây dựng một hệ thống Học Máy.

Dưới khớp dữ liệu huấn luyện. Dưới khớp ngược lại với quá khớp: nó xảy ra khi mơ hình q đơn giản để học được cấu trúc của dữ liệu. Đây là những giải pháp chính để giải quyết vấn đề này:

• Chọn một mơ hình mạnh hơn, với nhiều tham số hơn.

• Cung cấp đặc trưng tốt hơn cho thuật toán học (thiết kế đặc trưng).

</div>Trang 21<div class="page_container" data-page="21">

• Giảm ràng buộc lên mơ hình (ví dụ như giảm siêu tham số điều chuẩn).

1.1.7.Quy trình thực hiện một dự án học máy

Danh mục các công việc trong một dự án học máy thường bao gồm các bước sau:

1. Định hình bài toán và xem xét bức tranh tổng thể. 2. Thu thập dữ liệu.

3. Khám phá dữ liệu để có được thông tin chi tiết.

4. Chuẩn bị dữ liệu để tạo ra những các dữ liệu đầu vào phù hợp cho các thuật tốn Học Máy.

5. Khám phá các mơ hình học máy khác nhau và chọn ra những mơ hình tốt nhất.

6. Tinh chỉnh các mơ hình và kết hợp chúng lại thành một giải pháp hồn hảo hơn.

7. Trình bày giải pháp.

8. Khởi chạy, giám sát, và bảo trì hệ thống.

1.2.Thuật toán Gradient Decent

Xét một hàm số f : Rd → R với tập xác địnhD,

• Điểm x∗ ∈ D được gọi là cực tiểu toàn cục (tương ứng cực đại toàn

cục) nếu f(x) ≥ f(x∗) (tương ứng f(x) ≤ f(x∗)) với mọi x trong

tập xác định D. Các điểm cực tiểu toàn cục và cực đại toàn cục

được gọi chung là cực trị tồn cục.

• Điểm x∗ ∈ Dđược gọi là cực tiểu địa phương (tương ứng cực đại địa

phương) nếu tồn tại ε > 0 sao cho f(x) ≥ f(x∗) (tương ứng f(x) ≤

f(x∗)) với mọi x nằm trong lân cận V (ε) = {x: x ∈ D, d(x, x∗) ≤

ε}. Ở đây d(x, x∗) ký hiệu khoảng cách giữa hai vector x và x∗,

</div>Trang 22<div class="page_container" data-page="22">

thường là khoảng cách Euclid. Các điểm cực tiểu địa phương và

cực đại địa phương được gọi chung là cực trị địa phương. Các điểm

cực tiểu/cực đại/cực trị toàn cục cũng là các điểm cực tiểu/cực đại/cực trị địa phương.

Giả sử ta đang quan tâm đến một hàm liên tục một biến có đạo hàm mọi nơi, xác định trênR. Một số điểm cơ bản cần nhắc lại:

• Điểm cực tiểu địa phương x∗ của hàm số là điểm có đạo hàm f0(x∗) bằng khơng. Hơn nữa, trong lân cận của nó, đạo hàm của các điểm phía bên trái x∗ là không dương, đạo hàm của các điểm phía bên phải x∗ là khơng âm.

• Đường tiếp tuyến với đồ thị hàm số đó tại một điểm bất kỳ có hệ số góc bằng đạo hàm của hàm số tại điểm đó.

Trong học máy nói riêng và tốn tối ưu nói chung, chúng ta thường xun phải tìm các cực tiểu toàn cục của một hàm số. Nếu chỉ xét riêng các hàm khả vi, việc giải phương trình đạo hàm bằng khơng có thể phức tạp hoặc có vơ số nghiệm. Thay vào đó, người ta thường tìm các điểm cực tiểu địa phương, và coi đó là một nghiệm cần tìm của bài tốn trong những trường hợp nhất định.

Các điểm cực tiểu địa phương là nghiệm của phương trình đạo hàm bằng khơng (ta vẫn đang giả sử rằng các hàm này liên tục và khả vi). Nếu tìm được tồn bộ (hữu hạn) các điểm cực tiểu địa phương, ta chỉ cần thay từng điểm đó vào hàm số để suy ra điểm cực tiểu toàn cục. Tuy nhiên, trong hầu hết các trường hợp, việc giải phương trình đạo hàm bằng khơng là bất khả thi. Nguyên nhân có thể đến từ sự phức tạp của đạo hàm, từ việc các điểm dữ liệu có số chiều lớn hoặc từ việc có quá nhiều điểm dữ liệu. Thực tế cho thấy, trong nhiều bài toán học máy, các điểm cực tiểu địa phương thường cho kết quả tốt, đặc biệt là trong các mạng neuron nhân tạo.

Một hướng tiếp cận phổ biến để giải quyết các bài toán tối ưu là

dùng một phép toán lặp. Đầu tiên, chọn một điểm xuất phát rồi tiến dầnđến đích sau mỗi vịng lặp. Gradient descent (GD) và các biến thể của

nó là một trong những phương pháp được dùng nhiều nhất.

</div>Trang 23<div class="page_container" data-page="23">

Chú ý 1.2.1. Khái niệm nghiệm của một bài toán tối ưu được sử dụng khơng

hẳn để chỉ cực tiểu tồn cục. Nó được sử dụng theo nghĩa là kết quả của qtrình tối ưu. Kết quả ở một vịng lặp trung gian được gọi là vị trí của nghiệm.Nói cách khác, nghiệm có thể được hiểu là giá trị hiện tại của tham số cần tìmtrong quá trình tối ưu.

1.2.1.Gradient Decent cho hàm một biến

Xét các hàm số một biến f : R → R. Giả sử xt là điểm tìm được sau vịng lặp thứ t. Ta cần tìm một thuật toán để đưa xt về càng gần x∗càng tốt. Có hai quan sát sau đây:

• Nếu đạo hàm của hàm số tại xt là dương ( f0(xt) > 0) thì xtnằm về bên phải so với x∗, và ngược lại. Để điểm tiếp theo xt+1 gần với x∗ hơn, ta cần di chuyển xt về bên trái, tức về phía âm. Nói các khác,

ta cần di chuyển xt ngược dấu với đạo hàm:

Trong đó ∆ là một đại lượng ngược dấu với đạo hàm f0(xt).

• xt càng xa x∗ về bên phải thì f0(xt) càng lớn (và ngược lại). Một cách tự nhiên nhất, ta chọn lượng di chuyển ∆ tỉ lệ thuận với

Từ hai nhận xét trên, ta có cơng thức cập nhật đơn giản là [2].

xt+1 = xt −η f0(xt) (1.5)

Trong đó η là một số dương được gọi là tốc độ học (learning rate). Dấu

trừ thể hiện việc xt cần đi ngược với đạo hàm f0(xt). Tên gọi Gradient

Decent xuất phát từ đây. Mặc dù các quan sát này không đúng trong mọi trường hợp, chúng vẫn là nền tảng cho rất nhiều phương pháp tối ưu.

Điều kiện dừng thường được đặt là |xt+1 −xt| < e hoặc số lần lặp vượt quá một giá trị cho trước.

</div>Trang 24<div class="page_container" data-page="24">

1.2.2.Gradient Decent cho hàm nhiều biến

Giả sử ta cần tìm cực tiểu tồn cục cho hàm f(θ) trong đó θ là tậphợp các tham số cần tối ưu. Gradient của hàm số đó tại một điểm θ bất

kỳ được ký hiệu là ∇θf(θ). Tương tự như hàm một biến, thuật toán

GD cho hàm nhiều biến cũng bắt đầu bằng một điểm dự đoán θ0, sau đó sử dụng quy tắc cập nhật [2].

θt+1 = θt−η∇θf(θt) (1.6)

Hoặc viết dưới dạng đơn giản hơn: θ ← θ −η∇θf(θ).

Ví dụ 1.5. Đối với thuật tốn Hồi quy tuyến tính. Hàm mất mát của hồi quy

tuyến tính và gradient theo w:

Trong bức thư ngày 30 tháng 09 năm 1695 của nhà toán học Đức Leibniz (1646-1716) gửi nhà toán học Pháp L’Hospital, lần đầu tiên khái niệm đạo hàm cấp không nguyên được đề cập đến. Trả lời câu hỏi của L’Hospital: “Biểu thức đạo hàm d

dxn có ý nghĩa như thế nào khi n = 1 2”, Leibniz nói : “Sẽ dẫn đến một mâu thuẫn” và ơng viết thêm: “Từ mâu thuẫn này đến một ngày nào đó sẽ có những kết luận hữu ích”.

Cuối thế kỷ IXX, lý thuyết đạo hàm và tích phân cấp phân số đã được nghiên cứu bởi các nhà toán học Liouville, Gr ăunwald, Letnikov, Riemann, v.v...

Lỳc u lý thuyt o hàm cấp phân số được phát triển chủ yếu như là một lĩnh vực lý thuyết thuần tuý của toán học và chỉ hữu ích cho các nhà tốn học. Tuy nhiên, một vài chục năm gần đây, nhiều tác giả đã

</div>Trang 25<div class="page_container" data-page="25">

chỉ ra rằng đạo hàm và tích phân cấp khơng ngun rất phù hợp cho sự mơ tả tính chất của nhiều loại vật liệu mới, chẳng hạn như vật liệu polyme. Họ cũng chỉ ra rằng những mơ hình cấp phân số thích hợp hơn những mơ hình cấp ngun đã được sử dụng trước đó, đặc biệt là trong các thuật tốn tối ưu sử dụng đạo hàm.

Đạo hàm cấp phân số cung cấp một công cụ mới để mô tả bộ nhớ và tính chất di truyền của những vật liệu và quá trình khác nhau cũng như cung cấp phương thức để áp dụng thuật toán Gradient Decent trong các bài tốn tối ưu. Đây là ưu điểm chính của đạo hàm cấp phân số so với những mơ hình đạo hàm cấp nguyên cổ điển, trong đó những ảnh hưởng như vậy trong thực tế bị bỏ qua.

1.3.2.Định nghĩa đạo hàm và tích phân cấp phân số theo

Trong đóΓ(z) là hàm Gamma, được định nghĩa là Γ(n) = (n−1)! với n là số nguyên dương, hoặc xác định qua tích phân suy rộng Γ(z) = R∞

0 xz−1e−xdxvới z là số phức với phần thực không dương.

Tư tưởng mở rộng khái niệm tích phân với giá trị khơng ngun của nlà thay thế số nguyên n bằng số thực p < 0 trong cơng thức tích phân

Biểu thức1.10được định nghĩa là tích phân cấp phân số theo Riemann-Liouville. Khi p ≥ 0 người ta định nghĩa

</div>Trang 26<div class="page_container" data-page="26">

Các định nghĩa đạo hàm và tích phân cấp phân số theo Riemann-Liouville có ứng dụng rất phổ biến trong các lĩnh vực của khoa học tự nhiên và khoa học kỹ thuật.

1.3.3.Định nghĩa đạo hàm và tích phân cp phõn s theo Gr ăunwald-Letnikov

Da trờn cụng thc vit cho đạo hàm và tích phân với n nguyên, Gr ¨unwald-Letnikov đã đưa ra định nghĩa về đạo hàm và tích phân cấp phân số với p là số thực tựy ý [3]. c gi l h s Gr ăunwald. Cỏch nh ngha theo Gr ăunwald-Letnikov nh trờn cú u điểm là đạo hàm, tích phân cấp phân số được tìm thơng qua giá trị của hàm, khơng cần các phép tính tích phân và đạo hàm của nó. Người ta đã chứng minh được rằng hàm Γ(−p) (p > 0) có thể khơng hữu hạn nhưng tỉ số Γ(j− p)

Γ(−p) là hữu hạn. Sự tương đương của các định nghĩa đạo hàm cấp phân số đã được chứng minh.

1.3.4.Định nghĩa đạo hàm cấp phân số theo Caputo

Đạo hàm cấp phân số định nghĩa theo Caputo có dạng [3].:

</div>Trang 27<div class="page_container" data-page="27">

Giữa đạo hàm cấp phân số theo Riemann-Liouvill và theo Caputo người ta tìm được quan hệ: nếu f(j)(a) = 0 (j = 0, . . . , n−1) thì hai định nghĩa trên trùng nhau.

Tính chất 1.3.1. Với α > 0, α /∈ N và n = [α] +1. Khi đó với µ > −1,

Ví dụ 1.6. Xét hàm ϕ1(x) = (x −3)2. Theo tính chất trên, đạo hàm cấpphân số Caputo của ϕ1 được tính như sau:

1.4.1.Kiến trúc chung của mạng nơ ron tích chập

Tích chập được ứng dụng phổ biến trong lĩnh vực thị giác máy tính. Thơng qua các phép tích chập, các đặc trưng chính từ ảnh được trích xuất và truyền vào các tầng tích chập (layer convolution). Mỗi một tầng tích chập sẽ bao gồm nhiều đơn vị mà kết quả ở mỗi đơn vị là một phép biến đổi tích chập từ layer trước đó thơng qua phép nhân tích chập với

</div>Trang 28<div class="page_container" data-page="28">

• INPUT: Tầng đầu vào

• CONV: Tầng tích chập

• RELU: Tầng kích hoạt. Thơng qua hàm kích hoạt (activation func-tion), thường là ReLU hoặc LeakyReLU để kích hoạt phi tuyến

• POOL: Tầng tổng hợp, thơng thường là Max pooling hoặc có thể là Average pooling dùng để giảm chiều của ma trận đầu vào.

• FC: Tầng kết nối hồn tồn. Thơng thường tầng này nằm ở sau cùng và kết nối với các đơn vị đại diện cho nhóm phân loại.

Các kí hiệu []*N, []*M hoặc []*K ám chỉ các khối bên trong [] có thể lặp lại nhiều lần liên tiếp nhau. M, K là số lần lặp lại. Kí hiệu -> đại diện cho các tầng liền kề nhau mà tầng đứng trước sẽ làm đầu vào cho tầng đứng sau. Dấu ? sau POOLING để thể hiện tầng POOLING có thể có hoặc khơng sau các khối tích chập.

Như vậy ta có thể thấy một mạng nơ ron tích chập về cơ bản có 3 q trình khác nhau:

• Q trình tích chập (convolution): Thơng qua các tích chập giữa ma trận đầu vào với bộ lọc để tạo thành các đơn vị trong một tầng mới. Q trình này có thể diễn ra liên tục ở phần đầu của mạng và thường sử dụng kèm với hàm kích hoạt ReLU. Mục tiêu của tầng này là trích suất đặc trưng hai chiều.

• Q trình tổng hợp (max pooling): Các tầng càng về sau khi trích xuất đặc trưng sẽ cần số lượng tham số lớn do chiều sâu được qui định bởi số lượng các kênh ở các tầng sau thường tăng tiến theo cấp số nhân. Điều đó làm tăng số lượng tham số và khối lượng tính tốn trong mạng nơ ron. Do đó để giảm tải tính tốn chúng ta sẽ cần giảm kích thước các chiều của khối ma trận đầu vào hoặc giảm số đơn vị của tầng. Vì mỗi một đơn vị sẽ là kết quả đại diện của việc áp dụng 1 bộ lọc để tìm ra một đặc trưng cụ thể nên việc giảm số đơn vị sẽ không khả thi. Giảm kích thước khối ma trận đầu vào thơng qua việc tìm ra 1 giá trị đại diện cho mỗi một vùng

</div>Trang 29<div class="page_container" data-page="29">

không gian mà bộ lọc đi qua sẽ khơng làm thay đổi các đường nét chính của bức ảnh nhưng lại giảm được kích thước của ảnh. Do đó q trình giảm chiều ma trận được áp dụng. Quá trình này gọi là tổng hợp nhằm mục đích giảm kích thước dài, rộng.

• Q trình kết nối hồn tồn (fully connected): Sau khi đã giảm kích thước đến một mức độ hợp lý, ma trận cần được trải phẳng (flatten) thành một vector và sử dụng các kết nối hồn tồn giữa các tầng. Q trình này sẽ diễn ra cuối mạng CNN và sử dụng hàm kích hoạt là ReLU. Tầng kết nối hồn tồn cuối cùng (fully connected layer) sẽ có số lượng đơn vị bằng với số classes và áp dụng hàm kích hoạt là softmax nhằm mục đích tính phân phối xác xuất.

Cấu trúc đại diện của một CNN được minh họa trong hình1.1.

Hình 1.1: Cấu trúc đại diện của một mạng nơ ron tích chập

1.4.2.Tính chất của mạng nơ ron tích chập

Tính kết nối trượt: Khác với các mạng nơ ron thơng thường, mạng nơ ron tích chập khơng kết nối tới tồn bộ hình ảnh mà chỉ kết nối tới từng vùng địa phương (local region) hoặc vùng nhận thức (receptive field) có kích thước bằng kích thước bộ lọc của hình ảnh đó. Các bộ lọc sẽ trượt theo chiều của ảnh từ trái qua phải và từ trên xuống dưới đồng thời tính tốn các giá trị tích chập và điền vào bản đồ kích hoạt (activation map) hoặc bản đồ đặc trưng (feature map).

</div>Trang 30<div class="page_container" data-page="30">

Các khối nơ ron 3D: Không giống như những mạng nơ ron thông thường khi cấu trúc ở mỗi tầng là một ma trận 2D (batch size x số đơn vị ở mỗi tầng). Các kết quả ở mỗi tầng của một mạng nơ ron là một khối 3D được sắp xếp một cách hợp lý theo 3 chiều rộng (width), cao (height), sâu (depth). Trong đó các chiều rộng và cao được tính tốn theo cơng thức tích chập mục 1.1. Giá trị chiều rộng và cao của một tầng phụ thuộc vào kích thước của bộ lọc, kích thước của tầng trước, kích thước mở rộng (padding) và bước trượt bộ lọc (stride). Tuy nhiên chiều sâu lại hồn tồn khơng phụ thuộc vào những tham số này mà nó bằng với số bộ lọc trong tầng đó. Q trình tính bản đồ kích hoạt dựa trên một bộ lọc sẽ tạo ra một ma trận 2D. Như vậy khi áp dụng cho bộ lọc khác nhau, mỗi bộ lọc có tác dụng trích suất một dạng đặc trưng trên mạng nơ ron, ta sẽ thu được ma trận 2D có cùng kích thước mà mỗi ma trận là một bản đồ đặc trưng. Khi sắp xếp chồng chất các ma trận này theo chiều sâu kết quả đầu ra là một khối nơ ron 3D. Thông thường đối với xử lý ảnh thì tầng đầu vào có depth = 3 (số kênh) nếu các bức ảnh đang để ở dạng màu gồm 3 kênh RBG. Bên dưới là một cấu trúc mạng nơ ron điển hình có dạng khối.

Tính chia sẻ kết nối và kết nối cục bộ: Chúng ta đã biết quá trình biến đổi trong mạng tích chập sẽ kết nối các khối nơ ron 3D. Tuy nhiên các đơn vị sẽ không kết nối tới tồn bộ khối 3D trước đó theo chiều rộng và cao mà chúng sẽ chọn ra các vùng địa phương (hoặc vùng nhận thức) có kích thước bằng với bộ lọc. Các vùng địa phương sẽ được chia sẻ chung một bộ siêu tham số có tác dụng nhận thức đặc trưng của bộ lọc. Các kết nối cục bộ không chỉ diễn ra theo chiều rộng và cao mà kết nối sẽ mở rộng hoàn toàn theo chiều sâu. Như vậy số tham số trong một tầng sẽ là F×F×D ( F, D lần lượt là kích thước bộ lọc và chiều depth).

Tính tổng hợp: Ở các tầng tích chập gần cuối số tham số sẽ cực kì lớn do sự gia tăng của chiều sâu và thông thường sẽ theo cấp số nhân. Như vậy nếu không có một cơ chế kiểm sốt sự gia tăng tham số, chi phí tính tốn sẽ cực kì lớn và vượt quá khả năng của một số máy tính cấu hình yếu. Một cách tự nhiên là chúng ta sẽ giảm kích thước các

</div>Trang 31<div class="page_container" data-page="31">

chiều rộng và cao bằng kỹ thuật giảm mẫu (down sampling) mà vẫn giữ nguyên được các đặc trưng của khối. Theo đó những bộ lọc được di chuyển trên bản đồ đặc trưng và tính trung bình (average pooling) hoặc giá trị lớn nhất (max pooling) của các phần tử trong vùng nhận thức. Trước đây các tính trung bình được áp dụng nhiều nhưng các mơ hình hiện đại đã thay thế bằng giá trị lơn nhất do tốc độ tính max nhanh hơn so với trung bình.

Độ phức tạp phát hiện hình ảnh tăng dần: Ở tầng đầu tiên, hình ảnh mà chúng ta có chỉ là những giá trị pixels. Sau khi đi qua tầng thứ 2 máy tính sẽ nhận diện được các hình dạng cạnh, rìa và các đường nét đơn giản được gọi là đặc trưng bậc thấp (low level). Càng ở những tầng tích chập về sau càng có khả năng phát hiện các đường nét phức tạp, đã rõ ràng hình thù và thậm chí là cấu thành vật thể, đây được gọi là những đặc trưng bậc cao (high level). Máy tính sẽ học từ tầng cuối cùng để nhận diện nhãn của hình ảnh.

Kết luận . Chương 1 hệ thống một số kiến thức nền tảng liên quan trực tiếp đến đề tài, bao gồm các khái niệm cơ bản về học máy; định nghĩa đạo hàm cấp phân số, đặc biệt là đạo hàm Caputo; Thuật toán Gradient cấp nguyên trong việc tìm điểm tối ưu của hàm mục tiêu, một thuật tốn rất hay được sử dụng trong q trình huấn luyện mơ hình trong học máy. Chương 1 cũng trình bày tổng quan mạng nơ ron tích chập với kiến trúc tổng quát và các tính chất của CNN. Với các kiến thức này, việc tiếp tục nghiên cứu các chương tiếp theo trở nên dễ hiểu, thuận lợi hơn.

</div>Trang 32<div class="page_container" data-page="32">

Chương 2

ỨNG DỤNG CỦA ĐẠO HÀM CẤPPHÂN SỐ TRONG HỌC MÁY

2.1.Đặt vấn đề

Như đã đề cập ở chương 1, hầu hết các bài toán học máy đều có các bước: Xây dựng mơ hình, xây dựng hàm mất mát, giải bài toán tối ưu hàm mất mát, tìm tham số sao cho hàm mất mát đạt giá trị nhỏ nhất, đánh giá mơ hình trên các tập dữ liệu test, kiểm tra chéo...Việc này còn được thử nghiệm lặp lại trên nhiều mơ hình khác nhau. Trong đó q trình tìm kiếm tham số tối ưu là đặc biệt quan trọng, quyết định chất lượng của mơ hình.

Hai phương pháp chính để giải bài tốn tìm tham số tối ưu đã biết là giải phương trình đạo hàm bằng không và phương pháp lặp Gradient Decent. Phương pháp lặp tỏ ra hiệu quả hơn nhiều, khi khơng phải giải phương trình đạo hàm bằng khơng và khơng phải tính trên tồn bộ dữ liệu, cập nhật được dữ liệu mới trong q trình học. Trong đó, như các nghiên cứu dưới đây, đề tài luận văn muốn nghiên cứu hiệu quả của việc thay thế Gradient Decent với đạo hàm thông thường bằng Gradient Decent với đạo hàm cấp phân số nhằm tăng tính hiệu quả trong sự chính xác và thời gian hội tụ.

2.2.Gradient Decent cấp phân số

Như đã nói ở phần trước, thuật tốn Gradient decent ở dạng đơn giản nhất là quá trình lặp để tìm điểm cực tiểu cũng như tìm giá trị của

</div>Trang 33<div class="page_container" data-page="33">

đối số mà tại đó hàm đạt cực tiểu

Trong đó f : D ⊆ Rn → R là hàm lồi xác định và khả vi liên tục trên

tập mởD chứa lân cận của nghiệm.

Thuật toán Gradient cấp phân số thực hiện quá trình lặp bắt đầu từ một giá trị ban đầu x0 ∈ D với luật cập nhật được cho bởi

xk+1 = xk−ηk∇αf (xk) (2.2)

với ηk là tham số bước nhảy hay luật học, ∇α là véc tơ đạo hàm mà các

thành phần là các đạo hàm riêng cấp phân số α định nghĩa bởi1.14và tính theo cơng thức 1.16. Thơng thường luật học ηk được cố định, tuy

nhiên chúng ta cũng có thể tinh chỉnh ηk theo mỗi bước lặp.

Thuật toán Gradient Decent cấp phân số được mô tả như dưới đây

</div>Trang 34<div class="page_container" data-page="34">

Ví dụ 2.1. Xét hàm f(x) = (x−3)2và xuất phát tại giá trị ban đầu x0 > 3,

thiết lập x0 = 5, η0 = 0.1, e = 10−4và s = 105.

Kết quả chạy thuật toán trên với luật học cố định có thể quan sát ở hình2.1 dưới đây. Quan sát hình ta thấy dãy {xk} hội tụ đến điểm tối ưu x∗ = 3.

Hình 2.1: Hiệu quả của thuật toán gradient decent với hàm f

Bảng 2.1dưới đây cho thấy số lần lặp, lỗi tương ứng khi chạy thuật toán. Các kết quả này cho thấy thuật toán Gradient cấp phân số với

α Số lần lặpSai sốThời gian chạy (ms)

Bảng 2.1: Kết quả tối ưu argmin f với một số bậc α khác nhau.

1 < α < 1.2 hoạt động tốt trong vùng lân cập phải điểm a = 3, là nghiệm của bài toán argmin f .

</div>Trang 35<div class="page_container" data-page="35">

Đặc biệt, khi α = 1.3, thuật toán dừng sau s = 105 lần lặp, tức là thuật toán dừng do đạt được số lần lặp tối đa. Sai số xấp xỉ được đưa

xuất phát với giá trị ban đầu x0 = (a1+2, a2+2, . . . , a791+2)

Trong trường hợp này, ta đặt η0 = 0.1, e = 10−4và số lần lặp s = 105.

Kết quả được cho trong bảng 2.2. Khi α = 1.2, thuật toán dừng khi đạt

α Số lần lặpSai sốThời gian chạy (ms)0.83089.950×10−5 37.932

0.91299.565×10−5 16.1781.0618.620×10−5 6.3491.1335.193×10−55.995

Bảng 2.2: Kết quả tính min g với một số bậc α khác nhau.

số lần lặp tối đa và sai số là xấp xỉ 5.691×10−4.

Thơng qua hai ví dụ trên với hàm mục tiêu dạng (x −a)µ, là dạng hàm hay gặp trong mô tả hàm mất mát của nhiều thuật toán học máy,

so sánh ta thấy áp dụng thuật toán Gradient cấp phân số (α 6= 1) cho

những dạng hàm mũ này hiệu quả tốt hơn Gradient sử dụng đạo hàm

thông thường (α = 1).

2.3.Mạng nơ ron tích chập với Gradient cấp phân số

Phần này trình bày phương pháp sử dụng Gradient cấp phân số để tính lan truyền ngược trong mạng nơ ron tích chập. Đạo hàm sử dụng là đạo hàm Caputo cấp phân số. Các tham số trong các tầng được cập nhật bằng phương pháp Gradient Decent cấp phân số nhưng quá trình lan truyền giữa các tầng vẫn sử dụng đạo hàm cấp nguyên. Điều này hạn chế sự phức tạp khi tính đạo hàm và q trình tính đạo hàm hàm hợp từ tầng output trở ngược về tầng input vẫn được thực hiện. Bằng

</div>Trang 36<div class="page_container" data-page="36">

việc kết nối tất cả các tầng vào một chuỗi và thêm vào các hàm mất mát, mạng nơ ron tích chập này có thể huấn luyện và thực hiện được nhiều nhiệm vụ. Nó cũng đạt được sự hội tụ nhanh cũng như đạt được độ chính xác cao và khả năng vượt qua các điểm cực tiểu địa phương.

Như đã trình bày ở chương 1, mạng CNN bao gồm các tầng tích chập, tầng pooling và các tầng kết nối đầy đủ [5]. Gradient cấp phân số có thể áp dụng ở tất cả các tầng, trừ tầng pooling vì tại đây không cần cập nhật tham số. Trong các tầng kết nối đầy đủ, mỗi tầng được kết nối với tất cả các nút còn lại, trong khi tại các tầng tích chập sử dụng nhiều nhân tích chập để quét đầu vào. Mặc dù có cấu trúc khác nhau nhưng cách lan truyền ngược tham số gần như giống nhau, điều này làm cho việc nghiên cứu phương pháp Gradient trở nên dễ dàng hơn.

Đạo hàm Caputo được sử dụng, vì đạo hàm của hằng số theo Ca-puto đảm bảo bằng không. Viết lại công thức1.14, đạo hàm cấp phân Gamma, t0 là giá trị ban đầu. Giả sử f(x) là hàm lồi trơn với một điểm cực trị x∗ duy nhất. Phương pháp lặp Gradient cấp phân số đã biết là

xK+1 = xK −µx0Dα

Nếu đạo hàm cấp phân số được áp dụng trực tiếp trong2.4 thì không hội tụ đến điểm cực trị thực sự x∗ mà hội tụ đến điểm cực trị theo định nghĩa đạo hàm cấp phân số. Điểm cực trị đó liên kết với giá trị ban đầu, bậc đạo hàm cấp phân số và thường không bằng x∗.[6]

Để đảm bảo sự hội tụ đến điểm cực trị, phương pháp lặp Gradient cấp phân số được cải tiến [6] trong mỗi bước lặp như sau:

</div>Trang 37<div class="page_container" data-page="37">

Khi chỉ quan tâm đến thành phần đầu tiên và đưa vào trị tuyệt đối, Gradient decent cấp phân số với 0 < α < 2 được viết dưới dạng sau

Chứng minh. Ta sử dụng phương pháp phản chứng. Giả sử xK hội tụ đến điểm X 6= x∗, nghĩa là limK→∞|xK−X| = 0. Khi đó,

với mọi giá trị vơ hướng e > 0 nhỏ tùy ý, tồn tại N ∈ N đủ lớn

sao cho |xK−1−X| < ε < |x∗ −X| với mọi K −1 > N. Và δ =

</div>