luận án tiến sĩ nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.74 MB, 143 trang )

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

Bà GIÁO DĀC VÀ ĐÀO T¾O Bà QC PHỊNG

<b>NGHIÊN CĄU XÂY DĂNG Mễ HèNH MắNG NĂ-RON XUNG TRNG Sị NHị PHN HNG TàI THĂC THI TRÊN </b>

<b>KI¾N TRÚC TÍNH TỐN TRONG Bị NH </b>

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

Bà GIÁO DĀC VÀ ĐÀO T¾O Bà QC PHỊNG

<b>LUN N TIắN S) Kỵ THUÀT </b>

NG¯äI H¯âNG DÀN KHOA HàC:

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

Tôi xin cam đoan đây là công trình nghiên cāu cÿa tơi. Các sá liệu, kết q trình bày trong luận án là hồn tồn trung thực và ch°a đ°ÿc cơng bá trong bất kỳ cơng trình nào khác. Các dữ liệu tham khÁo đ°ÿc trích dÁn đầy đÿ.

<i>Hà Nội, ngày 22 tháng 04 năng 2024 </i>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

Luận án này đ°ÿc thực hiện và hoàn thành t¿i Viện Khoa hác và Công nghệ quân sự. Låi đầu tiên, Nghiên cāu sinh xin chân thành bày tß lịng biết ¡n tãi các thầy PGS. TS Bùi Ngác Mỹ và PGS. TS Trßnh Quang Kiên đã tận tình h°ãng dÁn và giúp đỡ trong tồn bá q trình hác tập, nghiên cāu và hồn thành luận án.

Nghiên cāu sinh trân tráng cÁm ¡n Ban giám đác Vin Khoa hỏc v Cụng ngh quõn s; Th trỗng v cỏn bỏ, nhõn viờn Phũng o to; Th trỗng v cỏc ban chc nng Vin in t; Th trỗng Viện Công nghệ thông tin đã t¿o mái điều kiện thuận lÿi để nghiên cāu sinh hác tập, nghiên cāu và hoàn thành luận án.

Nghiên cāu sinh chân thành cÁm ¡n các thầy cô giáo, các nhà khoa hác, các đồng nghiệp t¿i Viện Điện tử/ Viện Khoa hác và Công nghệ quân sự, Viện Công nghệ thông tin/ Viện Khoa hác và Công nghệ quân sự, Hác Viện kỹ thuật quân sự đã t¿o điều kiện giúp đỡ và có những ý kiến góp ý quý báu cho Nghiên cāu sinh trong quá trình thực hiện luận án này.

Cuái cùng Nghiên cāu sinh xin bày tß låi cÁm ¡n tãi gia đình đã ln đáng viên, chia sẻ, ÿng há, giúp đỡ Nghiên cāu sinh v°ÿt qua khó khăn trong st q trình nghiên cāu và hồn thành luận án.

Xin chân thành cÁm ¡n!

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

1.1. Hác sâu và các bài toán xử lý Ánh ... 8

1.1.1. Lßch sử phát triển trí tuệ nhân t¿o ... 8

1.1.2. Hác sâu và āng dāng ... 11

1.1.3. Các bài toán xử lý Ánh āng dāng hác sâu ... 13

1.1.4. Các tác vā trong bài toán phát hiện đái t°ÿng ... 14

1.2. Mát sá m¿ng hác sâu phù hÿp vãi phần cāng nhúng tiết kiệm năng l°ÿng và tài nguyên h¿n chế ... 18

1.3. Tình hình nghiên cāu và các vấn đề còn tồn t¿i ... 36

1.3.1. CÁi thiện m¿ng n¡-ron xung nhß phân ... 36

1.3.2. Tấn cơng và phịng thÿ đái nghßch trên BNN và BSNN ... 40

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

2.2.1. M¿ng n¡-ron xung vãi tráng sá nhß phân ... 48

2.2.2. Đề xuất mát m¿ng n¡-ron xung vãi tất cÁ tráng sá nhß phân .. 49

2.2.3. Đề xuất mát m¿ng n¡-ron xung nhß phân vãi b°ãc thåi gian không đồng nhất ... 55

2.2.4. Huấn luyện m¿ng n¡-ron xung vãi tráng sá nhß phân ... 57

2.3. Đề xuất kiến trúc tính tốn trong bá nhã thực thi BSNN ... 63

2.3.1. Tính tốn trong bá nhã ... 63

2.3.2. Tính MAC dựa trên phép tính XNOR ... 65

2.3.3. Tính tốn BSNN dựa trên mÁng XNOR ... 67

2.4. Kết quÁ thực nghiệm trên các tập dữ liệu phân lo¿i Ánh ... 71

2.4.1. Cài đặt các tham sá huấn luyện ... 71

2.4.2. nh hỗng bóc thồi gian ... 72

2.4.3. nh hỗng h sỏ t l cÿa SNG ... 74

2.4.4. nh hỗng sỏ ln tớch ly ti lóp u tiờn ... 75

2.4.5. nh hỗng đá sâu cÿa cấu trúc m¿ng ... 77

2.4.6. nh hỗng tớnh ngu nhiờn ca khái SNG ... 77

3.3. Tấn cơng đái nghßch trên m¿ng n¡-ron nhß phân ... 91

3.3.1. Tấn công đái nghßch trên m¿ng n¡-ron nhß phân ... 92

3.3.2. Tấn cơng đái nghßch trên tập dữ liệu MNIST ... 95

3.3.3. Tấn cơng đái nghßch trên tập dữ liệu CIFAR-10 ... 98

3.4. Tấn công đái nghßch trên m¿ng n¡-ron xung nhß phân ... 103

3.4.1. Tính tốn gradient cho BSNN ... 104

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

3.4.2. Cài đặt thử nghiệm tấn cơng đái nghßch ... 108

3.4.3. Kết q tấn cơng và phịng thÿ đái nghßch trên BSNN ... 110

3.5. Kết luận ch°¡ng 3 ... 113

<b>DANH MĀC CÁC CƠNG TRÌNH KHOA HàC ĐÃ CƠNG BÞ ... 118</b>

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

ÿ Hệ sá tỉ lệ cÿa bá t¿o sá stochastic (SNG) �㔑 Hệ sá damping cÿa thuật toán gradient thay thế �㔎 Đá lệch chu¿n, lãp chu¿n hóa theo batch (BN) �㔇 Giá trß trung bình, lãp chu¿n hóa theo batch (BN)

ÿ Tác đá hác (learning rate)

�㔏 Hệ sá đ°ÿc thêm vào mÁu sá để tránh chia 0 Ą Hệ sá nhiễu/ Kớch thóc bóc nhiu

<b> </b> H sỏ khỗi to tấn cơng đái nghßch

Ă Tham sá chia tỷ lệ, lãp chu¿n hóa theo batch (BN) ā Tham sá dßch chuyển, lãp chu¿n hóa theo batch (BN) ÿ hoc Y Nhón ỳng (truth label)

ỵ hoc X Ành đầu vào ch°a thêm nhiễu ý hoặc ÿ Bá tráng sá cÿa mơ hình

ÿ Là sá ngÁu nhiên trong khoÁng [2ÿ; +ÿ]

Ć Là sá ngÁu nhiên trong khoÁng min(X) và max(X) Ą Sá l°ÿng tráng sá t¿i mát lãp

ā Tổng sá tráng sá trong mát phép tính MAC

ÿ H sỏ tớch ly ti lóp u tiờn ỵ Hàm mất mát cÿa mơ hình (Loss) �㔶 Sá lãp phân lo¿i cÿa tập dữ liệu

MP2 Lãp Max Pooling, kích th°ãc nhân là 2 × 2

Ā̅ <sup>Ng°ỡng thay thế cÿa n¡-ron IF </sup>

Ā<sub>Ă</sub> Hệ sá tỉ lệ (trung bình cÿa các giá trß tráng sá tuyt ỏi

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

ca lóp )

ỵ<sub></sub><sup>ỵ</sup> nh u vo ó thờm nhiu ỗ ln lp th ỵ<sub>21</sub><small>ỵ</small> nh u vo ó thờm nhiu ỗ ln lp th 2 1 ỵ<small>ỵ</small> nh u vo ó thờm nhiu

<sub>ý1</sub> u vo ca lóp u tiờn

<sub>ý1</sub><small>180ỵ</small> Bá tráng sá t¿i lãp đầu tiên đ°ÿc xoay 180 đá ā<sub>Ă</sub><small>ā21</small> Điện thế màng cÿa lãp Ă t¿i b°ãc thåi gian ā 2 1 ā<sub>Ă</sub><sup>ā</sup> Điện thế màng cÿa lãp Ă t¿i b°ãc thåi gian ā Ă<sub>Āý_Ąÿÿā/āĀ</sub> Tổng sá tráng sá cÿa lãp kết nái đầy đÿ Ă<sub>ýąĄă_Ąÿÿā/āĀ</sub> Tổng sá tráng sá cÿa lãp tích chập

ā<sub>1</sub> Tổng sá tráng sá có giá trß 21 trong mát MAC

ý <sub>Ă</sub> Bá tráng sá nhß phân cÿa lãp Ă

ý<sub>Ă</sub><small>ā</small> Bá tráng sá nhß phân cÿa lãp Ă t¿i b°ãc thåi gian ā ý<sub>ÿĀ</sub><small>ā</small> Bá tráng sá nhß phân [21, +1]

Ă̅<sub>ÿ</sub><small>ā</small> Điện thế màng thay thế

AI Trí tuệ nhân t¿o (Artificial Intelligence) ALU Đ¡n vß lô-gic sá hác (Arithmetic Logic Unit) ANN M¿ng n¡-ron nhân t¿o (Artificial Neural Network) BN Lãp chu¿n hóa theo batch (Batch Normalization) BNN M¿ng n¡-ron nhß phân (Binarized Neural Network) BPTT Backpropagation Through Time

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

BSNN <sup>M¿ng n¡-ron xung nhß phân (Binarized Spiking Neural </sup>Network)

CIFAR Canadian Institute For Advanced Research CNN <sup>M¿ng n¡-ron tích chập (Convolutional Neural </sup>

Network)

Conv Lãp tích chập (Convolutional)

Deep SNN M¿ng n¡-ron xung sâu (Deep Spiking Neural Network)

DNN M¿ng n¡-ron sâu (Deep Neural Network)

DRAM <sup>Bá nhã truy cập ngÁu nhiên đáng (Dynamic Random </sup>Access Memory)

Edge-AI <sup>Thiết bß biên có sử dāng trí tuệ nhân t¿o (Edge </sup>Artificial Intelligence)

EFAT Enhanced Fast Adversarial Training FAT Fast Adversarial Training

FC Lãp kết nái đầy đÿ (Fully Connected) FGSM Fast Gradient Sign Method

GAN <sup>M¿ng đái nghßch t¿o sinh (Generative Adversarial </sup>Networks)

GIS <sup>Hệ tháng thơng tin đßa lý (Geographic Information </sup>System)

IF Tích lũy và phát xung (Integrate-and-Fire)

IMC Tính tốn trong bá nhã (In-Memory Computing) IMC Tính tốn trong bá nhã (In-Memory Computing) IoT Internet v¿n vật (Internet of Things)

LIF <sup>Tích lũy và kích ho¿t có rị rỉ (Leaky </sup>Fire)

Integrate-and-MAC Phép nhân cáng (Multiply-Accumulate)

MLP Lãp Perceptron nhiều tầng (Multi-layer Perceptron) MNIST <sup>Modified National Institute of Standards and </sup>

Technology

</div><span class="text_page_counter">Trang 11</span><div class="page_container" data-page="11">

PCM Bá nhã thay đổi pha (Phase-changing Memory) PGD Projected Gradient Descent

QR code Mã đáp āng nhanh (Quick-Response code)

RAM Bá nhã truy cập ngÁu nhiên (Random Access Memory) ReLU Đ¡n vß tuyến tính chỉnh l°u (Rectified Linear Unit) ReRAM Bá nhó truy cp ngu nhiờn in trỗ (Resistive RAM) RNN M¿ng n¡-ron hồi quy (Recurrent Neural Network) SD GiÁm gradient (Gradient Descent)

SG Gradient thay thế (Surrogate Gradient) SGD Stochastic Gradient Descent

SNG Bá t¿o sá stochastic (Stochastic Number Generator) SNN M¿ng n¡-ron xung (Spiking Neural Network)

SOT-MRAM Spin Orbit Torque-Magnetoresistive RAM SRAM <sup>Bá nhã truy cập ngÁu nhiên tĩnh </sup>

(Static Random Access Memory) STDP Spike Timing–Dependent Plasticity

STT-BSNN <sup>A Binarized Spiking Neural Network based on </sup>STT-MRAM

STT-MRAM <sup>Spin-transfer torque Magnetoresistive Random Access </sup>Memory

UAV <sup>Ph°¡ng tiện bay không ng°åi lái </sup>(Unmanned Aerial Vehicle)

UGV <sup>Ph°¡ng tiện mặt đất không ng°åi lái </sup>(Unmanned Ground Vehicle)

USV <sup>Ph°¡ng tiện mặt n°ãc không ng°åi lái </sup>(Unmanned Surface Vehicle)

UUV <sup>Ph°¡ng tiện không ng°åi lái d°ãi biển </sup>(Unmanned Undersea Vehicle)

</div><span class="text_page_counter">Trang 12</span><div class="page_container" data-page="12">

<b>DANH MĀC CÁC THUÀT NGĀ </b>

BÁn đồ đặc tr°ng (Feature map) Thông tin đặc tr°ng cÿa dữ liệu sau mßi lãp cÿa m¿ng n¡-ron nhân t¿o

Bá nhã bền vững tiềm năng (Emerging Non-Volatile Memory)

Là lo¿i bá nhã không mất dữ liệu ngay cÁ khi không đ°ÿc cấp nguồn điện thc nhóm các cơng nghệ tiềm năng

Bá nhã khơng bền vững (Volatile Memory)

Các lo¿i bá nhã sẽ mất dữ liệu khi không đ°ÿc cấp nguồn điện

Bāc t°ång bá nhã (Memory wall)

Rào cÁn cÿa bá nhã trong hệ tháng do phÁi đác và ghi dữ liệu thấp h¡n khÁ năng tính tốn

B°ãc thåi gian (Time-step) Sá lần tích lũy trong m¿ng n¡-ron xung Đầu ra đúng (Ground truth) Là giá trß đúng cÿa đầu ra tập dữ liệu Điện thế màng

Huấn luyện (Training) Quá trình tìm ra bá tráng sá tái °u cÿa các m¿ng n¡-ron nhân t¿o

KhÁ năng phòng thÿ (Robustness)

Là khÁ năng cÿa m¿ng n¡-ron có thể duy trì đá chính xác tr°ãc các tấn cơng đái nghßch

Lãp ¿n (Hidden layer) Cỏc lóp n ỗ gia ca mng n¡-ron nhân t¿o

Lãp chu¿n hóa theo batch (Batch normalization)

Mát lãp cÿa m¿ng n¡-ron nhân t¿o dùng để chu¿n hóa dữ liệu theo nhóm (batch) Lãp cuái cùng (Last layer) Là lãp cuái cùng (lãp đầu ra) cÿa m¿ng

n¡-ron nhân t¿o

Lãp đầu ra (Output layer) Là lãp cuái cùng (lãp đầu ra) cÿa m¿ng n¡-ron nhân t¿o

</div><span class="text_page_counter">Trang 13</span><div class="page_container" data-page="13">

Lãp đầu tiên (First layer) Là lãp đầu tiên (lãp đầu vào) cÿa m¿ng n¡-ron nhân t¿o

Lãp đầu vào (Input layer) Là lãp đầu tiên (lãp đầu vào) cÿa m¿ng n¡-ron nhân t¿o

Lãp gáp cực đ¿i (Max pooling) Mát lãp cÿa m¿ng n¡-ron nhân t¿o dùng để giÁm kích th°ãc cÿa đầu vào bằng cách lựa chán giá trß lãn nhất

Lãp gáp trung bình (Average pooling)

Mát lãp cÿa m¿ng n¡-ron nhân t¿o dùng để giÁm kích th°ãc cÿa đầu vào bằng cách lựa chán giá trß trung bình

Lãp kết nái đầy đÿ (Fully connected layer)

Mát lãp cÿa m¿ng n¡-ron nhân t¿o vãi tất cÁ n¡-ron đ°ÿc kết nái vãi nhau

Lãp tích chập

(Convolutional layer)

Mát lãp trích xuất đặc tr°ng cÿa m¿ng n¡-ron nhân t¿o, sử dāng các phép tính tích chập

Mã hóa tỉ lệ (Rate coding) Mát ph°¡ng pháp mã hóa Ánh tĩnh thành các xung theo thåi gian, dùng cho các m¿ng n¡-ron xung

M¿ch đác dữ liệu đã hiệu chỉnh (Modified Sense-Amps)

Là mát thành phần cÿa kiến trúc tính tốn trong bá nhã

Ng°ỡng phát (Firing threshold) Giá trß ng°ỡng mà n¡-ron xung sẽ quyết đßnh có t¿o ra xung hay khơng

Nhân bá lác (Filter kernel) Là mát ma trận sử dāng để lác (trích xuất) đặc tr°ng đầu vào

Q trình lan truyền ng°ÿc (Backpropagation process)

Q trình tính tốn gradient phāc vā huấn luyện m¿ng n¡-ron nhân t¿o

Quá trình lan truyền xi (Feedforward process)

Q trình tính tốn giá trß mất mát cÿa m¿ng n¡-ron nhân t¿o trong huấn luyện hoặc suy luận

Suy luận (Inference) Quá trình thực thi nhận d¿ng cÿa các m¿ng n¡-ron nhân t¿o

Mất mát (Loss) Giá trß sai lệch do m¿ng n¡-ron t¿o ra

</div><span class="text_page_counter">Trang 14</span><div class="page_container" data-page="14">

giữa đầu ra cÿa m¿ng và đầu ra đúng Tấn cơng đái nghßch

(Adversarial attack)

Ph°¡ng pháp gây nhiễu vào đầu vào làm cho m¿ng n¡-ron đ°a ra kết quÁ sai Tích hÿp và phát xung

</div><span class="text_page_counter">Trang 15</span><div class="page_container" data-page="15">

<b>Trang </b>

BÁng 2.1 Cấu trúc m¿ng n¡-ron và tham sá huấn luyện ... 72BÁng 2.2 Đá chính xác cÿa FBW-SNN vãi các hệ sá tỉ lệ khác nhau ... 75BÁng 2.3 Đá chính xác phân lo¿i cÿa BSNN vãi các cấu trúc m¿ng

khác nhau ... 77BÁng 2.4 Đá chính xác cÿa NUTS-BSNN Ánh hỗng bỗi tớnh ngu nhiờn 78Bng 2.5 So sánh đá chính xác cÿa các BSNN ... 79BÁng 2.6 Sá l°ÿng tráng sá và sá phép tính MAC cÿa mơ hình

FBW-SNN vãi mát b°ãc thåi gian ... 81BÁng 3.1 Tấn cơng đái nghßch trên mơ hình BNN ... 98BÁng 3.2 Cấu trúc m¿ng và các tham sá huấn luyện BSNN ... 108

</div><span class="text_page_counter">Trang 16</span><div class="page_container" data-page="16">

<b>Trang </b>

Hình 1.1 Trí tuệ nhân t¿o, hác máy và hác sâu ... 9

Hình 1.2 Bài tốn phát hiện đái t°ÿng āng dāng trong thực tế ... 13

Hình 1.3 Các tác vā cÿa bài toán phát hiện đái t°ÿng ... 15

Hình 1.4 Phân tầng các lo¿i thiết bß ... 23

Hình 1.5 Minh háa phép nhân và phép cáng đ°ÿc thay thế bằng các phép tính theo bit XNOR và POPCOUNT ... 24

Hình 1.6 Minh háa ho¿t đáng mát n¡-ron cÿa SNN ... 27

Hình 1.7 Sự khác nhau giữa ANN và SNN ... 29

Hình 1.8 So sánh các khái c¡ bÁn cÿa BNN và BSNN ... 32

Hình 1.9 Minh háa tấn cơng đái nghßch [32] ... 33

Hình 1.10 Nguyên lý cÿa tấn cơng đái nghßch ... 34

Hình 2.1 Các khái c¡ bÁn BSNN (minh háa t¿i mát b°ãc thåi gian) ... 48

Hình 2.2 Các khái c¡ bÁn cÿa FBW-SNN ... 50

Hình 2.3 Ho¿t đáng cÿa các xung t¿i n¡-ron IF ... 51

Hình 2.4 Bá t¿o sá ngÁu nhiên cho các tráng sá ... 53

Hình 2.5 Mã hóa tỉ lệ cho hình Ánh đầu vào ... 54

Hình 2.6 Các khái lãp đầu vào cÿa BSNN: a) BSNN vãi các tráng sá thực; b) FBW-BSNN vãi các tráng sá nhß phân; c) NUTS-BSNN vãi K bá tráng sá nhß phân ... 56

Hình 2.7 Ành đầu vào cÿa tập dữ liệu CIFAR-10 đ°ÿc mã hóa theo mã hóa tỉ lệ vãi các b°ãc thåi gian khác nhau ... 59

Hình 2.8 Hai kiến trúc In-Memory Computing. a) Bulk bitwise Computing b) Crossbar Array Computing [11] ... 64

Hình 2.9 Thành phần MAC lãp tích chập cÿa BSNN ... 67

Hình 2.10 Mát kiến trúc IMC dự đoán sử dāng mÁng XNOR ... 68

</div><span class="text_page_counter">Trang 17</span><div class="page_container" data-page="17">

Hình 2.11 Thực thi t¿i lãp đầu vào cÿa NUTS-BSNN ... 70

Hình 2.12 Đá chính xác phân lo¿i cÿa BSNN vãi các tráng sá giá trß thực t¿i lãp đầu vào và đầu ra khi thay đổi b°ãc thåi gian ... 73

Hình 2.13 Phân bá cÿa bá tráng sá lãp đầu vào ... 74

Hình 2.14 Đá chính xác cÿa NUTS-BSNN vãi K thay đổi ... 76

Hình 3.1 Phân bá cÿa các tập giá trß hệ sá Ą ... 91

Hình 3.2 Kiến trúc mơ hình BNN sử dāng LeNet-5 ... 92

Hình 3.3 Hỡnh nh u vo dói nh hỗng ca tn cụng đái nghßch trên tập dữ liệu MNIST. (a) MÁu s¿ch, (b) FGSM, and (c) PGD ... 93

Hình 3.4 Kiến trúc mơ hình BNN sử dāng NiN ... 94

Hình 3.5 Hỡnh nh u vo dói nh hỗng ca tn cụng đái nghßch trên tập dữ liệu CIFAR-10 ... 95

Hình 3.6 BNN đ°ÿc huấn luyện vãi FAT tr°ãc tấn cơng đái nghßch FGSM và PGD vãi hệ sá ε thay đổi ... 97

Hình 3.7 So sánh kết quÁ tấn cơng đái nghßch trên DNN và BNN ... 99

Hình 3.8 So sánh kết quÁ tấn cơng đái nghßch PGD vãi hệ sá nhiễu thay đổi trên BNN ... 101

Hình 3.9 So sánh kết q tấn cơng đái nghßch PGD vãi hệ sá kích th°ãc b°ãc thay đổi trên BNN ... 102

Hình 3.10 So sánh kết q tấn cơng đái nghßch PGD trên BNN đ°ÿc huấn luyện vãi FAT và EFAT ... 103

Hình 3.11 Kiến trúc FBW-SNN cho tập dữ liệu Fashion-MNIST ... 105

Hình 3.12 Minh háa mát sá ví dā tấn cơng đái nghßch trên tập dữ liệu Fashion-MNIST ... 107

Hình 3.13 Kết quÁ tấn công FGSM trên BSNN ... 111

Hình 3.14 Kết q tấn cơng PGD trên BSNN ... 112

</div><span class="text_page_counter">Trang 18</span><div class="page_container" data-page="18">

Hác sâu ngày càng đ°ÿc āng dāng sâu ráng trong nhiều lĩnh vực trong cuác sáng. Sự phát triển cÿa các thuật toán hác sâu song hành vãi sự phát triển cÿa các nền tÁng phần cāng tính tốn nh° CPU và GPU. Ngày nay vãi sự phát triển cÿa phần cāng, GPU hay CPU có thể tính tốn nhiều tỉ phép tính trên giây giúp cho việc thực thi các thuật tốn hác sâu giÁm đá trễ tính tốn. Do đó các thuật toán hác sâu ngày càng đ°ÿc đ°a vào āng dāng trong đåi sáng phổ biến h¡n. Các āng dāng sử dāng hác sâu trên nền tÁng hệ tháng nhúng là mát xu thế đang phát triển m¿nh mẽ trong thåi gian gần đây. Đặc biệt là các hệ tháng nhúng sử dāng các thiết bß xử lý dữ liệu t¿i nguồn dữ liệu hay còn gái là thiết bß biên có āng dāng trí tuệ nhân t¿o (Edge-AI). Lÿi ích cÿa các thiết bß Edge-AI mang l¿i là giÁm thåi gian đáp āng, giÁm chi phí m¿ng và bÁo mật dữ liệu do các thiết bß này xử lý dữ liệu và đáp āng ngay t¿i nguồn dữ liệu sử dāng các thuật tốn trí tuệ nhân t¿o. Ng°ÿc l¿i vãi lÿi ích mang l¿i thì các thiết bß Edge-AI yêu cầu sử dāng tài nguyên h¿n chế và tiết kiệm năng l°ÿng để có thể kéo dài thåi gian ho¿t đáng do các thiết bß th°ång đ°ÿc triển khai xa trung tâm và sá l°ÿng rất lãn. Các thiết bß Edge-AI ngày nay đ°ÿc āng dāng ráng rãi trong nhiều lĩnh vực, trong đó có lĩnh vực qn sự qc phịng. Edge-AI đ°ÿc āng dāng trong thơng minh hóa vũ khí trang bß. Trong đó, các thiết bß xử lý trung tâm cho nhiều lo¿i vũ khí, đặc biệt là các thiết bß khơng ng°åi lái có thể sử dāng Edge-AI nh° mát thiết bß xử lý thông minh mang l¿i hiệu quÁ cao trong chiến đấu.

Hác sâu đ°ÿc triển khai trên các thiết bß biên rất phổ biến hiện nay nh° trên các thiết bß khơng ng°åi lái, các hệ tháng quang điện tử, các hệ tháng cÁm biến thông minh, hệ tháng kiểm sốt ra vào tự đáng... Các thiết bß này sử dāng hác sâu xử lý các tác vā nh° phát hiện đái t°ÿng, phân lo¿i Ánh, nhận d¿ng Ánh trong thß giác máy tính. Các mơ hình hác sâu thơng th°ång đ°ÿc sử dāng là các

</div><span class="text_page_counter">Trang 19</span><div class="page_container" data-page="19">

mơ hình m¿ng n¡-ron nhân t¿o vãi nhiều lãp ¿n. Sá lãp ¿n cÿa m¿ng càng tăng thể hiện đá sâu cÿa mơ hình, māc đích tăng đá chính xác chung cho mơ hình nh°ng cũng làm tăng kích th°ãc (đá phāc t¿p) cÿa mơ hình. Các mơ hình m¿ng n¡-ron nhân t¿o có sá l°ÿng lãp m¿ng càng lãn dÁn đến sá l°ÿng tráng sá cÿa mơ hình cũng tăng, điều này làm cho việc thực thi mơ hình yêu cầu bá nhã l°u trữ lãn và sá l°ÿng phép tính tăng t°¡ng āng. Khi u cầu tính tốn tăng dÁn tãi năng l°ÿng tiêu thā chung cÿa thiết bß cũng tăng theo. Do đó, nhu cầu nghiên cāu các mơ hình m¿ng n¡-ron gán nhẹ và u cầu tính tốn thấp là cần thiết h°ãng tãi phát triển các phần cāng cho các thiết bß Edge-AI.

Mát vấn đề nữa là khi sử dāng các thuật toán hác sâu vào các āng dāng trong đåi sáng đòi hòi ỏ chớnh xỏc cao v khụng bò nh hỗng nhiễu có chÿ đích (hay bß tấn cơng) để đ°a ra các kết q sai. Các mơ hình hác sâu đ°ÿc āng dāng ráng rãi nh° hiện nay mát phần nhå đá chính xác khi thực hiện các tác vā phāc t¿p mà các thuật toán hác máy tr°ãc đây ch°a đ¿t đ°ÿc. Khi đ°ÿc đ°a vào āng dāng ráng rãi, mát câu hßi lãn đặt ra là có khi nào các mơ hình hác sâu bß tấn cơng để làm sai lệch kết quÁ hay không. Gần đây, tấn cơng đái nghßch đã đ°ÿc các nhà khoa hác đ°a ra nh° là mát ph°¡ng pháp có thể đánh lừa các m¿ng n¡-ron nhân t¿o khi thực thi mát tác vā quan tráng là nhận d¿ng đái t°ÿng (phân lo¿i Ánh). Ph°¡ng pháp tấn cơng đái nghßch thêm mát l°ÿng nhiễu lo¿n nhß vào Ánh đầu vào nh°ng có thể làm cho m¿ng n¡-ron nhân t¿o nhận d¿ng sai khá trầm tráng. Các mơ hình m¿ng n¡-ron nhân t¿o h°ãng tãi các thiết bß Edge-AI nh° m¿ng n¡-ron nhß phân v mng nĂ-ron xung nhò phõn cng chòu nh hỗng bỗi tn cụng ỏi nghòch do tớnh cht tuyn tớnh cÿa chúng. Do đó, nghiên cāu ph°¡ng pháp cÁi thiện khÁ năng cháng đái nghßch cho các mơ hình m¿ng n¡-ron phù hÿp vãi phần cāng yêu cầu khắt khe về tài nguyên và năng l°ÿng là rất cần thiết, là mát b°ãc quan tráng trong quá trình thiết kế m¿ng n¡-ron nhân t¿o vào các āng dāng trong đåi sáng.

</div><span class="text_page_counter">Trang 20</span><div class="page_container" data-page="20">

Từ hai yêu cầu cấp thiết cÿa các āng dāng có sử dāng hác sâu triển khai trên thiết bß biên là tiết kiệm tài nguyên, năng l°ÿng và cÁi thiện khÁ năng cháng tấn cơng đái nghßch, h°ãng nghiên cāu phát triển mát sá kỹ thuật cÁi thiện hiệu năng m¿ng hác sâu trên nền tÁng phần cāng nhúng là rất quan tráng. Do đó luận án này tập trung vào nghiên cāu mát sá mơ hình m¿ng n¡-ron sâu có thể phát triển trên các phần cāng yêu cầu tài nguyên h¿n chế và tiết kiệm năng l°ÿng h°ãng tãi các thiết bß Edge-AI.

<b>2. Māc tiêu nghiên cąu căa luÁn án </b>

Māc tiêu nghiên cāu cÿa luận án tập trung đề xuất kiến trúc m¿ng hác sâu và ph°¡ng pháp cÁi thiện khÁ năng phịng thÿ đái nghßch cho m¿ng hác sâu phù hÿp vãi phát triển phần cāng nhúng yêu cầu tài nguyên h¿n chế và tiết kiệm năng l°ÿng h°ãng tãi các thiết bß Edge-AI. Từ đó māc tiêu cÿa nghiên cāu cÿa luận án là:

+ Phát triển mơ hình m¿ng n¡-ron xung sâu vãi tất cÁ tráng sá đ°ÿc nhß phân āng dāng cho tác vā phân lo¿i Ánh.

+ Phát triển mát kiến trúc tính tốn trong bá nhã để thực thi mơ hình m¿ng n¡-ron xung nhß phân, h°ãng tãi các thiết bß Edge-AI.

+ Phát triển mát ph°¡ng pháp giúp cÁi thiện khÁ năng phịng thÿ cho các m¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân tr°ãc các tấn cơng đái nghßch.

<b>3. Đßi t°ÿng và ph¿m vi nghiên cąu </b>

<i><b>Đối tượng nghiên cứu </b></i>

Đái t°ÿng nghiên cāu cÿa luận án là mát sá m¿ng n¡-ron sâu thế hệ tiếp theo, đßnh h°ãng phát triển phần cāng cho hệ tháng nhúng yêu cầu giãi h¿n về tài nguyên và tiết kiệm năng l°ÿng. Tập trung tráng tâm vào mơ hình m¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân.

</div><span class="text_page_counter">Trang 21</span><div class="page_container" data-page="21">

<i><b>Ph¿m vi nghiên cứu </b></i>

Luận án tập trung nghiên cāu đề xuất mơ hình m¿ng n¡-ron xung nhß phân; nghiên cāu các ph°¡ng pháp cÁi thiện khÁ năng phịng thÿ cho các mơ hình m¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân tr°ãc các tấn cơng đái nghßch. Ph¿m vi và điều kiện nghiên cāu cÿa luận án gồm có: M¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân; Ph°¡ng pháp nhß phân hóa nh° sá stochastic, các ph°¡ng pháp nhß phân hóa cÿa m¿ng n¡-ron nhß phân; Kiến trúc tính tốn trong bá nhã; Ph°¡ng pháp cÁi thiện khÁ năng phòng thÿ cho các mơ hình m¿ng n¡-ron tr°ãc các tấn cơng đái nghßch.

<b>4. Nßi dung nghiên cąu </b>

Để hồn thành đ°ÿc các māc tiêu nghiên cāu đề ra theo h°ãng nghiên cāu trong ph¿m vi nghiên cāu, nái dung chính cÿa luận án là:

- Nghiên cāu các ph°¡ng pháp nhß phân hóa tráng sá cÿa mơ hình. Nghiên cāu đề xuất mơ hình m¿ng n¡-ron xung vãi tồn bá tráng sá đ°ÿc nhß phân hóa. Nghiên cāu kiến trúc tính tốn trong bá nhã từ đó đề xuất kiến trúc tính tốn trong bá nhã để thực thi mơ hình m¿ng n¡-ron xung nhß phân.

- Nghiên cāu các ph°¡ng pháp tấn cơng và phịng thÿ đái nghßch trên các mơ hình m¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân. Đề xuất mát ph°¡ng pháp huấn luyện đái nghßch giúp cÁi thiện khÁ năng phịng thÿ đái nghßch cho các mơ hình m¿ng n¡-ron tr°ãc các tấn cơng đái nghßch.

- Nghiên cāu thực nghiệm trên các tập dữ liệu phân lo¿i Ánh khác nhau nh° MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100.

<b>5. Ph°¢ng pháp nghiên cąu </b>

Nghiên cāu tổng quan và lý thuyết về kiến trúc các mơ hình m¿ng hác sâu phù hÿp vãi phần cāng yêu cầu tiết kiệm tài nguyên và năng l°ÿng. Tổng hÿp tình hình nghiên cāu và đánh giá các cơng trình đã cơng bá cùng h°ãng

</div><span class="text_page_counter">Trang 22</span><div class="page_container" data-page="22">

nghiên cāu để tìm ra các thiếu sót hoặc các bài toán ch°a đ°ÿc giÁi quyết triệt để. Từ đó đ°a ra đßnh h°ãng nghiên cāu cÿa luận án nhằm giÁi quyết các vấn đề còn tồn đáng đó. Tính tốn, lập trình thực nghiệm bằng ngơn ngữ lập trình Python sử dāng Pytorch framework để đánh giá các mơ hình, kỹ thuật nghiên cāu đ°ÿc đề xuất.

<i>Ý nghĩa khoa học của nghiên cứu:</i>Nghiên cāu góp phần thúc đ¿y phát triển các mơ hình hác sâu gán nhẹ h°ãng đến phát triển phần cāng. Luận án đề xuất mơ hình m¿ng n¡-ron xung vãi tất cÁ tráng sá đ°ÿc nhß phân hóa h°ãng tãi phát triển phần cāng dựa trên kiến trúc tính tốn trong bá nhã. Thêm nữa, luận án đề xuất mát ph°¡ng pháp cÁi thiện khÁ năng phịng thÿ cho m¿ng n¡-ron nhß phân và m¿ng n¡-ron xung nhß phân tr°ãc các tấn cơng đái nghßch.

<i>Ý nghĩa thực tiễn của nghiên cứu: Kết quÁ luận án có thể āng dāng hiệu </i>

quÁ trên các hệ tháng có thực thi các thuật toán hác sâu yêu cầu tiết kiệm năng l°ÿng và tài nguyên nh° các hệ tháng không ng°åi lái, các cÁm biến thơng minh, các thiết bß đeo đ°ÿc và các thiết bß xử lý trí tuệ nhân t¿o t¿i biên (Edge-AI). Luận án cũng giúp cÁi thiện đá chính xác cho các mơ hình hác sâu thực thi trên các thiết bß tr°ãc các tấn cơng đái nghßch.

</div><span class="text_page_counter">Trang 23</span><div class="page_container" data-page="23">

phổ biến trong các āng dāng có sử dāng hác sâu. Trong đó tác vā nhận d¿ng đái t°ÿng hay còn gái là phân lo¿i Ánh là mát tác vā quan tráng. Tr°ãc khi trình bày về mát sá m¿ng hác sâu phù hÿp vãi phần cāng nhúng tiết kiệm năng l°ÿng và tài nguyên h¿n chế, ch°¡ng này cũng trình bày tổng quan về hệ tháng nhúng. Phần cuái cÿa Ch°¡ng 1 trình bày tình hình nghiên cāu và các vấn đề tồn đáng từ đó đ°a ra đßnh h°ãng nghiên cāu cÿa luận án.

Ch°¡ng 2. M¿ng n¡-ron xung nhß phân h°ãng tãi các thiết bß Edge-AI

Trong Ch°¡ng 2 cÿa luận án trình bày đề xuất hai mơ hình m¿ng n¡-ron xung vãi tất cÁ tráng sá đ°ÿc nhß phân hóa. Các tráng sá cÿa lãp đầu tiên và lãp cuái cùng cÿa mơ hình đ°ÿc biểu diễn l¿i thành chi nhß phân stochastic, trong khi các tráng sá t¿i các lãp ¿n đ°ÿc xấp xỉ theo ngun lý XNOR-Net. Hai mơ hình này đã đ°ÿc huấn luyện thành công bằng ph°¡ng pháp huấn luyện trực tiếp trên các tập dữ liệu đánh giá phổ biến nh°: Fasion-MNIST, CIFAR-10 và CIFAR-100. Huấn luyện thnh cụng hai mụ hỡnh BSNN ny mỗ ra kh năng phát triển phần cāng nhúng yêu cầu khắt khe vãi tài nguyên và năng l°ÿng tiêu thā nh° các thiết bß Edge-AI. Để thực thi hai mơ hình này trên phần cāng, trong Ch°¡ng 2 cÿa luận án đề xuất mát kiến trúc phần cāng dựa trên tính tốn trong bá nhã thực thi các mơ hình BSNN đ°ÿc đề xuất h°ãng tãi āng dāng cho các thiết bß Edge-AI. Kiến trúc tính tốn trong bá nhã đ°ÿc xây dựng dựa trên các mÁng nhã có các phép tính lô-gic XNOR.

Ch°¡ng 3. Ph°¡ng pháp cÁi thiện khÁ năng phịng thÿ m¿ng n¡-ron hác sâu tr°ãc các tấn cơng đái nghßch

Trong Ch°¡ng 3 cÿa luận án sẽ tập trung giÁi quyết vấn đề tồn đáng về các tấn cơng và phịng thÿ đái nghßch trên các mơ hình BNN và BSNN. Luận án sẽ khám phá khÁ năng phịng thÿ cÿa các mơ hình BNN và BSNN tr°ãc các tấn cơng đái nghßch. Đồng thåi nghiên cāu ph°¡ng pháp cÁi thiện khÁ năng phòng thÿ cho các mơ hình này, đề xuất mát ph°¡ng pháp huấn luyện đái

</div><span class="text_page_counter">Trang 24</span><div class="page_container" data-page="24">

nghßch giúp cÁi thiện khÁ năng phòng thÿ cho BNN và BSNN cháng l¿i các tấn cơng đái nghßch trên các tập dữ liệu MNIST, Fashion-MNIST và CIFAR-10. Kết quÁ thực nghiệm chāng tß ph°¡ng pháp huấn luyện đái nghßch có hiệu q cÁi thiện khÁ năng phịng thÿ cho các mơ hình BNN và BSNN khi thử nghiệm các tấn cơng đái nghßch nh° FGSM và PGD. Trong Ch°¡ng 3 là lần đầu tiên đ°a ra các kết quÁ nghiên cāu khÁ năng tấn cơng và phịng thÿ trên BSNN.

</div><span class="text_page_counter">Trang 25</span><div class="page_container" data-page="25">

<i><b>1.1.1. Lịch sử phát triển trí tuệ nhân t¿o </b></i>

Trong những năm gần đây, trí tuệ nhân t¿o (Artificial Intelligence - AI) là mát chÿ đề nóng trong các h°ãng nghiên cāu và āng dāng. Trí tuệ nhân t¿o đã đ°ÿc sự quan tâm rất lãn từ các nhà nghiên cāu cũng nh° các công ty cơng nghệ trong n°ãc và trên thế giãi. Khi tìm kiếm vãi cām từ <research papers on artificial intelligence= trên google có khng 810 triệu kết q tính đến tháng 10/2023 cho thấy trí tuệ nhân t¿o thực sự là mát trong những mũi nhán cÿa cuác cách m¿ng 4.0.

Khỏi nim v ý tỗng v trớ tu nhõn to xuất hiện rất sãm từ những năm đầu cÿa thế k 20. Nhng nú thc s c ỏnh du bỗi mát buổi hái thÁo vào

</div><span class="text_page_counter">Trang 26</span><div class="page_container" data-page="26">

năm 1956 t¿i đ¿i hác Dartmouth, t¿i đây ng°åi ta đã dự đốn sẽ có mát cß máy có trí thơng minh nh° con ng°åi trong t°¡ng lai. Tr°ãc đó mát năm, khái niệm về trí tuệ nhân t¿o đã đ°ÿc giói thiu bỗi John McCarthy cựng cỏc cỏng s cng ti i hỏc Dartmouth. Do giói hn bỗi s phỏt triển cÿa các cơng cā tính tốn ch°a theo kßp u cầu thực thi các thuật tốn nên trí tuệ nhân t¿o từ 1956 tãi 1974 là khơng có cát mác nào đáng nhã. Từ năm 1974 thåi kỳ phát triển bùng nổ m¿nh mẽ cÿa máy tính, nhiều bá xử lý m¿nh h¡n, bá nhã l°u trữ lãn h¡n đ°ÿc ra đåi đã giúp thực thi các thuật toán trí tuệ nhân t¿o tát h¡n. Điều này giúp cho sự phát triển cÿa trí tuệ nhân t¿o trong những năm tiếp theo đ°ÿc đ¿y m¿nh h¡n nữa.

<small>Các kỹ thuật cho phép máy tính có thể sao chép các </small>

<small>Các kỹ thuật AI cho phép các máy tính học để gi¿i quyết mßt cơng vißc cÿ thể</small>

Hình 1.1 Trí tuệ nhân t¿o, hác máy và hác sâu

Trí tuệ nhân t¿o thực sự bùng nổ bắt đầu từ thập niên 80 cÿa thế kỷ 20, khi khái niệm hác máy ra đåi (Machine Learning - ML) cùng vãi sự phát triển cÿa công nghệ máy tính. Từ năm 1980 đến 2010 là khoÁng thåi gian phát triển cÿa các thuật toán hác máy và các hãng công nghệ lãn đổ rất nhiều tiền vào đầu t° cho trí tuệ nhân t¿o. Mát sá thuật tốn phổ biến cÿa hác máy đ°ÿc cơng bá trong thåi gian này có thể kể tãi: Các thuật toán hồi quy (Regression

</div><span class="text_page_counter">Trang 27</span><div class="page_container" data-page="27">

Algorithms) nh° hồi quy tuyến tính (Linear Regression), hồi quy logistic (Logistic Regression); Các thuật toán dựa trên mÁu (Instance-based Algorithms) nh° k-Nearest Neighbor (kNN – k láng giềng gần nhất), Learning Vector Quantization (LVQ), Locally Weighted Learning (LWL); Thuật toán chu¿n hoá (Regularization Algorithms) nh° Least-Angle Regression (LARS), Least Absolute Shrinkage and Selection Operator (LASSO); Các thuật tốn cây quyết đßnh (Decision Tree Algorithms) nh° Classification and Regression Tree (CART), Iterative Dichotomiser 3 (ID3); Các thuật toán Bayes (Bayesian Algorithms); Các thuật toán m¿ng n¡-ron nhân t¿o (Artificial Neural Network Algorithms); Các thuật toán hác sâu (Deep Learning Algorithms).

Thåi kỳ phát triển tiếp theo cÿa trí tuệ nhân t¿o vãi sự bùng nổ cÿa các thuật toán hác sâu dựa trên m¿ng n¡-ron gần vãi n¡-ron thần kinh cÿa con ng°åi, bắt đầu từ năm 2010. Các thuật toán hác sâu (Deep Learning - DL) là mát nhánh cÿa hác máy dựa trên m¿ng n¡-ron kết hÿp vãi việc hác các đặc tr°ng cÿa dữ liệu. Hác sâu có thể hác có giám sát (Supervised Learning) và hác khơng có giám sát (Unsupervised Learning). Mát sá mơ hình hác sâu sử dāng m¿ng n¡-ron nh°: m¿ng Perceptron nhiều lãp (Multi-layer Perceptron-MLP); m¿ng n¡-ron tích chập (Convolutional Neural Network-CNN); m¿ng n¡-ron hồi quy (Recurrent Neural Network-RNN); m¿ng đái nghßch t¿o sinh (Generative adversarial networks-GAN).

Từ 2010 cho tãi nay là giai đo¿n phát triển nh° vũ bão cÿa trí tuệ nhân t¿o vãi sự giúp sāc cÿa cơng nghệ tính tốn, phần cāng hiệu năng cao. Các mơ hình trí tuệ nhân t¿o có xu h°ãng sử dāng dữ liệu lãn đ°a ra các kết quÁ khuyến nghß rất ấn t°ÿng. Mát sá āng dāng nh° Siri cÿa Apple, ch°¡ng trình dßch tự đáng trên video và nhận d¿ng giáng nói cÿa Google, Facebook. Gần đây nhất và đang gây đ°ÿc chú ý lãn tãi cáng đồng là mơ hình nhận d¿ng và xử lý ngơn ngữ ChatGPT cÿa OpenAI. Mơ hình ngơn ngữ ChatGPT có thể hiểu câu hßi và

</div><span class="text_page_counter">Trang 28</span><div class="page_container" data-page="28">

đ°a ra cõu tr lồi ỗ rt nhiu lnh vc thu hút 100 triệu ng°åi dùng chỉ trong vòng 2 tháng (từ 30/11/2022 tãi 31/1/2023). Sự ra đåi cÿa ChatGPT vào tháng 11/2022 có thể sẽ là mát dấu mác quan tráng tiếp theo cÿa trí tuệ nhân t¿o.

Hác sâu là mát ph°¡ng pháp hác máy dựa trên việc xây dựng các mơ hình m¿ng n¡-ron nhiều tầng ¿n để tự đáng hác và trích xuất đặc tr°ng từ dữ liệu đầu vào. Các mơ hình m¿ng n¡-ron đa tầng này th°ång đ°ÿc thiết kế vãi hàng chāc và có thể lên đến hàng trăm lãp, mßi lãp đóng vai trị trích xuất các c trng ỗ mc ỏ khỏc nhau t d liu đầu vào. Sau đó, các đặc tr°ng đ°ÿc kết hÿp l¿i để t¿o thành các biểu diễn phāc t¿p và trừu t°ÿng cÿa dữ liệu đầu vào. Vãi sự phát triển cÿa các mơ hình hác sâu, nhiều āng dāng cÿa trí tuệ nhân t¿o nh° nhận d¿ng Ánh, nhận d¿ng giáng nói, xử lý ngơn ngữ tự nhiên, dự báo chußi thåi gian và điều khiển tự đáng đã có những cÁi tiến đáng kể. Hác sâu đã đ¿t đ°ÿc kết q ấn t°ÿng trong nhiều bài tốn khó cÿa trí tuệ nhân t¿o, nh° giÁi mã ngơn ngữ tự nhiên, nhận diện Ánh, dự báo thåi tiết, đác hiểu văn bÁn và trÁ låi tự đáng. Tuy nhiên, việc xây dựng mơ hình hác sâu u cầu rất nhiều dữ liệu và tài ngun tính tốn. Điều này đặt ra thách thāc lãn cho các nhà nghiên cāu và doanh nghiệp khi triển khai các āng dāng hác sâu vào thực tế.

Ngày nay, hác sâu đang trong thåi kỳ phát triển và đ°ÿc āng dāng trong rất nhiều lĩnh vực khác nhau nh°:

<i>- Các hệ thống không người lái: hác sâu đ°ÿc āng dāng rất phổ biến </i>

trong các hệ tháng không ng°åi lái. Hác sâu giúp các thiết bß khơng ng°åi lái có thể nhận d¿ng, dÁn đ°ång bằng hình Ánh, nhận d¿ng âm thanh. Mát sá ví dā nh°: ph°¡ng tiện bay không ng°åi lái (Unmanned Aerial Vehicle-UAV); ph°¡ng tiện mặt đất không ng°åi lái (Unmanned Ground Systems-UGS); ph°¡ng tiện nổi không ng°åi lái (Unmanned Surface Vehicle-USV); ph°¡ng tiện ngầm không ng°åi lái (Unmanned Undersea Vehicle-UUV).

</div><span class="text_page_counter">Trang 29</span><div class="page_container" data-page="29">

<i>- Hệ thống kiểm soát ra vào: hác sâu đ°ÿc āng dāng nhận d¿ng khuôn </i>

mặt, giáng nói, vân tay trong các hệ tháng kiểm sốt ra vào giúp nhanh chóng đßnh danh đ°ÿc đái t°ÿng để quyết đßnh cho vào/ra.

trong các nhà máy, các rô bát làm việc trong các mơi tr°ång đác h¿i (dßch bệnh, hßa ho¿n, phóng x¿).

<i>- Trợ lý ảo và các dịch vụ chatbot: Các nhà cung cấp dßch vā trực tuyến </i>

giå đây th°ång dùng các trÿ lý Áo hay các dßch vā chatbots, bots để chăm sóc khách hàng. Việc này khơng chỉ mang l¿i hiệu q về chi phí mà còn nâng cao đ°ÿc năng suất nhå tác đá phÁn hồi nhanh chóng.

<i>- Y học: Āng dāng hác sâu trong chu¿n đốn hình Ánh hß trÿ cho bác sĩ </i>

có thể chu¿n đốn nhanh chóng và chính xác bệnh tình cÿa bệnh nhân. Các d¿ng hình Ánh trong chu¿n đốn có thể dùng hác sâu là Ánh cắt lãp vi tính, Ánh x-quang, Ánh MRI.

không phù hÿp vãi lāa tuổi, Ánh b¿o lực và các bình luận trái vãi quy đßnh. Hác sâu cũng đ°ÿc āng dāng để gÿi ý nỏi dung phự hp vói sỗ thớch, gi ý kt b¿n. Mát sá cịn sử dāng để phân tích hành vi và thói quen sử dāng m¿ng xã hái cÿa ng°åi dùng để gÿi ý nái dung quÁng cáo nhắm tãi đúng đái t°ÿng quan tâm giúp quÁng cáo có hiệu quÁ.

<i>- Dịch thuật: Ph°¡ng pháp hác sâu sẽ dßch các ngơn ngữ, giúp khách du </i>

lßch hay những ng°åi có nhu cầu về cơng việc có thể dễ dàng trao đổi, t°¡ng tác vãi nhau dễ dàng h¡n.

Các āng dāng sử dāng hác sâu tập trung xử lý các lo¿i dữ liệu hình Ánh, âm thanh, chữ viết, tín hiệu cÁm biến& Hiện t¿i các bài tốn xử lý dữ liệu hình Ánh là chiếm °u thế h¡n cÁ.

</div><span class="text_page_counter">Trang 30</span><div class="page_container" data-page="30">

Các āng dāng có sử dāng hác sâu thì các bài tốn xử lý Ánh trong thß giác máy tính là rất phổ biến, trong phần này cÿa luận án sẽ trình bày các bài toán xử lý Ánh sử dāng hác sâu. Mát sá bài toán xử lý Ánh phổ biến trong các h°ãng āng dāng cÿa hác sâu hiện nay nh°:

<i>Phân loại ảnh/ nhận dạng đối tượng: Phân lo¿i Ánh là bài tốn xác đßnh </i>

xem trong Ánh có lo¿i đái t°ÿng nào trong mát lãp các đái t°ÿng đã đ°ÿc huấn luyện. Đơi khi có thể gái phân lo¿i Ánh là nhận d¿ng đái t°ÿng. Đây là mát bài tốn phổ biến cÿa thß giác máy tính sử dāng trí tuệ nhân t¿o đ°ÿc āng dāng nhiều trong việc nhận d¿ng các đái t°ÿng bằng camera an ninh.

<i>Định vị đối tượng: Đßnh vß đái t°ÿng là mát bài tốn xác đßnh vß trí cÿa </i>

đái t°ÿng trong Ánh, thơng th°ång chỉ xác đßnh mát đái t°ÿng và kết q là đ°a ra vß trí khung biên bao quanh đái t°ÿng trong Ánh.

Hình 1.2 Bài tốn phát hiện đái t°ÿng āng dāng trong thực tế

<i><b>Phát hiện đối tượng: là bài toán phát hiện các đái t°ÿng trong mát Ánh </b></i>

hoặc video. Bài toán phát hiện đái t°ÿng sẽ đ°a ra kết quÁ là các đái t°ÿng đ°ÿc đóng khung trong các háp biên và xác đßnh đây là đái t°ÿng gì trong các lãp đái t°ÿng đã đ°ÿc huấn luyện tr°ãc. Bài toán phát hiện đái t°ÿng đ°ÿc āng

</div><span class="text_page_counter">Trang 31</span><div class="page_container" data-page="31">

dāng nhiều trong các thiết bß khơng ng°åi lái, camera an ninh, rơ bát.

đái t°ÿng sẽ xác đßnh hình d¿ng cÿa đái t°ÿng thay vì chỉ đ°a ra vß trí khung bao quanh đái t°ÿng. Mßi đái t°ÿng sẽ đ°ÿc tô mát màu để phân biệt trong Ánh. Có hai lo¿i bài tốn phân đo¿n đái t°ÿng là phân đo¿n ngữ nghĩa và phân đo¿n tr°ång hÿp. Phân đo¿n ngữ nghĩa sẽ tiến hành phân đo¿n tồn bá các đái t°ÿng có trên Ánh và trÁ về kết quÁ là mát bāc Ánh vãi các đái t°ÿng đ°ÿc tô màu khác nhau. Trong khi phân đo¿n tr°ång hÿp chỉ phân đo¿n các đái t°ÿng trong lãp đái t°ÿng đã biết. Phân đo¿n đái t°ÿng đ°ÿc āng dāng trong xử lý Ánh y tế hoặc Ánh vệ tinh.

<i>Bám đối tượng: Đây cũng là mát bài toỏn mỗ rỏng ca phỏt hin ỏi </i>

tng. Bỏm ỏi t°ÿng sẽ bám mát hoặc nhiều đái t°ÿng trên video theo thåi gian. Hiểu mát cách đ¡n giÁn bài toán bám đái t°ÿng là tách video thành từng khung Ánh sau đó áp dāng bài tốn phát hiện đái t°ÿng, nh°ng để kết hÿp thông tin giữa các khung Ánh cần phÁi có các thuật tốn hÿp nhất thơng tin giữa các khung Ánh sao cho xác đßnh đái t°ÿng khơng thay đổi sau các khung. Đái t°ÿng có thể bß che khuất trong mát vài khung nh°ng sau đó vÁn phÁi bám đ°ÿc đái t°ÿng.

Bài toán phát hiện đái t°ÿng sử dāng hác sâu đ°ÿc āng dāng phổ biến trong mát sá lĩnh vực nh° Quân sự quác phịng, cơng nghiệp và giám sát an ninh. Trong qn sự qc phịng, bài tốn phát hiện đái t°ÿng sử dāng hác sâu đ°ÿc āng dāng trong các hệ tháng nh° hệ tháng quang điện tử, ra đa, xử lý Ánh trên các thiết bß khơng ng°åi lái.

<i><b>1.1.4. Các tác vụ trong bài toán phát hiện đối tượng </b></i>

Bài toán phát hiện đái t°ÿng cần phÁi giÁi quyết hai vấn đề chính (thực hiện hai tác vā) là xác đßnh đái t°ÿng có trong Ánh hay khơng và đ°a ra vß trí

</div><span class="text_page_counter">Trang 32</span><div class="page_container" data-page="32">

cÿa đái t°ÿng đó. Để giÁi quyết bài tốn này, các ph°¡ng pháp có thể sử dāng là hác sâu, trong đó mơ hình m¿ng n¡-ron sâu đ°ÿc sử dāng để hác và dự đốn vß trí cÿa đái t°ÿng trong Ánh. Các mơ hình đ°ÿc huấn luyện trên các tập dữ liệu lãn để có thể phát hiện và xác đßnh vß trí cÿa đái t°ÿng trong nhiều tr°ång hÿp khác nhau.

<small>Nhận d¿ng đái t°ÿng(Object Recognition)</small>

<small>Phân lo¿i Ánh(Image Classification)</small>

<small>Đßnh vß đái t°ÿng(Object Localization)</small>

<small>Phát hiện đái t°ÿng(Object Detection)</small>

<small>Phân đo¿n Ánh(Segmentation)</small>

Hình 1.3 Các tác vā cÿa bài toán phát hiện đái t°ÿng

Xác đßnh đái t°ÿng có mặt trong Ánh là mát tác vā quan tráng và th°ång đ°ÿc sử dāng trong rất nhiều các bài tốn xử lý Ánh trong thß giác máy tính và cũng đ°ÿc gái là phân lo¿i Ánh hay nhận diện đái t°ÿng. Các mơ hình phân lo¿i Ánh th°ång đ°ÿc huấn luyện trên các tập dữ liệu lãn, chāa nhiều Ánh cÿa các đái t°ÿng khác nhau, để có thể phát hiện đái t°ÿng trong nhiều tr°ång hÿp khác nhau và đ°a ra kết quÁ chính xác. Các mơ hình này th°ång đ°ÿc sử dāng để phân lo¿i các lo¿i đái t°ÿng khác nhau trong Ánh, từ đáng vật và cây cái đến các đái t°ÿng nh° xe h¡i, ng°åi dùng, đồ vật trong nhà.

Có nhiều mơ hình phân lo¿i Ánh đ°ÿc phát triển trong lĩnh vực thß giác máy tính và đã đ¿t đ°ÿc nhiều kết quÁ ấn t°ÿng. Sau đây là mát sá mô hình phân lo¿i Ánh tiêu biểu:

- LeNet [39]: Là mát trong những mơ hình đầu tiên sử dāng m¿ng

</div><span class="text_page_counter">Trang 33</span><div class="page_container" data-page="33">

n¡-ron để phân lo¿i Ánh. Mô hỡnh ny c giói thiu vo nm 1998 bỗi Yann LeCun và đã đ¿t đ°ÿc kết quÁ tát trên tập dữ liệu nhận d¿ng chữ viết tay.

- AlexNet [37]: Là mát mơ hình CNN c giói thiu bỗi Alex Krizhevsky, Ilya Sutskever và Geoffrey Hinton vào năm 2012. Mơ hình này sử dāng 5 lãp tích chập và 3 lãp kết nái đầy đÿ để phân lo¿i Ánh trên tập dữ liệu ImageNet.

- VGGNet [68]: Là mỏt mụ hỡnh CNN c phỏt trin bỗi nhúm nghiờn cāu t¿i Đ¿i hác Oxford vào năm 2014. Mơ hình này sử dāng các kernel nhß (3x3) để tăng khÁ năng hác cÿa m¿ng và đ°ÿc huấn luyện trên tập dữ liệu ImageNet.

- ResNet [30]: Là mát mơ hình CNN c phỏt trin bỗi Microsoft vo nm 2015. Mụ hình này sử dāng cấu trúc khái phần d° (Residual Block) để giÁi quyết vấn đề triệt tiêu đá sâu trong m¿ng, giúp mơ hình có thể huấn luyện đ°ÿc đến hàng trăm lãp.

- Inception [69]: Là mát chußi cỏc mụ hỡnh CNN c phỏt trin bỗi Google. Mụ hình này sử dāng cấu trúc Module Inception để giÁm sá l°ÿng tráng sá trong mơ hình và tăng tính hiệu q cÿa mơ hình.

- MobileNet [31]: Là mát mụ hỡnh CNN c phỏt trin bỗi Google vo nm 2017, nhằm giÁm kích th°ãc cÿa mơ hình để có thể ch¿y trên các thiết bß di đáng vãi tác đá nhanh và tiêu thā ít năng l°ÿng.

Các mơ hình trên là những mơ hình phân lo¿i Ánh tiêu biểu và rất phổ biến trong thß giác máy tính. Tuy nhiên, cịn rất nhiều mơ hình khác đ°ÿc phát triển để giÁi quyết tác vā phân lo¿i Ánh.

Tác vā xác đßnh vß trí đái t°ÿng trong Ánh cũng là mát bài tốn trong lĩnh vực thß giác máy tính, trong đó māc tiêu là xác đßnh vß trí và đ°ång bao quanh cÿa đái t°ÿng cần nhận diện trong Ánh. Tác vā này khác vãi bài toán phân lo¿i

</div><span class="text_page_counter">Trang 34</span><div class="page_container" data-page="34">

Ánh vì nó cung cấp thơng tin về vß trí cÿa đái t°ÿng trong Ánh.

Có nhiều cách để giÁi quyết bài tốn xác đßnh vß trí đái t°ÿng trong Ánh, trong đó ph°¡ng pháp phổ biến nhất là sử dāng các mơ hình hác sâu nh° YOLO

[57] (You Only Look Once), Faster R-CNN [27] (Region-based Convolutional Neural Networks), RetinaNet [44] và SSD [46] (Single Shot MultiBox Detector). Các mơ hình này sử dāng kết hÿp giữa các lãp tích chập để tìm kiếm các đặc tr°ng cÿa đái t°ÿng trong Ánh và các lãp kết nái đầy đÿ để dự đốn vß trí và đ°ång bao quanh cÿa đái t°ÿng. Tác vā xác đßnh vß trí trong Ánh có rất nhiều āng dāng trong thực tế, nh° giúp cho hệ tháng tự đáng lái xe có thể xác đßnh vß trí cÿa các vật cÁn trên đ°ång, giúp cho hệ tháng giám sát an ninh có thể xác đßnh vß trí cÿa ng°åi hoặc vật thể đang xâm nhập vào khu vực cần bÁo vệ, hoặc giúp cho robot có thể xác đßnh vß trí cÿa đái t°ÿng cần thao tác trên.

Nh° đã trỡnh by ỗ õy thỡ bi toỏn phỏt hin ỏi t°ÿng bÁn chất là bài tốn có hai tác vā là xác đßnh vß trí đái t°ÿng trong Ánh và phân lo¿i Ánh. Để đánh giá các mơ hình hác sâu giÁi quyết các tác vā xử lý Ánh này thơng th°ång sẽ có các tập dữ liệu t°¡ng āng để đánh giá. Trong đó các tập dữ liệu cho hai tác vā là phát hiện đái t°ÿng và phân lo¿i Ánh là phổ biến h¡n, trong khi xác đßnh vß trí trong Ánh thì rất ít tập dữ liệu đ°ÿc cơng bá. Điều này cũng dễ hiểu vì thơng th°ång trong bài toán phát hiện đái t°ÿng đã phÁi xử lý tác vā xác đßnh đái t°ÿng trong Ánh. Mát sá tập dữ liệu phổ biến cho bài toán phát hiện đái t°ÿng có thể kể đến nh°: COCO [45] (Microsoft Common Objects in Context) là mát tập dữ liệu bao gồm 160 nghìn Ánh màu vãi 80 lãp đái t°ÿng đ°ÿc chia ra 83 nghìn Ánh cho huấn luyện, 41 nghìn Ánh cho th¿m đßnh (Validation) và 41 nghìn Ánh cho kiểm tra (Test); Tập dữ liệu PASCAL VOC

[22] (PASCAL Visual Object Classes Challenge) bao gồm h¡n 11 nghìn Ánh màu vãi 20 lãp đái t°ÿng; KITTI [26] (Karlsruhe Institute of Technology and Toyota Technological Institute) là tập dữ liệu phổ biến trong các āng dāng rô

</div><span class="text_page_counter">Trang 35</span><div class="page_container" data-page="35">

bát và xe tự hành. Vãi bài toán phân lo¿i Ánh, sá l°ÿng các tập dữ liệu công bá cũng nhiều t°¡ng đ°¡ng vãi bài toán phát hiện đái t°ÿng. Mát sá tập dữ liệu phổ biến có thể kể đến: MNIST [39] (Modified National Institute of Standards and Technology) là tập dữ liệu có 70 nghìn Ánh chữ viết tay đen trắng vãi 10 chữ sá từ 1 tãi 10 đ°ÿc chia ra 60 nghìn Ánh cho huấn luyện và 10 nghìn Ánh cho kiểm tra; Fashion-MNIST [79] t°¡ng tự nh° MNIST cũng có 70 nghìn Ánh đen trắng và 10 lãp đái t°ÿng nh°ng khác là 10 lãp đái t°ÿng là các hình Ánh đen trắng cÿa quần áo giầy dép và túi; CIFAR-10 và CIFAR-100 [36] (Canadian Institute for Advanced Research) là hai tập dữ liệu rất phổ biến trong bài toán phân lo¿i Ánh, hai tập dữ liệu này đều có 60 nghìn Ánh màu nh°ng khác nhau sá l°ÿng lãp đái t°ÿng khác nhau là 10 và 100 lãp do đó vãi CIFAR-100 sẽ thách thāc các mơ hình h¡n CIFAR-10; ImageNet [16] là mát tập dữ liệu lãp gồm h¡n 1,2 triệu Ánh màu vãi 1000 lãp đái t°ÿng có thể nói đây là tập dữ liệu thách thāc nhất đ°ÿc công bá cho bài tốn phân lo¿i Ánh.

Trong khn khổ h°ãng nghiên cāu, nghiên cāu sinh sẽ sử dāng các tập dữ liệu đã công bá để thử nghiệm đánh giá các ý tỗng ca mỡnh nhm ci thin hiu nng cho cỏc mơ hình m¿ng hác sâu đề xuất.

<b>1.2. Mßt sß m¿ng hác sâu phù hÿp vái phÅn cąng nhúng ti¿t kiám nng l°ÿng và tài nguyên h¿n ch¿ </b>

<i><b>1.2.1. Giới thiệu hệ thống nhúng </b></i>

Hệ tháng nhúng là mát lo¿i hệ tháng máy tính đ°ÿc thiết kế để thực hiện mát nhiệm vā cā thể hoặc mát tập hÿp các nhiệm vā cā thể trong môi tr°ång cā thể. Các hệ tháng nhúng th°ång đ°ÿc tích hÿp vào các thiết bß hoặc sÁn ph¿m và th°ång ho¿t đáng ¿n danh, khơng giáng nh° máy tính cá nhân hoặc máy tính trung tâm. Thiết bß nhúng khơng linh ho¿t nh° máy tính cá nhân là có thể cài đặt các āng dāng và ch¿y nhiều lo¿i phần mềm. Hệ tháng nhúng th°ång sử dāng phần cāng tùy chỉnh hoặc cá đßnh để thực hiện nhiệm vā cā thể. Điều

</div><span class="text_page_counter">Trang 36</span><div class="page_container" data-page="36">

này có thể bao gồm việc tích hÿp vi xử lý, bá nhã, cÁm biến và các thành phần phần cāng khác trên mát bo m¿ch điều khiển. Mát sá hệ tháng nhúng cần phÁn hồi mát cách nhanh chóng và đáp āng theo thåi gian thực. Ví dā, các hệ tháng nhúng đ°ÿc sử dāng trong ơ tơ để kiểm sốt hệ tháng an tồn, hoặc trong thiết bß y tế để theo dõi tín hiệu sinh hác. Hệ tháng nhúng th°ång là các hệ tháng đác lập ho¿t đáng, có khÁ năng ho¿t đáng mà không cần sự can thiệp liên tāc từ ng°åi dùng. Hệ tháng nhúng ch¿y phần mềm nhúng đ°ÿc phát triển để điều khiển và quÁn lý phần cāng, thực hiện các chāc năng cā thể, và giao tiếp vãi mơi tr°ång bên ngồi.

Hệ tháng nhúng có mát lßch sử phát triển dài và thú vß. D°ãi đây là mát sá sự kiện quan tráng trong lßch sử phát triển cÿa hệ tháng nhúng:

- Đầu những năm 1960: Các hệ tháng nhúng đầu tiên đ°ÿc phát triển, chÿ yếu để điều khiển các hệ tháng sÁn xuất và sÁn xuất hàng hóa trong mơi tr°ång cơng nghiệp. Các hệ tháng này th°ång đ°ÿc lập trình bằng ngơn ngữ Assembly, vì vậy việc lập trình khá khó khăn.

- Thập niên 1970: Các vi m¿ch tích hÿp đầu tiên ra ồi, cho phộp cỏc h thỏng nhỳng trỗ nờn nhß gán h¡n. Các āng dāng sử dāng hệ tháng nhúng bao gồm các hệ tháng điều khiển và giám sát trong các lĩnh vực nh° y tế, điện tử tiêu dùng và ô tô.

- Thập niên 1980: Các āng dāng nhúng ngày càng phổ biến và đ°ÿc tích hÿp sâu vào các sÁn ph¿m tiêu dùng nh° thiết bß cá nhân, điện tho¿i di đáng và thiết bß y tế. Các hệ tháng nhúng đ°ÿc lập trình bằng ngơn ngữ C và các cơng cā phát triển tích hÿp nh° trình biên dßch và bá gỡ lßi.

- Thp niờn 1990: Cỏc h thỏng nhỳng trỗ nờn mnh mẽ h¡n và có khÁ năng tính tốn cao h¡n, cho phép chúng đ°ÿc sử dāng trong các āng dāng nh° hệ tháng thơng tin đßa lý (GIS) và thß giác máy tính (CV).

</div><span class="text_page_counter">Trang 37</span><div class="page_container" data-page="37">

- Thập niên 2000 đến nay: Các hệ tháng nhúng ngày càng ph bin v a dng hĂn, v ó trỗ thnh mát phần quan tráng cÿa nhiều lĩnh vực nh° y tế, điện tử tiêu dùng, ô tô và công nghiệp. Các công nghệ mãi nh° Internet of Things (IoT) và trí tuệ nhân t¿o đang t¿o ra nhiều c¡ hái mãi cho các āng dāng hệ tháng nhúng.

Hệ tháng nhỳng ang trỗ thnh mỏt phn khụng th thiu ca nhiều lĩnh vực công nghiệp và sẽ tiếp tāc phát triển trong t°¡ng lai. Các cơng nghệ mãi nh° trí tuệ nhân t¿o, hác máy, blockchain, v.v. sẽ đ°ÿc tích hÿp vào hệ tháng nhúng để cÁi thiện hiệu suất và tính năng cÿa chúng. Hệ tháng nhúng có thể tích hÿp các giÁi thuật trí tuệ nhân t¿o và hác máy để phân tích dữ liệu và đ°a ra quyết đßnh thơng minh. Điều này sẽ giúp tăng tính linh ho¿t và đá chính xác cÿa hệ tháng nhúng, đồng thåi giÁm thiểu sự phā thuác vào ng°åi dùng. Công nghệ m¿ng 5G đang đ°ÿc triển khai ráng rãi trên toàn cầu và sẽ t¿o ra nhiều c¡ hái mãi cho hệ tháng nhúng. 5G cho phép truyền tÁi dữ liệu vãi tác đá rất nhanh và đá trễ thấp, giúp kết nái các thiết bß IoT vãi nhau mát cách nhanh chóng và hiệu quÁ h¡n. Hệ tháng nhúng sẽ tiếp tāc đ°ÿc tích hÿp vào các thiết bß thơng minh và nhà thơng minh. Các thiết bß ny s trỗ nờn thụng minh hĂn v cú th tự đáng thực hiện các nhiệm vā mát cách nhanh chóng và hiệu quÁ. Hệ tháng nhúng cũng sẽ đ°ÿc cÁi tiến để tăng tính bÁo mật. Các giÁi pháp bÁo mật mãi sẽ đ°ÿc tích hÿp vào hệ tháng nhúng để đÁm bÁo an toàn và bÁo vệ dữ liệu cá nhân cÿa ng°åi dùng. Hệ tháng nhúng là mát phần không thể thiếu trong nhiều āng dāng sử dāng cơng nghệ hiện đ¿i. Chúng đã đóng vai trị quan tráng trong việc giúp cho các thiết bß điện t tiờu dựng trỗ nờn thụng minh hĂn, tin ớch h¡n và hiệu quÁ h¡n. T°¡ng lai, các hệ tháng nhúng sẽ tiếp tāc phát triển để đáp āng các nhu cầu ngày càng cao cÿa ng°åi dùng.

Mát trong các h°ãng āng dāng cÿa các hệ tháng nhúng là tích hÿp các tác vā cÿa thß giác máy tính sử dāng trí tuệ nhân t¿o. Mát sá ví dā về các hệ

</div><span class="text_page_counter">Trang 38</span><div class="page_container" data-page="38">

tháng nhúng có sử dāng thß giác máy tính bằng các thuật tốn trí tuệ nhân t¿o:

<i>- Hệ thống giám sát an ninh: Hệ tháng này sử dāng các camera để phát </i>

hiện các sự kiện an ninh nh° xâm nhập hoặc ỏt nhp. Cỏc hỡnh nh c x lý bỗi thò giác máy tính để xác đßnh xem có ho¿t đáng bất th°ång nào xÁy ra hay không.

<i>- Hệ thống khơng người lái: Các thiết bß nhúng trong các hệ tháng khơng </i>

ng°åi lái sử dāng trí tuệ nhân t¿o để xử lý các tác vā thß giác máy tính phāc vā nhận d¿ng đái t°ÿng, phát hiện vật cÁn, dÁn đ°ång bằng hình Ánh.

<i>- Máy quét tia X: Các máy quét tia X trong y tế sử dāng thß giác máy tính </i>

để phát hiện các vật thể bất th°ång trong hình Ánh tia X. Các hệ tháng này có thể giúp các bác sĩ phát hiện các bệnh lý trong c¡ thể và giúp xác đßnh liệu có phÁi tiến hành can thiệp bệnh hác hay khơng.

<i>- Máy kiểm tra bao bì: Hệ tháng nhúng này sử dāng thß giác máy tính để </i>

đác các thơng tin trên bao bì, ví dā nh° mã v¿ch hoặc QR code. Các hệ tháng này giúp kiểm tra chính xác thông tin sÁn ph¿m và h¿n sử dāng, giúp các nhà sÁn xuất kiểm soát đ°ÿc chất l°ÿng và ngăn chặn các sÁn ph¿m giÁ m¿o.

Ngày nay, xu thế āng dāng sử dāng hệ tháng nhúng đ°ÿc đặt gần nguồn dữ liệu và xử lý ra quyết đßnh ngay t¿i đó, các thiết bß này đ°ÿc gái là thiết bß biên. Các hệ tháng nhúng sử dāng thiết bß biên mang l¿i nhiều lÿi ích:

1)<i> Giảm thiểu chi phí mạng: Thiết bß biên có khÁ năng xử lý dữ liệu ngay </i>

t¿i nguồn, giúp giÁm l°ÿng dữ liệu phÁi chuyển đến trung tâm dữ liệu hoặc máy chÿ để xử lý, giÁm chi phí liên quan đến m¿ng.

2)<i> Tăng hiệu suất tính tốn: Thiết bß biên có khÁ năng xử lý dữ liệu giúp </i>

giÁm tÁi tráng cho các máy chÿ và trung tâm dữ liệu. Điều này có thể giúp tăng hiệu suất tính tốn và giÁm thåi gian xử lý dữ liệu chung cÿa tồn bá hệ tháng do có nhiều bá xử lý cùng làm việc.

</div><span class="text_page_counter">Trang 39</span><div class="page_container" data-page="39">

3)<i> Giảm thời gian đáp ứng: Thiết bß biên giúp tăng tác đá đáp āng cÿa hệ </i>

tháng, bằng cách xử lý dữ liệu ngay t¿i nguồn và ra quyết đßnh ngay, điều này làm giÁm thåi gian phÁn hồi cÿa hệ tháng vãi các tác vā làm việc. 4)<i> Tăng tính khả dụng của hệ thống: Thiết bß biên giúp giÁm thiểu rÿi ro do </i>

sự cá kết nái m¿ng, vì nó có khÁ năng l°u trữ và xử lý dữ liệu ngay t¿i chß mà khơng phÁi truyền về trung tâm.

5)<i> Tăng tính linh hoạt của hệ thống: Thiết bß biên có khÁ năng ho¿t đáng </i>

đác lập vãi trung tâm dữ liệu hoặc máy chÿ, giúp tăng tính linh ho¿t và đác lập cho hệ tháng. GiÁm rÿi ro toàn bá hệ tháng ngừng làm việc khi trung tâm dữ liệu hoặc máy chÿ gặp sự cá.

6)<i> Bảo mật dữ liệu: Thiết bß biên có khÁ năng l°u trữ và xử lý dữ liệu ngay </i>

t¿i chß, giúp giÁm rÿi ro an ninh m¿ng, vì dữ liệu khơng phÁi chuyển qua nhiều kết nái trung gian để đ°ÿc xử lý t¿i trung tâm dữ liệu hoặc máy chÿ sau đó truyền l¿i.

Vãi các °u điểm trên các thiết bß biên đang thực sự là mát xu thế phát triển cÿa hệ tháng nhúng. Trên Hình 1.4 cho ta thấy sá l°ÿng thiết bß biên là lãn h¡n rất nhiều lần so vãi các trung tâm dữ liệu hoặc các nodes. Edge-AI (còn đ°ÿc gái là AI trên biên - Edge Artificial Intelligence) là mát khái niệm trong lĩnh vực trí tuệ nhân t¿o, liên quan đến việc triển khai và thực thi các thuật tốn và mơ hình trí tuệ nhân t¿o trực tiếp trên các thiết bß biên nh° điện tho¿i di đáng, máy tính bÁng, máy tính nhúng, thiết bß đeo đ°ÿc, các cÁm biến và các thiết bß IoT mà không cần phÁi truyền dữ liệu về mát trung tâm xử lý. Việc triển khai AI t¿i biên mang l¿i nhiều lÿi ích, bao gồm tăng tác đá xử lý, giÁm đá trễ (latency), tiết kiệm năng l°ÿng và tăng tính bÁo mật. Khi AI đ°ÿc triển khai t¿i thiết bß biên, dữ liệu có thể đ°ÿc xử lý trên thiết bß đầu cuái, giúp giÁm bãt tÁi tráng truyền dữ liệu m¿ng, tăng tác đá phÁn hồi và giÁm đá trễ.

Mát sá āng dāng quan tráng cÿa Edge-AI bao gồm:

</div><span class="text_page_counter">Trang 40</span><div class="page_container" data-page="40">

✓ Nhận d¿ng khuôn mặt trực tiếp trên camera giám sát để đ°a ra quyết đßnh và hành đáng kßp thåi, giÁm đá trễ trong quá trình đáp āng.

✓ Dự đốn sự cá trong các thiết bß IoT và thực hiện các biện pháp đái phó trực tiếp trên thiết bß, giÁm đá trễ và tăng tính khÁ dāng cÿa hệ tháng. ✓ Phân tích dữ liệu y tế trực tiếp trên thiết bß đeo tay để giám sát sāc khße,

đ°a ra cÁnh báo và h°ãng dÁn cho ng°åi dùng, giÁm tÁi tráng truyền dữ liệu và tăng tính bÁo mật.

Hình 1.4 Phân tầng các lo¿i thit bò

Edge-AI ang trỗ thnh mỏt xu hóng quan tráng vì nó mang l¿i nhiều lÿi ích và tiềm năng cho các āng dāng thực tế. Tuy nhiên, việc triển khai AI t¿i biên cũng đặt ra nhiều thách thāc, trong đó yêu cầu tiết kiệm năng l°ÿng và tài nguyên h¿n chế là mát trong các thách thāc lãn cÿa thiết bß Edge-AI. Do đó các mơ hình m¿ng n¡-ron triển khai trên các phần cāng nhúng nh° Edge-AI địi hßi tiết kiệm năng l°ÿng và tài ngun h¿n chế.

Các tác vā xử lý Ánh và xử lý tiếng nói đã đ°ÿc x lý bỗi cỏc mụ hỡnh mng nĂ-ron sõu (Deep Neural Network - DNN) đ¿t kết quÁ ngày càng tát h¡n

</div>

luận án tiến sĩ nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về