ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: “Ứng dụng AI trong quản lý tài nguyên và búp sóng vô tuyến cho mạng 5G”

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
KHOA VIỄN THƠNG I

ĐỒ ÁN TỐT NGHIỆP
Đề tài:

Ứng dụng AI trong quản lý tài ngun và búp

sóng vơ tuyến cho mạng 5G
Giáo viên hướng dẫn : Ths. Lê Tùng Hoa
Sinh viên thực hiện

: Đỗ Minh Toàn

Lớp

: D17CQVT07-B

Hà Nội 2021


NỘI DUNG

1

Chương 1: Tổng quan về Machine Learning
và Reinforcement Learning

2

Chương 2: Tổng quan về mạng thông tin di

động 5G

3

Chương 3: Ứng dụng AI quản lý tài ngun
và búp sóng vơ tuyến cho mạng 5G

4

Kết luận và kiến nghị
1


Chương 1: Tổng quan về Machine Learning và
Reinforcement Learning
Machine learning
• Supervised Learning.
• Unsupervised Learning.
• Semi-supervised
learning.
•

Reinforcement learning.

2


Chương 1: Tổng quan về Machine Learning và
Reinforcement Learning
Thuật toán DBSCAN

Ưu điểm:
• Khơng cần khai báo trước số lượng cụm cần phân
chia như K-mean.
• Có tốc độ tính tốn rất nhanh.
Quy trình của thuật tốn:
1. Lựa chọn một điểm dữ liệu bất kì, xác định

các điểm lõi và điểm biên thơng qua vùng lân cận
epsilon.
2. Lặp lại đệ qui tồn bộ quá trình với điểm khởi tạo là
Hình 1. 3 Quá trình lan truyền để xác định
các cụm của thuật tốn DBSCAN

các điểm dữ liệu cịn lại để xác định một cụm mới.
3


Chương 1: Tổng quan về Machine Learning và
Reinforcement Learning
Reinforcement learning
Agent
State

Reward

action

Environment

Hình 1. 4: Quy trình bài tốn

Reinforcement learning

• Environment (Mơi trường): khơng gian máy tương tác.
• Agent (Máy): chủ thể tương tác với mơi trường qua
hành động.
• Policy (Chiến thuật): chiến thuật mà máy sử dụng để
đưa ra hành động.
• State (Trạng thái): mơ tả trạng thái hiện tại của máy.
• Reward (Phần thưởng): phần thưởng từ môi trường
tương ứng với hành động được thực hiện.
• Action (Hành động): là những gì máy có thể thực hiện.

4


Chương 1: Tổng quan về Machine Learning và
Reinforcement Learning
Thuật toán Q-learning
• Phương trình đánh giá hành động 𝑄(𝑠, 𝑎):
𝑄(𝑠, 𝑎) = 𝑅(𝑠, 𝑎) + 𝛾 ෍ 𝑃(𝑠, 𝑎, 𝑠′) 𝑚𝑎𝑥𝑄 𝑠 ′ 𝑎′ ,
𝑎

𝑠′

(1.1)

• Mơi trường khơng phải bất biến mà sẽ thay đổi theo thời gian:
𝑇𝐷 𝑎, 𝑠 = 𝑅 𝑠 𝑎 + 𝛾 ෍ 𝑃 𝑠, 𝑎, 𝑠 ′ 𝑚𝑎𝑥 𝑄 𝑠 ′ , 𝑎′ − 𝑄(𝑠, 𝑎), (1.2)
𝑎

𝑠′

• Update các Q-values mới:
𝑄𝑡 𝑠, 𝑎 = 𝑄𝑡−1 𝑠, 𝑎 + 𝛼𝑇𝐷𝑡 𝑠, 𝑎

(1.3)

• 𝛼: là tốc độ học (learning rate).
• 𝑄𝑡 𝑠, 𝑎 : là Q-value hiện tại.
• 𝑄𝑡−1 𝑠, 𝑎 ): là Q-value trước đó.
5


Chương 1: Tổng quan về Machine Learning và
Reinforcement Learning
Mạng hồi quy LSTM
• Chìa khóa của LSTM là trạng thái tế bào (cell
state)
• LSTM có khả năng bỏ đi, thêm vào các thông tin
cần thiết cho trạng thái tế bào, được điều chỉnh
cẩn thận bởi các nhóm được gọi là cổng (gate).
Hình 1. 10: Mơ-đun lặp lại trong một LSTM

chứa bốn lớp tương tác

Lớp mạng
thần kinh

Hoạt động
theo chiều

kim

Lớp mạng
thần kinh

Kết hợp

Sao chép

Hình 1. 11: Các ký hiệu của mạng RNN

• Các cổng là nơi sàng lọc thơng tin đi qua nó.
• Tầng sigmoid sẽ cho đầu ra là một số trong
khoảng [0,1], mơ tả có bao nhiêu thơng tin có
thể được thơng qua.
• Một LSTM gồm có 3 cổng để duy trì và điều
hành trạng thái của tế bào.
6


Chương 2: Tổng quan về mạng thông tin di động 5G
Các yêu cầu kỹ thuật của mạng 5G
• Tốc độ dữ liệu đỉnh đường xuống là 20 Gbps và đường lên là 10 Gbps.
• Hiệu suất sử dụng phổ tần đỉnh đường xuống là 30 bit/s/Hz và đường lên là 15 bit/s/Hz.
• Tốc độ dữ liệu người dùng trải nghiệm đường xuống là 100 Mbps và đường lên là 50 Mbps.
• Lưu lượng đường xuống theo vùng 10Mb/s/m2 đối với Hotspot trong nhà.

• Độ trễ trên giao diện người dùng là 4 mili giây (ms) cho eMBB,1 ms cho URLLC, độ trễ
trên giao diện điều khiển là 20 ms.
• Mật độ kết nối: 1 triệu thiết bị/km2.

• Băng thơng tối thiểu là 100 MHz, hỗ trợ băng thông lên đến 1 GHz hoạt động ở băng tần

trên 6 GHz.
• Tốc độ di chuyển tối đa của thuê bao là 500 km/h.
7


Chương 2: Tổng quan về mạng thông tin di động 5G
Các trường hợp sử dụng mạng 5G
Băng thông rộng di động nâng cao (eMBB)
Tốc độ
Nhà thơng minh
(smart home)
Thoại
Thành phố
thơng minh

Hình ảnh 3 chiều (3D),
độ phân giải siêu cao

Truy cập băng thơng

Tính di động của

Internet vạn vật cực

rộng trong các khu
vực dày đặc

rộng mọi nơi

người dùng cao hơn

lớn

Video lan tỏa

50+ MBPS
mọi nơi

Tàu tốc độ cao

Mạng cảm biến

Thông tin liên lạc

Thông tin liên lạc

Thông tin liên lạc

Các dịch vụ như

thời gian thực cực
cao

huyết mạch

cực kỳ đáng tin cậy

phát sóng

Internet xúc giác

Thảm họa thiên
nhiên

Dịch vụ sức khỏe
điện tử

Dịch vụ phát sóng

Điện (UHD)
tốn đám
mây
Thực tế ảo tăng
Tựcường
động
hóa
Ứng dụng độ tin cậy
caotiện giao
Phương
thơng tự hành

Truyền thông máy số
lượng cực lớn (mMTC)

Truy cập băng thông

Kết nối độ tin cậy cực kỳ cao
với độ trễ thấp (URLLC)

Hình 2.3: Các nhóm ứng dụng 5G (theo ITU)

Hình 2.5: Các họ trường hợp sử dụng 5G và
các ví dụ về trường hợp liên quan
8


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Giới thiệu bài tốn
Tính năng động của mạng 5G
• Tốc độ tăng trưởng chưa từng có của lưu lượng dữ
liệu di động.
• Cơng nghệ Sóng milimet (mmWave).
• Sự phân bổ người dùng và lưu lượng truy cập thay
đổi nhanh chóng.
• Phục vụ các ứng dụng yêu cầu không đồng nhất hơn
và chất lượng dịch vụ (QoS) chặt chẽ hơn.

Xem xét một mạng mmWave không đồng
nhất phục vụ người dùng URLLC và eMBB.
• DBSCAN để phân nhóm người dùng và
quản lý búp sóng.
• Deep Reinforcement Learning dựa trên
Long Short Term Memory (LSTM) để
phân bổ RB.

Việc quản lý búp sóng và phân bổ tài
ngun vơ tuyến trở nên khó khăn.

9


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ hình hệ thống – Mơ hình mạng

Beam 2

Beam 1

,

Beam 2
Beam 1

gNodeB

URLLC user

,

eMBB user

Hình 3.1: Mơ hình hệ thống của mạng mmWave

Mạng mmWave:
• 𝑔 ∈ 𝐺 : 5G-NodeBs (gNBs).
• 𝑢 ∈ 𝑈 : người dùng một anten.

• 𝑏 ∈ 𝐵 : búp sóng đơn.
• Các búp sóng sử dụng Phân chia tần số trực giao
Đa truy cập (OFDMA).
• RB : khối tài nguyên (gồm 12 sóng mang con).
• Các RB liền kề được nhóm lại tạo thành RBG.
• 𝑘 ∈ 𝐾 : biểu thị một RB.
• TTI : Khoảng thời gian truyền.
• Vị trí ban đầu tuân theo Quá trình Cụm Poisson.
Vectơ kênh, ℎ𝑘, , ∈ ℂ𝑀∗1 , giữa búp sóng 𝑏𝑡ℎ và người
dùng 𝑢𝑡ℎ trên RBG 𝑘𝑡ℎ được biểu diễn dưới dạng:

ℎ𝑘,

,

=𝑣

𝛼𝑘,
,

,

𝑀 1+

𝑑 𝑛,

(3.1)
10

Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ hình hệ thống – Yêu cầu QoS
Tỷ lệ người dùng eMBB: Tổng tỷ lệ người dùng eMBB

Độ trễ và độ tin cậy của người dùng URLLC:

trên mỗi gNB.

Độ trễ của người dùng URLLC.

𝐶 = ෍ . ෍ . ෍ 𝛿𝑘,
∈𝐵

• 𝛿𝑘,

,

∈𝑈𝑏𝑒

,

𝑤𝑘, 𝑙𝑜𝑔2 1 + 𝛤𝑘,

,

,

3.2

𝐷

𝑘∈𝑘𝑏

,

= 𝐷 𝑡𝑥, + 𝐷

: là chỉ số phân bổ RBG.

• 𝑊𝑘, : là kích thước của RBG tính bằng Hz.

𝑞
,

• 𝑢𝑒 : là tập hợp người dùng eMBB thuộc búp sóng 𝑏 𝑡ℎ .

• 𝐷

ℎ𝑎𝑟𝑞
,

,

: là SINR của liên kết 𝑘, 𝑢, 𝑏

+𝐷

ℎ𝑎𝑟𝑞
,

,

(3.3)

• 𝐷 𝑡𝑥, : là độ trễ truyền.
• 𝐷

• 𝛤𝑘,

𝑞
,

𝑡ℎ .

: là độ trễ xếp hàng.

: là độ trễ truyền lại Yêu cầu lặp lại tự

động kết hợp (Hybrid Automatic Repeat
Request - HARQ).
11


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ hình hệ thống – Deep Q learning với DBSCAN (DQLD)
Thực hiện phân cụm khi SINR trung bình của búp
sóng giảm xuống dưới ngưỡng xác định trước.

• Agents: Mỗi gNB thực hiện DQL để phân bổ RBG
trong mỗi búp sóng của nó.
• Actions: Các Actions được định nghĩa là các RBG
được phân bổ cho người dùng trên mỗi búp sóng.

• States: Các States được xác định dựa trên phản hồi
CQI được đo lường ở người dùng.
• Reward: Chức năng reward được thiết kế để tính đến
các lớp người dùng khác nhau (tức là URLLC và

eMBB).

Chức năng reward được định nghĩa:
𝑚𝑏𝑏

𝑟𝑘, =ሼ

𝑠𝑖𝑔𝑚 𝑟𝑘,𝑏
𝑠𝑖𝑔𝑚

𝑚𝑏𝑏
𝑟𝑘,𝑏

𝐿𝐿𝑐

𝑟𝑘,𝑏

,

,

𝐶
𝐶

=1,
=2,

3.4

Trong đó:
1
𝑠𝑖𝑔𝑚 𝑥 =
,
−𝑥
1+ⅇ

3.5

Chức năng reward của người dùng eMBB
𝑙𝑙𝑐
𝑟𝑘,

𝐷 𝑄𝑜𝑆
=
,
𝐷𝑘, 𝑢

3.6

Chức năng reward của người dùng URLLC

𝑚
𝑟𝑘,

𝛤𝑘,
= 𝑄𝑆 ,
𝛤 𝑜

3.7
12


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ hình hệ thống – Deep Q learning với DBSCAN (DQLD)
CQI (

gNB

Next State

Cách thức hoạt động:

)

User 1

Reward

Prediction

User 2

Tranning

Experience Replay
Memory
User u
Tranning

LSTM Neural

Target

Network

Copy

LSTM

Q - values

−

Action ( )

Action Selection

Hình 3. 2: Sơ đồ khái niệm về Deep Q-learning
dựa trên LSTM

𝑔𝑁𝐵 có một thực thể DQL riêng biệt cho mỗi búp
sóng.
1. Các 𝑔𝑁𝐵 tính tốn states tiếp theo và rewards
tương ứng.
2. Trải nghiệm, ሼ𝑠𝑡 , 𝑎𝑡 , 𝑟𝑡 1 , 𝑠𝑡 1 }, sau đó được lưu
trữ trong bộ nhớ phát lại trải nghiệm.
3. LSTM được sử dụng để dự đoán giá trị Q của tất
cả các actions ở states tiếp theo.
4. Các giá trị Q được cung cấp cho thuật toán 𝜖 −
𝑔𝑟𝑒𝑒𝑑𝑦 để lựa chọn actions tiếp theo.
5. Thuật toán 𝜖 − 𝑔𝑟𝑒𝑒𝑑𝑦 chọn một action ngẫu
nhiên với khả năng xảy ra (𝜖) hoặc một action
tuân theo chính sách 𝑔𝑟𝑒𝑒𝑑𝑦 với xác suất (1 − 𝜖).
13


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ phỏng và đánh giá [01] M. Erol-Kantarci and Medhat Elsayed, "Radio Resource and Beam Management in

ECCDF

ECCDF

5GmmWave Using Clustering and Deep ReinforcementLearning," Researchgate, 2021.

Độ trễ của người dùng URLLC (mili giây)

Hình 3. 3: Độ trễ của người dùng URLLC so với
tổng tải URLLC cung cấp ([0,5, 1] Mbps)

Độ trễ của người dùng URLLC (mili giây)

Hình 3. 4: Độ trễ của người dùng URLLC so với
tổng tải URLLC cung cấp ([1,5, 2] Mbps)

Thuật toán được đề xuất được so sánh với một đường cơ sở sử dụng K-mean để phân cụm và công bằng
tỷ lệ dựa trên mức độ ưu tiên cho RA. Kết quả mô phỏng cho thấy thuật toán được đề xuất vượt trội
hơn so với đường cơ sở về độ trễ, độ tin cậy và tỷ lệ.

14


Chương 3: Ứng dụng AI quản lý tài nguyên và búp sóng
vơ tuyến cho mạng 5G
Mơ phỏng và đánh giá [01] M. Erol-Kantarci and Medhat Elsayed, "Radio Resource and Beam Management in
Thông lượng của người dùng
eMBB [Mbps]

Thông lượng của người dùng
URLLC [Mbps]

5GmmWave Using Clustering and Deep ReinforcementLearning," Researchgate, 2021.

Tổng tải cung cấp của người dùng eMBB [Mbps]

Hình 3.5: Tổng tỷ lệ người dùng eMBB so với
tổng tải eMBB cung cấp

Tổng tải cung cấp của người dùng URLLC [Mbps]

Hình 3.6: Tổng tỷ lệ người dùng URLLC so với
tổng tải URLLC cung cấp

Thuật toán được đề xuất được so sánh với một đường cơ sở sử dụng K-mean để phân cụm và công bằng
tỷ lệ dựa trên mức độ ưu tiên cho RA. Kết quả mơ phỏng cho thấy thuật tốn được đề xuất vượt trội
hơn so với đường cơ sở về độ trễ, độ tin cậy và tỷ lệ.

15


Kết luận và kiến nghị
Kết luận
• Các khái niệm cơ bản về Machine Learning và Reinforcement Learning.
• Các trường hợp và yêu cầu kỹ thuật sử dụng mạng 5G.
• Đề cập đến vấn đề phân bổ nhận biết QoS (đối với định dạng búp sóng)
và phân bổ tài nguyên trong mạng 5G.
• Đề xuất thuật tốn phân cụm trực tuyến DBSCAN để xác định số lượng
và cấu trúc của búp sóng để bao phủ người dùng mạng.
• Deep Q-learning dựa trên LSTM để thực hiện phân bổ tài nguyên trong
mỗi búp sóng.
• Kết quả mơ phỏng cho thấy rằng thuật toán được đề xuất vượt trội hơn
so với đường cơ sở về mức độ phổ biến, độ tin cậy và tỷ lệ người dùng
URLLC cũng như tỷ lệ người dùng eMBB.

Kiến nghị
• Tìm hiểu, áp dụng và thử nghiệm các thuật tốn AI khác để tìm ra một
mơ hình tối ưu nhất cho bài toán.
16

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
KHOA VIỄN THƠNG I

Thank you!