Tổng hợp các phương pháp áp dụng AI vào điều khiển hệ thống năng lượng tái tạo

CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION ELEVEN

TỔNG HỢP CÁC PHƯƠNG PHÁP ÁP DỤNG AI VÀO ĐIỀU KHIỂN
HỆ THỐNG NĂNG LƯỢNG TÁI TẠO
Nguyễn Duy Đức Anh, Bùi Đức Thịnh, Phạm Văn Nam,
Trần Tiến Dũng, TS. Vũ Thị Thúy Nga
Sinh viên Viện Điện, Trường Đại học Bách Khoa Hà Nội
Tác giả liên hệ:

TÓM TẮT
Bài nghiên cứu giới thiệu các phương pháp AI ứng dụng trong những bài toán điều khiển
hệ thống năng lượng tái tạo. Cách áp dụng một số thuật toán Reinforcement Learning
(RL) vào bài toán điều khiển nguồn sẽ được xây dựng cụ thể. Mục đích cuối cùng là điều
khiển công suất nguồn đạt cực đại.
Từ khóa: Năng lượng tái tạo, pin mặt trời, hệ bám điểm công suất cực đại, AI, Reinforcement
Learning, Deep Q-Network

1. GIỚI THIỆU
Trong những năm gần đây, thế giới chứng

hệ thống năng lượng tái tạo đã được các

kiến sự phát triển mạnh mẽ của năng

nhà khoa học đề xuất.

lượng tái tạo khi nó khơng chỉ thân thiện
với mơi trường mà cịn có tiềm năng giải

Trong hệ thống năng lượng tái tạo có rất

quyết nhu cầu năng lượng khi mà các

nhiều bài toán như hệ thống điều khiển,

nguồn năng lượng hóa thạch ngày càng

vận hành tối ưu, thị trường điện, đảm bảo

cạn kiệt [1]. Bên cạnh đó thì hệ thống điều

an tồn hệ thống. Bài nghiên cứu này sẽ

khiển là một khâu không thể thiếu để

tập trung vào việc áp dụng AI trong bài

đảm bảo hệ thống năng lượng tái tạo vận

toán vận hành tối ưu hệ thống nguồn.

hành ổn định và tối ưu. Rất nhiều phương

Thực tế hiện nay đã có những phương

pháp điều khiển khác nhau đã và đang

pháp truyền thống để xử lý bài toán bám

được sử dụng nhưng để hệ thống vận

điểm công suất cực đại của nguồn tiêu

hành linh hoạt và tối ưu hơn thì việc sử

biểu là phương pháp Perturbation and

dụng AI sẽ là xu hướng của tương lai do

Observation (P&O). Tuy nhiên để phương

đó rất nhiều phương án vận dụng AI vào

pháp đạt được hiệu suất tốt nhất cần phải

216 | DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO


CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION ELEVEN

có những sự hiểu biết chuyên sâu về hệ
thống để hiệu chỉnh thuật toán cho phù

Bức xạ
(kWh/m2/ngày)

3.8-4.1

4.2-4.4
Fuzzy Q-learning
(multi-agent)

hợp để tránh xảy ra dao động lớn xung
quanh điểm công suất cực đại cũng như

Cooperative RL
(multi-agent)

Single microgrid

DQN

thời gian quá độ lâu gây ra tổn thất [2].
Với xu hướng hiện tại AI được đưa vào sử

Combination
of ADP and RL
Phía cung cấp điện

Combination
of DNN and MC

Multi-microgrid

dụng để hệ thống vận hành hiệu quả và

EI

A3C

linh hoạt hơn, trong đó RL được sử dụng

IES

Q-learning

Single IES

nhiều trong hệ thống năng lượng tái tạo

DDQN
Q-learning

Hybrid ESSs

nhờ ưu điểm tự học và cải thiện thông qua

DDQN
Q-learning

Electric water
heater

việc đánh giá phản hồi để học chính sách

Fitted Q-iteration

tối ưu cho mục đích đề ra. Vì vậy RL là một

Q-learning

cơng cụ phù hợp để tối ưu hệ thống phi

HVAC

Combination of
RNN and
Actor-Critic

Battery

Dual iterative
Q-learning

như tính tin cậy của hệ thống [1].

Residential
customers in IES

Q-Learning

Tổng quát lại, bài nghiên cứu đề xuất

Thermostatically
controlled loads

Batch RL
(multi-agent)

thuật toán RL điều khiển công suất nguồn

Smart building(s)

DQN/ Deep Policy
Gradient

đạt cực đại cho hệ thống năng lượng tái

Different home
appliances

Q-learning
(multi-agent)

Wind resources,
PV,
diesel generators,
battery, and
customers

Q-learning
(multi-agent)

tuyến như hệ thống năng lượng tái tạo
nhằm cải thiện kinh tế, tính linh hoạt cũng

Phía người dùng

tạo. Mục đích việc sử dụng AI để đảm bảo
cơng suất ra có độ ổn định lớn và có tính

Cả hệ thống

linh hoạt cao khi thay đổi các trạng thái
hoạt động của tải.

Bảng 2. Tổng hợp các ứng dụng của RL
trong điều khiển hệ thống điện

2. CÁC BÀI TOÁN AI TRONG HỆ THỐNG
NĂNG LƯỢNG TÁI TẠO
Bảng 1. Tổng hợp các ứng dụng của RL
trong vận hành và tối ưu hóa năng lượng
bền vững và hệ thống điện

Phân loại

Thuật toán học

Emergency
control

Combination of RL and classical control
method

RL

DRL
RL
Normal
control

MPPT control

DRL
Transfer RL
RL
Combination of ANN and RL

DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO | 217


CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION ELEVEN

3. ỨNG DỤNG AI TRONG BÀI TỐN

4. KẾT QUẢ MƠ PHỎNG

MPPT CONTROL:

Ta mơ phỏng bài tốn MPPT control trong

Như vậy, từ bảng trên ta có thể thấy hệ

hệ thống năng lượng mặt trời với thuật

thống năng lượng tái tạo có rất nhiều vấn

toán P&O và Q-learning.

đề cần giải quyết. Tuy nhiên ở đây ta sẽ tập

trung giải quyết bài toán tối ưu phía nguồn
cấp (supply side) với mục tiêu chính là tối
đa hóa cơng suất nhận được từ nguồn tái
tạo (MPPT Control). Với đối tượng như tấm
PV, Free-model Reinforcement learning
mà cụ thể là Q-learning tỏ ra là phương

Hình 1. Đồ thị đáp ứng MPPT của thuật

pháp khá hiệu quả để có thể áp dụng. Tuy

toán P&O

nhiên trong thực tế, lượng dữ liệu trạng
thái của môi trường là rất lớn, việc sử dụng
Q-learning là không khả thi. Qua việc xấp
xỉ Q-table bằng một mạng neural, ta có
thể giảm đáng kể lượng tài nguyên tiêu
tốn. Phương pháp này được gọi là Deep
Reinforcement learning (kết hợp giữa Deep

Hình 2. Đồ thị đáp ứng MPPT của thuật
tốn Q-Learning

learning và Reinforcement learning).

Ta có thể thấy với phương pháp Q-Learning
ban đầu tuy mất thời gian để hệ thống học
nhưng sau khi học xong thì ta có điểm cực
đại dao động ít hơn nhiều với ΔΡ≈1.3W

trong khi với phương pháp truyền thống
P&O thì sẽ gây dao động ở điểm cực đại
khá lớn với ΔΡ≈6W gây tốn hao năng
lượng.

218 | DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO


CÁC ĐỀ XUẤT NGHIÊN CỨU KHOA HỌC - SESSION ELEVEN

5. KẾT LUẬN

TÁC GIẢ Ý TƯỞNG

Sau q trình phân tích bên trên ta có thể

Nguyễn Duy Đức Anh, sinh năm 1999, là

thấy rõ được ứng dụng rộng rãi của AI

sinh viên K62 Viện Điện, Trường Đại học

vào năng lượng tái tạo nói chung và năng

Bách khoa Hà Nội. Hướng nghiên cứu hiện

lượng mặt trời nói riêng. Do nhóm em

tại: Ứng dụng AI vào hệ thống điện mặt trời.

mới bắt đầu tham gia nghiên cứu trong
khoảng thời gian ngắn từ đầu kỳ học do
đó ở giai đoạn hiện tại nhóm mới tìm
hiểu được công nghệ và cách vận dụng
vào năng lượng mặt trời. Kế hoạch đặt ra

Phạm Văn Nam, sinh năm 1999, là sinh
viên K62 Viện Điện, Trường Đại học Bách
khoa Hà Nội. Hướng nghiên cứu hiện tại:
Ứng dụng AI vào hệ thống điện mặt trời.

trong thời gian tới của nhóm là sẽ sử dụng

Bùi Đức Thịnh, sinh năm 1999, là sinh viên

phương pháp phù hợp để áp dụng vào

K62 Viện Điện, Trường Đại học Bách khoa

bài toán MPPT nhắm tối ưu công suất của

Hà Nội. Hướng nghiên cứu hiện tại: Ứng

hệ thống và trong tương lai gần nhóm sẽ

dụng AI vào hệ thống điện mặt trời.

nhắm tới giải quyết vấn đề kiểm soát nhu
cầu năng lượng.

Trần Tiến Dũng, sinh năm 1999, là sinh
viên K62 Viện Điện, Trường Đại học Bách
khoa Hà Nội. Hướng nghiên cứu hiện tại:
Ứng dụng AI vào hệ thống điện mặt trời.

TÀI LIỆU THAM KHẢO
[1] Yang, T., Zhao, L., Li, W., & Zomaya, A. Y. (2020).
Reinforcement learning in sustainable energy

GIẢNG VIÊN HƯỚNG DẪN

and electric systems: A survey. Annual Reviews in

TS. Vũ Thị Thúy Nga, giảng viên bộ môn

Control.

Điều khiển tự động Viện Điện, Trường Đại

[2] Chou, K. Y., Yang, S. T., & Chen, Y. P. (2019).
Maximum power point tracking of photovoltaic

học Bách khoa Hà Nội. Hướng nghiên cứu:

system based on reinforcement learning. Sensors,

Điều khiển hệ điện cơ, Điều khiển Robot,

19(22), 5054.

Điều khiển hệ thống năng lượng tái tạo,
Ứng dụng AI trong điều khiển.

DIỄN ĐÀN SINH VIÊN 2020 - NĂNG LƯỢNG TÁI TẠO | 219