Tiểu luận Trình bày về hệ tri thức Tác tử thông minh Intelligent Agents

BỘ CÔNG THƯƠNG
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

BÁO CÁO TIỂU LUẬN

TÁC TỬ THƠNG MINH

GVHD:

TS. Nguyễn Thị Mỹ Bình

Sinh viên: Vũ Bảo Lâm – 2022700068
Trần Phi Lực – 2022700047
Nguyễn Đức Thắng – 2022700064
Nhóm:

5

Hà Nội – Năm 2022


LỜI MỞ ĐẦU
Hiện nay, khi máy tính, mạng và hệ thống máy tính phát triển, tính dễ
sử dụng khơng theo kịp rất nhiều chức năng tiên tiến hiện có sẵn. Kết quả là
máy tính đang trở thành ngày càng gây khó khăn cho người mới bắt đầu, và
thậm chí cả những người dùng lâu năm. Thông tin và xử lý nên có sẵn chỉ đơn
giản là khơng thể truy cập được. Trong cuộc sống của chúng ta, khi chúng ta
thấy mình ở một vị trí mà thời gian và các hoạt động vượt qua chúng ta,
chúng ta tìm kiếm sự giúp đỡ dưới dạng như 1 trợ lý. Tác tử thông minh là
phần mềm hỗ trợ mọi người và hành động thay mặt họ. Tác tử thông minh
làm việc bằng cách cho phép mọi người ủy quyền công việc mà họ có thể đã

làm, cho phần mềm tác tử. Tác tử cũng như các trợ lý có thể tự động hóa các
cơng việc lặp đi lặp lại, ghi nhớ những điều bạn đã qn một cách thơng minh
tóm tắt dữ liệu phức tạp, học hỏi từ bạn và thậm chí đưa ra các đề xuất cho
bạn.
Mục tiêu của bài tiểu luận là trình bày được khái niệm căn bản về tác tử
thông minh, phân loại và các ứng dụng của tác tử thơng minh trong thực tế.
Trong q trình làm bài tiểu luận do còn hạn chế về mặt thời gian và
kinh nghiệm cịn nhiều hạn nên khơng thể tránh khỏi cịn nhiều thiếu sót. Rất
mong được sự đóng góp ý kiến của Thầy, Cơ để chúng em có thể học hỏi
được nhiều kinh nghiệm và hoàn thành các bài tiểu luận khác tốt hơn.
Đặc biệt em xin gửi lời cảm ơn đến cơ TS. Nguyễn Thị Mỹ Bình đã
nhiệt tình giảng dạy trong các buổi học, và hỗ trợ chúng em hồn thiện bài
báo cáo được tốt hơn.

Hà nơi, 26 tháng 10 năm 2022
Sinh viên thực hiện
Nhóm 5
2


MỤC LỤC
LỜI MỞ ĐẦU___________________________________________________i
MỤC LỤC_____________________________________________________ii
DANH MỤC HÌNH VẼ__________________________________________iv
CHƯƠNG I: TÁC TỬ THÔNG MINH_______________________________1
1.1

Khái niệm________________________________________________1

1.1.1

Khái niệm tác tử_______________________________________1

1.1.2

Khái niệm tác tử thông minh______________________________2

1.2

Đặc trưng cơ bản của tác tử thông minh________________________3

1.3

Mô hình tác tử thơng minh__________________________________4

1.3.1

Chức năng nghiệp vụ____________________________________4

1.3.2

Tri thức______________________________________________5

1.3.3

Liên tác______________________________________________5

1.4

Lợi ích của tác tử__________________________________________5

CHƯƠNG II: PHÂN LOẠI TÁC TỬ THÔNG MINH___________________8
2.1

Tác tử phản xạ đơn giản (Simple reflex agents)__________________8

2.2

Tác tử phản xạ dựa trên mơ hình (Model based reflex agents)______10

2.3

Tác tử phản xạ dựa trên mục tiêu (Goal-based agents)____________12

2.4

Tác tử hướng lợi ích (Utility based agents)_____________________14

2.5

Tác tử học tập (Learning Agents)____________________________15

CHƯƠNG III: HỆ THỐNG ĐA TÁC TỬ____________________________17
3.1

Khái niệm_______________________________________________17

3.2

Phân loại hệ thống đa tác tử_________________________________19

3.2.1
3.3

Kiến trúc bên trong (Internal Architecture)__________________20

Tổ chức tác tử___________________________________________21

3.3.1

Tổ chức phân cấp (Hierarchical Organization)_______________21

3.3.2

Tổ chức tác tử Holonic (Holonic Agent Organization)_________23

3.3.3

Liên minh các tác tử (Coalitions multi-agents)_______________24

3.3.4

Nhóm tác tử (Teams)___________________________________26
3


3.4 Giao tiếp bên trong hệ thống đa tác tử (Communications in MultiAgent System)________________________________________________28
3.4.1

Giao tiếp cục bộ (Local Communications)__________________28

3.4.2

Blackboards__________________________________________29

3.4.3 Ngôn ngữ giao tiếp giữa các tác tử(Agent Communication
Language)_________________________________________________30
3.5

Ra quyết định trong hệ thống đa tác tử________________________33

3.5.1

Trạng thái cân bằng Nash (Nash Equilibrium)_______________34

3.6 Điều phối trong hệ thống đa tác tử (Coordination in Multi-Agent
System)_____________________________________________________35
3.6.1

Điều phối thông qua giao thức___________________________36

3.6.2

Điều phối qua đồ thị (Coordination via Graphs)______________38

3.6.3

Điều phối thơng qua mơ hình Belief_______________________39

3.7 Khả năng học tập trong hệ thống đa tác tử (Learning in a Multi-Agent

System)_____________________________________________________39
3.7.1

Active learning_______________________________________40

3.7.2

Reactive Learning_____________________________________41

3.7.3

Learning Based on Consequence__________________________42

Kết luận______________________________________________________44
Tài liệu tham khảo______________________________________________45

4


Báo cáo tiểu luận – Nhóm 5

DANH MỤC HÌN
Hình 1. 1 Kiến trúc tác tử thơng minh________________________________5
Hình 1. 2 Mơ hình tác tử thơng minh_________________________________6
YHình 2. 1 Sơ đồ hoạt động tác tử phản xạ đơn giản___________________12
Hình 2. 2 Sơ đồ hoạt động của tác tử phản xạ dựa trên mơ hình___________13
Hình 2. 3 Sơ đồ hoạt động của tác tử phản xạ dựa trên mục tiêu___________15
Hình 2. 4 Sơ đồ hoạt động của tác tử hướng lợi ích_____________________17
Hình 2. 5 Sơ đồ hoạt động của tác tử học tập__________________________18
YHình 3. 1 Phân loại Hệ thống đa tác tử theo thuộc tính________________22

Hình 3. 2 Kiến trúc phân cấp tác tử________________________________24
Hình 3. 3 Một ví dụ về Superholon với các holon lồng nhau như MAS phân
cấp__________________________________________________________26
Hình 3. 4 Kiến trúc liên minh đa tác tử sử dụng các nhóm chồng nhau._____27
Hình 3. 5 Các đội/ nhóm tác tử điển hình dựa trên kiên trúc với chế độ xem từ
các nhóm khác._________________________________________________29
Hình 3. 6 Thông điệp được truyền đến với nhau giữa các tác tử___________31
Hình 3. 7 a, Kiểu giao tiếp thơng qua blackboard giữa các tác tử. b, Giao tiếp
blackboard sử dụng giao tiếp từ xa giữa các tác tử._____________________32
Hình 3. 8 KQML – Cấu trúc ngôn ngữ phân lớp_______________________35

5


Báo cáo tiểu luận – Nhóm 5

6


CHƯƠNG I: TÁC TỬ THÔNG MINH
1.1 Khái niệm
1.1.1 Khái niệm tác tử
Khái niệm tác tử có nguồn gốc từ những nghiên cứu và phát triển của
lĩnh vực trí tuệ nhân tạo và Robot. Ý tưởng ban đầu gắn với quan niệm tác tử
như thực thể phần mềm có khả năng thực thi các nghiệp vụ thay thế cho
người dùng dựa trên biểu diễn tri thức, khả năng suy luận và học. Sau đó, các
tác tử là thực thể phần mềm có khả năng di động, tương tác, phối hợp, cộng
đồng, thích nghi, uỷ thác, tự trị, vv..., được sử dụng để xây dựng và phát triển
ứng dụng trong các lĩnh vực cơ bản như sau:
 Giải pháp để phát triển kỹ thuật tương tác người-máy và liên tác giữa

các thành phần trên môi trường phân tán.
 Sử dụng tác tử để xây dựng chương trình ứng dụng và dịch vụ theo các
yêu cầu, sở thích và mục đích của người dùng.
 Công cụ để quản lý, thu nhận, lọc, phổ biến và truyền tải thơng tin trên
các mạng máy tính. Tăng cường hiệu năng của ứng dụng trên mạng,
đặc biệt là mạng Internet.
 Sử dụng công nghệ tác tử để phát triển thương mại điện tử theo nhiều
dạng khác nhau.
 Tác tử là công cụ quản lý trong sản xuất và kinh doanh (Robot).
Khái niệm tác tử trong từ điển Thế giới mới của Webster được trình bày
như sau: Tác tử là một thực thể phần mềm, đại diện cho người sử dụng để
thực hiện các nhiệm vụ được giao trong hệ thống cục bộ hoặc trong một hệ
thống ở nơi khác.
Khái niệm về tác tử nêu trên thể hiện được hai đặc trưng chủ yếu sau:
 Tác tử hoạt động nhân danh một người hay một hệ thống.
 Tác tử có thể làm nhiều việc.


Có thể phân loại và thiết kế cài đặt tác tử dựa trên 3 đặc trưng chủ yếu,
gồm môi trường, nhiệm vụ và kiến trúc của tác tử:
 Môi trường: Các tác tử được thiết kế để thực hiện trong một môi trường
cụ thể, chẳng hạn: hệ điều hành máy tính, hệ ứng dụng, mạng máy tính,
mơi trường Internet, mơi trường Web, vv...
 Nhiệm vụ: Chức năng nghiệp vụ được tác tử đại diện thực thi thường
thể hiện ở tên của tác tử. Chẳng hạn, tác tử lọc thông tin, tác tử truy
xuất thơng tin, tác tử tìm kiếm, tác tử giám sát hệ thống, vv...
 Kiến trúc: Các tác tử cũng được đặt tên theo kiến trúc tri thức bên
trong. Chẳng hạn, tác tử học gán với quá trình học của tác tử, tác tử chỉ
dẫn, tác tử tư vấn, vv...
1.1.2 Khái niệm tác tử thông minh

Tác tử thông minh (Intelligent Agent): là một thực thể phần mềm thực
thi nhiệm vụ đại diện cho người dùng với khả năng tự trị.
Tác tử thông minh là một thực thể phần mềm có khả năng thu nhận những
yêu cầu, sự kiện từ người dùng, môi trường và dựa trên cơ sở những phương
thức, cơ chế lựa chọn, suy diễn và học để tạo ra những quyết định trả lời hay
tác động trở lại mơi trường và tác tử có khả năng tự trị khi hoạt động trong
mơi trường phân tán (Hình 1.1).

Hình 1. 1 Kiến trúc tác tử thơng minh


Hiện nay, cơng nghệ tác tử thơng minh được tích hợp từ những nghiên
cứu của ba lĩnh vực chủ yếu gồm: Trí tuệ nhân tạo, cơng nghệ phần mềm và
tương tác người- máy. Khả năng thông minh của tác tử được nghiên cứu dựa
trên các lý thuyết suy luận, hệ thống luật và khả năng học. Công nghệ phần
mềm xây dựng tác tử thông minh dựa trên các lĩnh vực: Tiếp cận hướng đối
tượng, phát triển ứng dụng phân tán, kiểm soát trực tuyến (on-line), triệu gọi
từ xa, suy diễn dựa trên các sự kiện và quá trình hành động. Tương tác ngườimáy thể hiện tác tử thông minh được rút ra từ lĩnh vực: Tâm lý học nhận thức,
mô hình người dùng, kinh nghiệm chuyên gia và các hệ thống trợ giúp thông
minh.
1.2 Đặc trưng cơ bản của tác tử thơng minh
Tác tử thơng minh có những đặc trưng cơ bản như : Được ủy quyền, khả
năng tương tác, tự trị, giám sát và quản lý môi trường, thông minh.
 Được ủy quyền: Tác tử thực thi một tập các nhiệm vụ (tasks) thay mặt
cho người dùng, hệ thống hay tác tử khác.
 Khả năng tương tác: Các tác tử có khả năng tương tác với người dùng
để nhận được những chỉ dẫn về các công việc được ủy quyền và cung
cấp thông tin, trạng thái về công việc. Công việc này được thực hiện
thông qua giao diện giữa người dùng và tác tử hoặc bằng ngôn ngữ giao
tiếp dùng cho tác tử.

 Tự trị: Các tác tử thực thi không cần sự can thiệp trực tiếp của người
dùng, sau khi trao các quyền thực thi cho tác tử. Khả năng thực thi tự
động của tác tử có thể chỉ là khởi động một chương trình cho đến việc
liên tác, đàm phán trên mạng để thực thi nhiệm vụ.
 Giám sát và quản lý môi trường: Các tác tử có khả năng giám sát và
quản lý mơi trường hoạt động của mình nhằm thực thi các cơng việc
một cách tự động.


 Thơng minh: Tính thơng minh thể hiện qua việc thu nhận và diễn giải
các sự kiện (thông tin về mơi trường) và đưa ra quyết định thích hợp
nhất phục vụ cho các hoạt động tự trị của tác tử.
Ngoài ra, tác tử thơng minh cịn có thể có những đặc trưng khác như: Tính
di động, bảo mật, tính cá nhân, phối hợp, cộng đồng, thích nghi, vv...
1.3 Mơ hình tác tử thông minh
Trên cơ sở tập các đặc trưng của tác tử thông minh, A.Caglayan và
C.Harrison đã đưa ra mơ hình tổng qt của tác tử gồm 3 thành phần cơ bản:
chức năng nghiệp vụ, tri thức và liên tác (Hình 1.2).

Hình 1. 2 Mơ hình tác tử thơng minh
1.3.1 Chức năng nghiệp vụ
Các chức năng nghiệp vụ bao gồm các qui trình nghiệp vụ nhằm đạt
mục tiêu khi thực hiện nhiệm vụ, chỉ rõ chức năng của tác tử, dịch vụ của tác
tử thông minh, chẳng hạn như: cung cấp thông tin, lọc thông tin, các truy vấn
cơ sở dữ liệu, kiểm soát, hướng dẫn, vv... Các chức năng nghiệp vụ thể hiện
khả năng nhận thức về môi trường của tác tử thông qua các bộ cảm biến và
hành động dựa theo môi trường để thực hiện các nhiệm vụ.


1.3.2 Tri thức

Tri thức của tác tử mô tả tập các luật tác tử sử dụng để hoàn thành
nhiệm vụ. Các tác tử (tự trị và bán tự trị) cần có tri thức về mơi trường. Như ở
Hình 1.2, tri thức có thể có được thu nhận thơng qua nhiều nguồn khác nhau.
Tri thức trong mỗi tác tử có thể được thu nạp trực tiếp theo những cách
như sau:
 Từ người phát triển tác tử: Bao gồm tri thức về lĩnh vực ứng dụng, tri
thức hướng người dùng làm nền tảng xây dựng cơ chế suy diễn trong
cơ sở tri thức. Tri thức được tổ chức dưới dạng luật hay các cấu trúc
khung. Điểm bất lợi của các tri thức loại này là thiếu khả năng tuỳ biến
trong quá trình thực thi nhiệm vụ.
 Từ người dùng: Bao gồm các luật, các cơ chế suy diễn do người sử
dụng thiết lập, hỗ trợ tác tử thực hiện được các nhiệm vụ trong các tình
huống khác nhau. Khi đó, hệ thống phải cho phép người dùng dõi vết
các hành động của tác tử. Điểm bất lợi chính của các tri thức loại này là
sự áp đặt khi thiết lập tác tử từ phía người dùng.
 Thơng qua trao đổi tri thức giữa các tác tử: Để làm được điều này cần
có ngôn ngữ cho phép trao đổi tri thức trong cộng đồng các tác tử.
1.3.3 Liên tác
Các kỹ năng giao tiếp giữa tác tử và người dùng được thể hiện dưới
dạng các giao diện thu nhận thông tin, câu hỏi khảo sát, các báo cáo,……
Trong quá trình thực thi nhiệm vụ, thành phần liên tác của tác tử chịu
trách nhiệm thu nhận, trao đổi thông tin với các tác tử bên trong và bên ngồi
hệ thống. Trong mơi trường đa tác tử phân tán, các thủ tục giao tiếp và tương
tác giữa các tác tử rất phức tạp và chịu sự kiểm sốt của người thiết kế hệ
thống.
1.4 Lợi ích của tác tử


Xuất phát từ nghiên cứu về đặc trưng và mô hình kiến trúc, tác tử thơng
minh là một trong những giải pháp khả thi để phát triển ứng dụng phức tạp

trong môi trường phân tán. Đặc biệt, để phát triển ứng dụng theo yêu cầu của
người dùng công nghệ tác tử có những thuận lợi cơ bản như sau:
Khả năng tự động: Tác tử có khả năng tự động thực thi các nhiệm vụ, đại
diện cho người sử dụng như:
 Hành vi lặp đi lặp lại của một người sử dụng.
 Hành vi tương tự của một nhóm những người sử dụng.
 Hành vi liên tục lặp đi lặp lại của một số người sử dụng trong luồng
công việc.
Khả năng tùy biến theo yêu cầu người dùng: Một tác tử có khả năng
tuỳ biến khi cung cấp thơng tin theo yêu cầu của người dùng, chẳng hạn tác tử
tìm kiếm và cung cấp thông tin theo chủ đề cụ thể người dùng quan tâm trên
môi trường Internet.
Khả năng thông báo và hướng dẫn cho người dùng: Một tác tử có khả
năng cung cấp các dịch vụ dưới dạng các thông báo đến một người sử dụng
về việc thay đổi của các sự kiện quan trọng được các cá nhân quan tâm.
Chẳng hạn, một tác tử có thể kiểm sốt các thay đổi của các trang Web được
chú ý và báo cáo các thay đổi này cho người sử dụng. Thay cho việc đào tạo
truyền thống, tác tử có thể hướng dẫn người dùng thực hiện cơng việc theo
một qui trình cụ thể, thơng qua q trình suy luận và kiểm sốt.
Khả năng học: Tác tử có khả năng học để thực thi nhiệm vụ một cách tự
động. Ngoài ra, tác tử có thể học để xác định các khả năng tuỳ biến theo yêu
cầu người dùng: Học nhằm tự động hóa các nhiệm vụ lặp đi lặp lại của người
sử dụng. Các khía cạnh về nhiệm vụ (cái gì, khi nào, như thế nào) sẽ được tác
tử thực thi một cách tự động; Học các đặc trưng, yêu cầu tương tự của nhóm
người sử dụng, trên cơ sở đó có thể tùy biến thông tin theo yêu cầu; Học các
hành vi tương tự của nhóm người sử dụng, trên cơ sở đó tăng cường hiệu quả


công việc trong tổ chức; Học những hành vi thường xun, có tính định kỳ
của nhóm người sử dụng trong một luồng công việc.

Khả năng di động: Tác tử cho phép người sử dụng hồn thành cơng việc
ở xa, khơng trực tuyến (off-line), chẳng hạn, di chuyển từ nơi này đến nơi
khác, tương tác với các tác tử khác để thực hiện các nhiệm vụ nhân danh
người sử dụng.

CHƯƠNG II: PHÂN LOẠI TÁC TỬ THÔNG MINH


Dựa trên mức độ thông minh và mức độ nhận thức, tác tử thông minh
được phân loại như sau:






Tác tử phản xạ đơn giản (Simple reflex agents)
Tác tử phản xạ dựa trên mơ hình (Model-based reflex agents)
Tác tử dựa trên mục tiêu (Goal-based agents)
Tác tử dựa trên lợi ích (Utility-based agents)
Tác tử học tập (Learning-agents)

2.1 Tác tử phản xạ đơn giản (Simple reflex agents)
Tác tử phản xạ đơn giản là tác tử cơ bản nhất trong số các tác tử thơng
minh hiện có. Nó thực hiện các hành động dựa trên tình huống hiện tại. Khi
có điều gì đó xảy ra trong môi trường của tác tử phản xạ đơn giản, tác tử sẽ
nhanh chóng quét cơ sở kiến thức của mình để biết cách ứng phó với tình
huống hiện tại dựa trên các quy tắc được xác định trước.
Hiểu đơn giản là tác tử có 1 tập luật và có lưu trữ (biết) 1 loạt các trạng
thái của mơi trường, nếu gặp trạng thái này thì có luật này, luật này sẽ trả ra 1

hành động tương ứng
Các tác tử phản xạ đơn giản là: Đơn giản. Nó khơng thể tính tốn các
phương trình phức tạp hoặc giải quyết các vấn đề phức tạp. Chúng chỉ hoạt
động trong môi trường hồn tồn có thể quan sát được theo cảm nhận hiện tại,
bỏ qua bất kỳ lịch sử nhận thức nào.
Ví dụ: Nếu bạn có bóng đèn thơng minh, hãy đặt để bật lúc 6 giờ chiều.
Mỗi đêm, bóng đèn sẽ không nhận ra và đèn không cần thiết cho đến sau này.
Nó sẽ tiếp tục bật đèn lúc 6 giờ chiều. Bởi vì đó là quy tắc nó tn theo các
tác tử phản xạ đơn giản được xây dựng dựa trên quy tắc điều kiện - hành
động.
Những tác tử này chỉ đơn giản là quyết định các hành động dựa trên
nhận thức hiện tại của nó. Bằng cách xác định rằng các hành động nhất định
được đảm bảo trong các điều kiện nhất định, tác tử có thể xây dựng danh sách


các quy tắc hành động theo điều kiện và sử dụng chúng để quyết định hành
động nào cần thực hiện.
Quy tắc điều kiện-hành động có hai khía cạnh. Nó trình bày điều kiện
hoặc môi trường hiện tại, yêu cầu hành động mà tác tử đã được yêu cầu thực
hiện. Nếu điều kiện cụ thể không được đáp ứng, hành động - bất kể cần thiết
như thế nào - sẽ không xảy ra. Nó có thể tn theo cơng thức '' nếu cái này, thì
cái kia '', chẳng hạn như, '' Nếu nhiệt độ trong thiết bị đạt 75 độ, máy điều hịa
khơng khí sẽ bật. ''

Ngun lý:


Function SIMPLE-REFLEX-AGENT (percept) -> return action:
static: rules, a set of condition-action rules
state ← INTERPRET-INPUT (percept)

rule ← RULE-MATCH (state, rules)
action ← RULE-ACTION [rule]
return action

Hình 2. 1 Sơ đồ hoạt động tác tử phản xạ đơn giản
2.2 Tác tử phản xạ dựa trên mơ hình (Model based reflex agents)
Tác tử phản xạ dựa trên mơ hình là tác tử sử dụng lịch sử cảm nhận và
bộ nhớ trong của nó để đưa ra quyết định về ''mơ hình'' bên trong của thế giới
xung quanh nó. Bộ nhớ trong cho phép các tác tử này lưu trữ một số lịch sử
điều hướng của họ và sau đó sử dụng lịch sử bán chủ quan đó để giúp hiểu
mọi thứ về mơi trường hiện tại của họ - ngay cả khi không thể quan sát trực
tiếp mọi thứ họ cần biết. Bạn yêu cầu một nhận thức là gì? Nhận thức là kết
quả lâu dài của một cái gì đó chúng ta đã nhận thức được, mà thay vì nhận
thức ngay lập tức, là cái mà chúng ta biết rằng chúng ta có thể nhận thức
được.


Tác tử lưu internal states dựa trên chuỗi percept, phản ánh ít nhất một
vài khía cạnh khơng quan sát được môi trường.
Nguyên lý:
Function SIMPLE-REFLEX-AGENT (percept) -> return action:
static: rules, a set of condition-action rules
state, a description of the current world state
action, the most recent action, initially none
state ← UPDATE-STATE (state, action, percept)
rule ← RULE-MATCH (state, rules)
action ← RULE-ACTION [rule]
return action

Hình 2. 2 Sơ đồ hoạt động của tác tử phản xạ dựa trên mơ hình

Đầu tiên sensors của tác tử nhận input từ mơi trường. nhưng ngồi việc
nhận input, đối sánh luật và đưa ra hành động, tác tử này thơng minh hơn 1 tí,


nó kiểm tra state của mơi trường, đối chứng xem mơi trường thay đổi như thế
nào và xem lại nó đã làm gì trước đó để đưa ra 1 hành động thích hợp nhất
(hay tìm 1 luật phù hợp nhất trong trường hợp này). Tác tử dạng này tiến hóa
hơn tác tử dạng trước một chút, đó là thay vì chỉ nhận input từ môi trường và
đối chiếu luật đưa ra hành động, tác tử này biết thêm thông tin về môi trường
(cụ thể là sự thay đổi của môi trường) và sử dụng hành động trước đó để đưa
ra hành động hiện thời phù hợp.
Đây là nơi mà '' mơ hình '' về cách mọi thứ xảy ra trên thế giới xung
quanh nó phát huy tác dụng trong loại tác tử này. Nó sử dụng khả năng học
tập nội bộ của nó (và mơ hình tự xây dựng của một thế giới mà nó hiểu rằng
nó là một phần của nó) để đưa ra quyết định của mình. Nó có thể sử dụng lịch
sử quan sát của nó (lưu trữ nội bộ các khái niệm trước đó) để điền vào những
điều nó cần biết để hiểu rõ hơn về những thứ hiện tại không thể quan sát được
thường là một phần vật lý của hệ thống mà nó vận hành. Có nhiều bằng chứng
cho thấy con người có thể sử dụng một phương pháp tương tự để hiểu thế giới
mới của chúng.
2.3 Tác tử phản xạ dựa trên mục tiêu (Goal-based agents)
Tác tử dựa trên mục tiêu là tác tử trí tuệ nhân tạo phản ứng với mơi
trường của nó và điều chỉnh cho phù hợp để đạt được mục tiêu. Kiểm tra định
nghĩa, ví dụ và mở rộng các tác tử dựa trên mục tiêu.


Hình 2. 3 Sơ đồ hoạt động của tác tử phản xạ dựa trên mục tiêu
Các dạng đích:
 Một trạng thái.

 Tập các trạng thái thỏa mãn một số tính chất nào đó.
 Một phép thử áp dụng vào trạng thái và thơng báo có thỏa đích hay
khơng.
 Đích khiến tác tử phải suy luận về tương lai hoặc các trạng thái khác.
Có thể có trường hợp khơng có hành động nào đưa đến đích.
Thiết lập mục tiêu: Trong trí tuệ nhân tạo, các tác tử thơng minh cũng có
thể là người đặt mục tiêu. Thay vì chỉ phản ứng với môi trường hiện tại, loại
tác tử mà chúng ta đang thảo luận trong bài học này thực sự có thể đưa ra
quyết định tiến gần hơn đến mục tiêu đã định. Đây là, được đặt tên thích hợp,
là một tác tử dựa trên mục tiêu.
Xác định tác tử dựa trên mục tiêu: Nó hoạt động dựa trên một mục tiêu
phía trước và đưa ra quyết định dựa trên cách tốt nhất để đạt được mục tiêu
đó. Khơng giống như tác tử phản xạ đơn giản chỉ đưa ra quyết định dựa trên


môi trường hiện tại, tác tử dựa trên mục tiêu có khả năng suy nghĩ xa hơn thời
điểm hiện tại để quyết định những hành động tốt nhất cần thực hiện để đạt
được mục tiêu. Về mặt này, tác tử dựa trên mục tiêu hoạt động như một chức
năng tìm kiếm và lập kế hoạch, có nghĩa là nó nhắm đến mục tiêu phía trước
và tìm ra hành động phù hợp để đạt được mục tiêu đó. Điều này giúp người
đại diện dựa trên mục tiêu chủ động hơn là chỉ phản ứng trong q trình ra
quyết định.
Bạn có thể áp dụng cách tiếp cận dựa trên mục tiêu cho các nhiệm vụ tại
nơi làm việc. Ví dụ: bạn có thể đặt mục tiêu trở thành một nhân viên đánh
máy hiệu quả hơn, điều này sẽ giúp bạn hoàn thành bài tập nhanh chóng hơn.
Sau đó, một bước để đạt được mục tiêu đó có thể là đăng ký một khóa học
đánh máy hoặc dành 15 phút mỗi ngày để luyện tập nhằm tăng số lượng từ
mỗi phút của bạn. Các quyết định của bạn rất linh hoạt, là dấu hiệu của những
tác tử dựa trên mục tiêu, nhưng trọng tâm ln là đạt được mục tiêu phía
trước.

Mở rộng tác tử dựa trên mục tiêu: Tác tử dựa trên mục tiêu mở rộng
trên khái niệm tác tử dựa trên mô hình vì sự hiện diện của chính mục tiêu. Tác
tử dựa trên mơ hình sử dụng lịch sử cảm nhận và bộ nhớ trong để hiểu thế
giới xung quanh. Tác tử dựa trên mục tiêu sẽ đưa mơ hình này tiến thêm một
bước nữa bằng cách triển khai một kết quả hoặc mục tiêu mong muốn, sau đó
đưa ra quyết định về cách tốt nhất để tiến tới mục tiêu đó.
2.4 Tác tử hướng lợi ích (Utility based agents)
Tác tử dựa trên tiện ích là tác tử hành động khơng chỉ dựa trên mục tiêu
là gì, mà cịn là cách tốt nhất để đạt được mục tiêu đó. Nói tóm lại, tính hữu
dụng (hay tiện ích) của tác tử làm cho nó trở nên khác biệt với các đối tác của
nó.
Các tác tử thực hiện hành động sao cho có lợi nhất về lâu dài.


Các tác tử muốn thực hiện hành động đem lại lợi ích lớn hơn.
Có thể suy luận về các nhiệm vụ có nhiều đích, về sự xung đột giữa các
đích, và về các tình huống khơng chắc chắn.
Ví dụ: Bài toán robot lau nhà, thừa nhận rằng robot ưu tiên lau gạch
bẩn nhất là 1 mục tiêu nhỏ, lau sạch tồn bộ căn phịng là mục tiêu lớn, nhưng
đi theo viên gạch nào sẽ làm cho việc lau nhà hiệu quả nhất (tiết kiệm pin,
thời gian, ít viên gạch bị lau lại lần 2... là 1 trong các tiêu chí đánh giá hiệu
quả của robot) Từ đó, ta sinh ra hàm đánh giá lợi ích của tác tử.

Hình 2. 4 Sơ đồ hoạt động của tác tử hướng lợi ích
2.5 Tác tử học tập (Learning Agents)
Tác tử học hỏi trong AI là loại tác tử có thể học hỏi từ những kinh
nghiệm trong quá khứ của nó hoặc nó có khả năng học hỏi. Nó bắt đầu hành
động với kiến thức cơ bản và sau đó có thể hành động và thích ứng tự động
thơng qua học tập.
Các thành phần giúp tạo nên tác tử có khả năng học tập:

 Learning element: Giúp cái thiện hiệu quả hoạt động dựa trên các
đánh giá, để thay đổi cải thiện các thành phần hành động.
 Critic: Để đánh giá hiệu quả hoạt động
 Problem generator: Có trách nhiệm đề xuất các hành động giúp sản
sinh dẫn đến có kinh nghiệm mới.
 Performance element: Đảm nhiệm việc lựa chọn các hành động

Hình 2. 5 Sơ đồ hoạt động của tác tử học tập

CHƯƠNG III: HỆ THỐNG ĐA TÁC TỬ


3.1 Khái niệm
Trong thế giới thực, tiềm năng tồn tại để phát triển các hệ thống phần
mềm được tạo thành các tác tử thông minh hợp tác để đạt được mục tiêu
chung và trong quá khứ vài năm một số nghiên cứu đã được thực hiện trong
lĩnh vực này. Một ứng dụng rõ ràng cho công nghệ này sẽ là sự phát triển của
những người lính robot nơi một trung sĩ sẽ tổ chức và quản lý một đội các tư
nhân. Trong khi trung sĩ sẽ phát hành hướng dẫn cho nhóm, các rơ bốt riêng lẻ
sẽ vẫn đưa ra các quyết định tự chủ phù hợp với vai trò của họ trong nhóm.
Làm việc với tư cách một nhóm sẽ yêu cầu mục tiêu chung và khả năng tương
tác và giao tiếp.
Hệ thống đa tác tử đã được áp dụng rộng rãi trong nhiều lĩnh vực ứng
dụng vì những lợi thế có lợi mang lại. Một số lợi ích có sẵn bằng cách sử
dụng Cơng nghệ MAS trong các hệ thống lớn là:
 Tăng tốc độ và hiệu quả của hoạt động do song song tính tốn và hoạt
động không đồng bộ.
 Sự xuống cấp của hệ thống khi một hoặc nhiều tác tử bị lỗi. Nó .do đó

làm tăng độ tin cậy và mạnh mẽ của hệ thống.
 Khả năng mở rộng và tính linh hoạt- Có thể thêm các tác tử khi cần
thiết.
 Giảm chi phí- Điều này là do các tác tử riêng lẻ có chi phí thấp hơn
nhiều so với kiến trúc tập trung.
 Các tác tử tái sử dụng có cấu trúc mơ-đun và chúng có thể dễ dàng thay
thế trong hệ thống khác hoặc được nâng cấp dễ dàng hơn hệ thống
nguyên khối.
Mặc dù hệ thống đa tác tử có các tính năng có lợi hơn tác tử đơn lẻ
hệ thống, chúng cũng đưa ra một số thách thức quan trọng.
Môi trường (Environment): Trong một hệ thống nhiều tác tử, hành
động của một tác tử không chỉ sửa đổi môi trường của riêng mình mà cịn của


các nước láng giềng. Điều này đòi hỏi mỗi tác tử phải dự đoán hành động của
các tác tử khác để quyết định hành động tối ưu sẽ được hướng đến mục tiêu.
Kiểu học đồng thời này có thể dẫn đến hành vi và có thể gây ra hỗn loạn. Vấn
đề cịn phức tạp hơn, nếu mơi trường năng động. Sau đó, mỗi tác tử cần phải
phân biệt giữa các tác động gây ra do các hành động tác tử khác và các biến
thể trong chính mơi trường.
Nhận thức (Perception): Trong một hệ thống nhiều tác tử phân tán, các
tác tử nằm rải rác trên Môi trường. Mỗi tác tử có một khả năng cảm biến hạn
chế vì phạm vi hạn chế và phạm vi phủ sóng của các cảm biến được kết nối
với nó. Điều này giới hạn chế độ xem có sẵn cho mỗi các tác tử trong mơi
trường. Do đó, các quyết định dựa trên các quan sát từng phần được thực hiện
bởi mỗi tác tử có thể là tối ưu dưới mức tối ưu và đạt được giải pháp tồn cầu
bằng cách điều này có nghĩa là trở nên khó chữa.
Abstraction: Trong hệ thống tác tử, giả định rằng một tác tử biết tồn
bộ khơng gian hành động của nó và ánh xạ của khơng gian trạng thái sang
khơng gian hành động có thể được thực hiện bằng kinh nghiệm. Trong MAS,

mọi tác tử không trải qua tất cả các trạng thái. Để tạo một bản đồ, nó phải có
khả năng học hỏi kinh nghiệm của các tác tử khác có khả năng tương tự hoặc
ra quyết định quyền hạn. Trong trường hợp các tác tử hợp tác với các mục tiêu
tương tự, điều này có thể được thực hiện dễ dàng bằng cách tạo thông tin liên
lạc giữa các tác tử. Trong trường hợp các tác tử cạnh tranh thì khơng có thể
chia sẻ thơng tin vì mỗi tác tử cố gắng tăng cơ hội của chính mình của chiến
thắng. Do đó, điều cần thiết là phải định lượng bao nhiêu thông tin địa
phương và các khả năng của tác tử khác phải được biết đến để tạo ra một mơ
hình cải tiến của Mơi trường.
Giải quyết xung đột (Conflict resolution): Xung đột bắt nguồn từ việc thiếu
cái nhìn tồn cầu cho mỗi các tác tử. Một hành động được chọn bởi một tác tử
để sửa đổi một trạng thái nội bộ cụ thể có thể là ảnh hưởng cho một tác tử


khác. Trong những trường hợp này, thông tin về các ràng buộc, sở thích hành
động và ưu tiên mục tiêu của các tác tử phải được chia sẻ giữa các tác tử để
cải thiện sự hợp tác. Một vấn đề chính là biết khi nào nên truyền đạt thơng tin
này và cho tác tử nào.
Suy luận (Inference): Một suy luận của hệ thống tác tử đơn lẻ có thể dễ dàng
rút ra bằng cách ánh xạ Trạng thái Không gian đến Không gian Hành động
dựa trên các phương pháp thử và sai. Tuy nhiên trong MAS, điều này rất khó
vì môi trường đang được sửa đổi bởi nhiều tác tử có thể hoặc có thể khơng
tương tác với nhau. Hơn nữa, MAS có thể bao gồm tác tử khơng đồng nhất,
đó là các tác tử có các mục tiêu và khả năng khác nhau. Này có thể khơng hợp
tác và cạnh tranh với nhau. Xác định một phù hợp cơ chế suy luận phù hợp
với khả năng của từng tác tử là rất quan trọng trong đạt được giải pháp tối ưu
tồn cầu.
⇨ Khơng nhất thiết phải sử dụng hệ thống đa tác tử cho tất cả các ứng dụng.
Một số cụ thể các miền ứng dụng có thể yêu cầu tương tác với những người
khác hoặc các tổ chức có các mục tiêu xung đột hoặc chung có thể có thể sử

dụng những ưu điểm được MAS trình bày trong thiết kế của nó.
3.2 Phân loại hệ thống đa tác tử
Việc phân loại MAS là một nhiệm vụ khó khăn vì nó có thể được thực
hiện dựa trên một số các thuộc tính khác nhau như Kiến trúc , Học tập, Giao
tiếp, Phối hợp . Một phân loại chung bao gồm hầu hết các tính năng này
được thể hiện trong hình 3.1.