HỌC SÂU SUỐT ĐỜI TƯƠNG TÁC VÀ ỨNG DỤNG VÀO CHATBOT KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Hệ thống thông tin

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Thị Hợp

HỌC SÂU SUỐT ĐỜI TƯƠNG TÁC VÀ
ỨNG DỤNG VÀO CHATBOT

KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Hệ thống thông tin

HÀ NỘI – 2020


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Nguyễn Thị Hợp

HỌC SÂU SUỐT ĐỜI TƯƠNG TÁC VÀ
ỨNG DỤNG VÀO CHATBOT

KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Hệ thống thông tin

Cán bộ hướng dẫn: PGS-TS Hà Quang Thụy

Cán bộ đồng hướng dẫn: ThS.NCS. Lê Hoàng Quỳnh

HÀ NỘI - 2020

TĨM TẮT
Tóm tắt: Trong những năm gần đây, với tính tiện dụng, sự thơng minh và độ sẵn có, hệ thống
chatbot hầu như có mặt ở mọi lĩnh vực, thực hiện việc tư vấn, giải đáp thắc mắc cũng như trị
chuyện giải trí với con người. Hạn chế lớn nhất của chatbot hiện nay là “độ thơng minh” cịn
thấp trong một “thế giới đóng” (closed world) của một cơ sở tri thức được cố định ngay từ khi
khởi tạo cho nên phạm vi trả lời của nó rất hạn chế. Tiếp cận “thế giới mở” (open world), mở
rộng cơ sở tri thức của chatbot trong khi hoạt động hay “học khi làm việc” (on-the-job
learning) nhờ tương tác giữa chatbot và người dùng, thu hút sự quan tâm đặc biệt của nhiều
nhóm nghiên cứu, trong đó có nhóm nghiên cứu của Bing Liu và cộng sự tại Đại học Iilinois
tại Chicago (University of Illinois at Chicago) từ năm 2018 tới nay. Cách thức chatbot đưa ra
được các câu tương tác để nhận được tri thức mới của người dùng, hỗ trợ trực tiếp câu trả lời
với người dùng đó và bổ sung tri thức mới vào cơ sở tri thức là một thành phần cốt lõi của học
khi làm việc.
Thông qua việc khảo sát cơng phu hai mơ hình học khi làm việc của chatbot LILI và CILK do
S. Mazumder và cộng sự đề xuất, khóa luận phát biểu một bài toán học khi làm việc qua
tương tác của chatbot và đề xuất một mơ hình giải quyết bài tốn khóa luận, tập trung vào
thành phần đưa ra câu tương tác để nhận được tri thức mới (các dữ kiện hỗ trợ: support facts)
từ người dùng. Cài đặt phần mềm do nhóm tác giả cung cấp, tiến hành thực nghiệm trên hai
kho ngữ liệu Wordnet (18 quan hệ với trên 300 bộ ba dữ kiện cho một quan hệ) và một phần
ngữ liệu Freebase (60 quan hệ với số lượng ít các dữ kiện cho một quan hệ), khóa luận đã thu
được các kết quả phù hợp với Wordnet.
Từ khóa: chatbots, lifelong meachine learning, học suốt đời, học thông qua tương tác

i


LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của tôi và không sao chép của bất kỳ ai.
Những nội dung được trình bày trong khóa luận này do tơi tìm hiểu, nghiên cứu và

trình bày lại theo cách hiểu dưới sự hướng dẫn của PGS.TS. Hà Quang Thụy và ThS.
Lê Hoàng Quỳnh. Tất cả những kiến thức tham khảo từ các nghiên cứu liên quan đều
được nêu nguồn gốc một cách rõ ràng ở danh mục tài liệu tham khảo trong khóa luận.
Hà Nội, ngày … tháng … năm 2020
SINH VIÊN

Nguyễn Thị Hợp

ii


LỜI CẢM ƠN
Lời đầu tiên, tôi xin gửi lời biết ơn sâu sắc đến thầy giáo PGS-TS Hà Quang Thụy và
cơ ThS. Lê Hồng Quỳnh đã tận tình chỉ bảo, hướng dẫn, giúp đỡ tơi trong suốt q
trình tơi thực hiện khóa luận.
Tơi xin gửi lời cảm ơn chân thành đến các thầy, cô trong khoa Công nghệ thông tin,
trường Đại học Công nghệ - Đại học Quốc gia Hà Nội đã truyền đạt cho tơi những kiến
thức bổ ích để tơi có đủ hành trang, kiến thức phục vụ công việc sau này. Tôi xin cảm
ơn tập thể sinh viên K61T - Trường Đại học Công Nghệ đã ủng hộ và khuyến khích tơi
trong q trình nghiên cứu và thực hiện khóa luận này. Tơi cũng xin gửi lời cảm ơn tới
các thầy cô, anh chị và các bạn trong phịng thí nghiệm Cơng nghệ tri thức và khoa học
dữ liệu KT-Lab đã cùng trao đổi, thảo luận để tơi có thể hồn thành đề tài này một
cách tốt nhất. Tôi chân thành cám ơn tác giả Sahisnu Mazumder (University of Illinois
at Chicago) đã cung cấp tài nguyên hỗ trợ để tơi hồn thành bản khóa luận này.
Cuối cùng, tơi muốn gửi lời cảm ơn tới gia đình và bạn bè, những người thân luôn bên
cạnh, tin tưởng và động viên tơi trong suốt q trình thực hiện đề tài này.

Hà Nội, ngày … tháng … năm 2020
SINH VIÊN

Nguyễn Thị Hợp

iii


MỤC LỤC

TÓM TẮT ...............................................................................................................i
LỜI CAM ĐOAN ................................................................................................. ii
LỜI CẢM ƠN...................................................................................................... iii
MỤC LỤC ............................................................................................................iv
DANH MỤC HÌNH VẼ ..................................................................................... vii
DANH MỤC CÁC BẢNG ................................................................................ viii
DANH MỤC TỪ VIẾT TẮT ..............................................................................ix
MỞ ĐẦU ................................................................................................................1
CHƯƠNG 1. GIỚI THIỆU HỌC SUỐT ĐỜI TRONG CHATBOT ..............3
1.1. Học suốt đời ................................................................................................3
1.1.1. Định nghĩa.............................................................................................3
1.1.2 So sánh mơ hình học suốt đời với mơ hình học máy hiện tại ................5
1.1.3 Quy trình của học máy suốt đời .............................................................7
1.2 Học suốt đời ứng dụng trong chatbot .......................................................7
1.2.1 Các vấn đề của chatbot hiện nay............................................................7
1.2.2 Học máy suốt đời thông qua tương tác ứng dụng trong chatbot .........10
1.3. Bài toán và phạm vi khóa luận ...............................................................11
1.3.1. Bài tốn khóa luận ..............................................................................11
1.3.2 Phạm vi khóa luận ...............................................................................11
Kết luận Chương 1 ..........................................................................................12
CHƯƠNG 2. MỘT SỐ KỸ THUẬT HỌC SÂU SUỐT ĐỜI THÔNG QUA
TƯƠNG TÁC TRONG CHATBOT ..........................................................................13
2.1. Học trong khi làm việc ............................................................................14

2.1.1. Các bước chính của “học khi làm việc” .............................................14
2.1.2. Học khi làm việc trong các cuộc trò chuyện ......................................14
2.2. Học tri thức trong thế giới mở ................................................................15
iv


2.2.1. Cách tiếp cận học tri thức trong khi tương tác với người dùng ..........15
2.2.2. Xử lý thông tin trong học thế giới mở thông qua tương tác ...............16
2.3. Giới thiệu Học suốt đời thông qua tương tác và suy luận....................17
2.3.1. Hướng tiếp cận bài tốn của LiLi .......................................................17
2.3.2. Mơ tả hệ thống của LiLi .....................................................................18
2.3.3. Cách thức hoạt động của LiLi ............................................................22
2.3.4. Ưu và nhược điểm của phương pháp LiLi..........................................23
2.4. Giới thiệu học liên tục thông qua tương tác và suy luận......................24
2.4.1. Hướng tiếp cận của phương pháp CILK.............................................24
2.4.2 Thành phần trong hệ thống ..................................................................26
2.4.3. Ưu và nhược điểm của phương pháp ..................................................27
2.4.4. So sánh kỹ thuật CILK với LiLi .........................................................27
2.5. Kỹ thuật được áp dụng trong khóa luận ...............................................28
Kết luận Chương 2 ..........................................................................................28
CHƯƠNG 3. ĐỀ XUẤT MƠ HÌNH..................................................................29
3.1 Mơ hình học suốt đời thơng qua tương tác trong chatbot ....................29
3.2. Cơ sở tri thức............................................................................................29
3.3. Xử lý truy vấn của người dùng ...............................................................29
3.4. Mơ hình suy luận .....................................................................................30
3.4.1. Phương pháp học nhúng cơ sở tri thức thần kinh ...............................31
3.4.2 Từ chối trong suy luận KB. .................................................................34
3.5. Tương tác với người dùng .......................................................................35
3.5.1 Xếp hạng đối ứng trung bình ...............................................................37
3.3. Quy trình hoạt động của mơ hình ..........................................................38

Kết luận Chương 3 ..........................................................................................40
CHƯƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ .............................................41
4.1. Môi trường thực nghiệm .........................................................................41
4.1.1. Phần cứng ...........................................................................................41

v


4.1.2. Phần mềm ...........................................................................................41
4.2 Dữ liệu thực nghiệm .................................................................................43
4.2.1 Mô tả kịch bản thực nghiệm ................................................................43
4.2.2 Mô tả dữ liệu bài tốn ..........................................................................43
4.3 Cấu hình hệ thống .....................................................................................47
4.4 Kết quả thực nghiệm và thảo luận ..........................................................49
KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO ................................53
TÀI LIỆU THAM KHẢO ..................................................................................54

vi


DANH MỤC HÌNH VẼ

Hình 1.1 Mơ hình học máy truyền thống ........................................................................5
Hình 1.2 Mơ hình học suốt đời ........................................................................................6
Hình 1.3 Mơ hình xây dựng chatbot phổ biến .................................................................8
Hình 2.1 Kiến trúc của học suốt đời kết hợp "học khi làm việc"Error! Bookmark not
defined.
Hình 3.1 Mơ hình học suốt đời thơng qua tương tác trong chatbot ..............................29
Hình 3.2 Ma trận thực thể E và quan hệ R ....................................................................33

vii


DANH MỤC CÁC BẢNG
Bảng 2.1 Các bit trạng thái và ý nghĩa của chúng ....................................................... 21
Bảng 2.2 Hành động và mô tả của chúng .................................................................... 22
Bảng 3.1 Kết quả của mơ hình chuyển đổi ................................................................. 38
Bảng 4.1 Cấu hình hệ thống thi hành thực nghiệm ..................................................... 41
Bảng 4.2 Danh sách các phần mềm tiến hành trong thực nghiệm .............................. 43
Bảng 4.3 Mô tả dữ liệu ................................................................................................ 46
Bảng 4.4 Mô tả cấu hình tham số của mơ hình ........................................................... 48
Bảng 4.5 MRR của mơ hình ........................................................................................ 50
Bảng 4.6 Giải thích kí hiệu đánh giá MRR ................................................................ 50
Bảng 4.7 Đánh giá thực thể trả lời .............................................................................. 51
Bảng 4.8 Giải thích kí hiệu đánh giá thực thể trả lời .................................................. 51

viii


DANH MỤC TỪ VIẾT TẮT

STT

Từ viết tắt

Tiếng Anh

Tiếng Việt

1

KB

Knowledge Base

Cơ sở tri thức

2

KBC

Knowledge Base
Completion

Hoàn thành cơ sở tri
thức

3

LL

4

OKBC

Open Knowledge Base
Complete

Hoàn thành tri thức trong
thế giới mở

5

LiLi

Lifelong interactive
learning and inference

Học suốt đời thơng qua
tương tác và suy luận

6

AI

Artificial Intelligence

Trí tuệ nhân tạo

7

ML

Machine Learning

8

CILK

9

KBE

Lifelong Machine Learning Học suốt đời

Học máy

Continuous and Interactive Học tri thức suốt đời
Learning of Knowledge
thông qua tương tác và
suy luận
Knowledge base
embedding

ix

Học nhúng cơ sở tri thức


MỞ ĐẦU
Các hệ thống chatbots (các loại tác tử đối thoại, chẳng hạn như hệ thống hội
thoại và hệ thống trả lời câu hỏi, trợ lý ảo, ...trước đây chủ yếu được xây dựng bằng
các ngơn ngữ đánh dấu trí tuệ nhân tạo (Artificial Intelligence Markup Language:
AIML); các luật kịch bản tạo cuộc hội thoại thường được xây dựng thủ công hoặc
bằng các kỹ thuật truy xuất thông tin,... điều này có phần hạn chế là chúng sẽ tạo ra
những phản hồi cứng nhắc giống nhau gây ra sự nhàm chán cho người sử dụng. Vào
năm 2017, tác giả Ghazvininejad và cộng sự [1] đã đề xuất sử dụng cơ sở tri thức
(Knowledge Base: KB) là nơi chứa tri thức của chatbot để giúp chatbot có thể suy luận
ra các câu trả lời dựa trên tri thức để giải quyết vấn đề này; tuy nhiên, điều hạn chế là
cơ sở tri thức này là cố định và không thể mở rộng trong q trình trị chuyện. Vì vậy,

nó cũng khơng thể đáp ứng một cách thông minh các câu hỏi của người sử dụng vì
người sử dụng có thể nói bất kỳ điều gì. Đặc biệt, khi chatbot trị chuyện tương tác với
con người thì con người có thể đưa ra rất nhiều dữ kiện (tri thức) nhưng chatbot lại
không thể sử dụng chúng dẫn tới việc bỏ lỡ lượng tri thức lớn. Cách làm việc như vậy
là không giống với cách học của con người là học, tiếp thu kiến thức thông qua việc
tương tác với môi trường xung quanh. Qua đó, con người ngày càng trở nên thơng
minh hơn cũng như là dễ học các tri thức mới hơn khi có lượng kiến thức ngày càng
lớn.
Học máy suốt đời được sinh ra nhằm bắt chước cách học của con người trong
mơi trường xung quanh là một mơ hình đóng vai trị quan trọng cho tương lai của học
máy và trí tuệ nhân tạo. Vì mọi thứ xung quanh chúng ta đều có liên hệ với nhau nên
việc hiểu biết về một số chủ đề (miền tri thức) có thể giúp chúng ta học các chủ đề
khác.
Khóa luận này tập trung nghiên cứu về cách thức xây dựng hệ thống học tri thức
suốt đời thơng qua q trình tương tác cho các chatbots. Cách thức như vậy sẽ giúp
chatbot có thể tương tác với người dùng (hỏi những tri thức nó chưa biết trong câu nói
của người dùng) để nhận thêm các tri thức mới do người dùng cung cấp khi họ trả lời
những câu hỏi của chatbot, cập nhật thêm vào cơ sở tri thức giúp làm giàu cơ sở tri
thức của chatbot có nghĩa là đạt được mục tiêu là học được tri thức mới trong quá
trình chatbot tương tác (“học trong khi làm việc”: “learning-on-the-job” [3]).
1


Khóa luận được tổ chức thành 4 chương như sau:
Chương 1. Giới thiệu học máy suốt đời trong chatbot. Chương này giới thiệu khái
quát về học suốt đời, cách thức học suốt đời thông qua tương tác trong chatbot và nêu
bài tốn, phạm vi của khóa luận.
Chương 2. Một số kỹ thuật trong học suốt đời thông qua tương tác ứng dụng
trong chatbot. Đề cập chi tiết đến các kỹ thuật, cách tiếp cận có thể áp dụng học suốt
đời trong chatbot. Hai kỹ thuật được đề cập tới là LILI và CILK giúp chatbot trả lời

câu hỏi “có/khơng” hoặc “câu hỏi WH” thông qua việc cập nhật thêm các tri thức hỗ
trợ do người dùng cung cấp. Từ đó đề cập tới kỹ thuật được sử dụng trong khóa luận.
Chương 3. Đề xuất mơ hình mơ hình giải quyết bài tốn khóa luận. Trình bày ý
tưởng cho mơ hình bài tốn học suốt đời trong chatbot thơng qua việc tương tác với
người. Cũng như mô tả chi tiết kỹ thuật áp dụng cho từng thành phần của mơ hình.
dùng để làm giàu tri thức, giới thiệu chi tiết từng thành phần trong mơ hình. Sau đó
trình bày q trình thực hiện mơ hình.
Chương 4. Thực nghiệm và đánh giá kết quả. Ở chương này khóa luận sẽ trình bày
thực nghiệm mơ hình học suốt đời trong chatbot với bộ dữ liệu WordNet và Freebase.
Đồng thời đưa ra đánh giá kết quả đạt được của mơ hình.
Phần kết luận và hướng nghiên cứu tiếp theo: Tóm lược kết quả đạt được của khóa
luận và định hướng phát triển trong tương lai.

2


CHƯƠNG 1. GIỚI THIỆU HỌC SUỐT ĐỜI TRONG CHATBOT
1.1. Học suốt đời
Học máy (Machine Learning: ML) là công cụ cho sự tiến bộ của phân tích, khai
phá dữ liệu và trí tuệ nhân tạo (AI). Các thuật tốn ML đã được áp dụng trong hầu hết
các lĩnh vực khoa học máy tính, khoa học tự nhiên, kỹ thuật, khoa học xã hội, ... Tuy
nhiên, mơ hình học máy ML hiện tại vẫn tồn tại những điểm hạn chếyếu. Học máy
suốt đời [2] (Lifelong Machine Learning: LL) nổi lên như một hướng mới và đầy hứa
hẹn để vượt qua những hạn chế của ML với mục tiêu là xây dựng những mơ hình học
máy như con người.
Học máy suốt đời là một mơ hình học liên tục, giữ lại tri thức đã học trong quá
khứ, và sử dụng tri thức tích lũy để giúp học hỏi và giải quyết vấn đề trong tương lai.
Học suốt đời có thể được áp dụng cho cả phương pháp học giám sát và không giám sát.
1.1.1. Định nghĩa
Định nghĩa học máy suốt đời cơ bản như sau [2]:

Tại thời điểm t bất kỳ nào đó, hệ thống đã thực hiện được N nhiệm vụ trước đó. Khi
thực hiện nhiệm vụ thứ (N+1), nó sử dụng tri thức thu được từ N nhiệm vụ quá khứ để
giúp học nhiệm vụ thứ (N+1).
Đây là định nghĩa ban đầu nên chưa thực sự đầy đủ có thể mở rộng định nghĩa này
bằng cách bổ sung thêm các chi tiết và đặc trưng như sau:
 Một cơ sở tri thức rõ ràng (Knowledge Base: KB) được sử dụng để lưu trữ tri
thức đã học được từ các nhiệm vụ trước đó.
 Khả năng phát hiện các nhiệm vụ học mới trong q trình ứng dụng mơ hình.
 Khả năng học tri thức trong khi đang thực hiện nhiệm vụ.
Một định nghĩa đầy đủ hơn của học máy suốt đời:
Định nghĩa 1.1. Học máy suốt đời [2] (Lifelong Machine Learning: LL) là một quá
trình học liên tục. Tại bất kỳ thời điểm nào, bộ học đã thực hiện một chuỗi nhiệm vụ
1,

2,...,

N;

N nhiệm vụ này được gọi là N nhiệm vụ trong quá khứ, có các bộ dữ

liệu tương ứng

1,

2

,...,

N.

Các nhiệm vụ có thể khác nhau và đến từ nhiều miền

(chủ đề) khác nhau. Khi đối mặt với nhiệm vụ thứ N+1 mới
3

N+1

với dữ liệu

DN+1,


bộ học có thể tận dụng tri thức học được trong quá khứ tại cơ sở tri thức (KB) để giúp
học N+1. Nhiệm vụ của LL là tối ưu hóa hiệu suất của nhiệm vụ N+1 mới, nhưng
cũng có thể tối ưu hóa bất kỳ nhiệm vụ nào trong quá khứ. Lý tưởng nhất một bộ học
của học máy suốt đời có thể:
 Học và hoạt động trong mơi trường thế giới mở, nơi nó khơng chỉ áp dụng các
mơ hình học trong quá khứ để giải quyết nhiệm vụ hiện tại mà còn phát hiện
ra các nhiệm vụ mới để học.
 Học để cải thiện hiệu suất mơ hình trong ứng dụng hoặc kiểm tra mơ hình đã
học.


Ta có thêm một số nhận xét bổ sung như sau:

 Định nghĩa chỉ ra năm đặc điểm chính của học máy suốt đời:
o Học máy suốt đời là quá trình học liên tục.
o Tích lũy tri thức liên tục trong cơ sở tri thức.
o Khả năng sử dụng tri thức đã tích lũy để giúp học tri thức mới trong
tương lai.

o Khả năng phát hiện các nhiệm vụ, tri thức mới.
o Khả năng học trong khi làm việc.
 Có thể chia thành hai loại nhiệm vụ:
o Nhiệm vụ độc lập: Nhiệm vụ

i

là độc lập với các nhiệm vụ khác, thì

có thể được học độc lập, mặc dù vẫn có sự tương đồng và chia sẻ tri
thức với những nhiệm vụ khác.
i

o Nhiệm vụ học phụ thuộc: Nhiệm vụ

i

có một số phụ thuộc vào nhiệm

vụ khác. Tức học tri thức mới có thể học được tri thức i.
o Các nhiệm vụ không nhất thiết phải tới từ một miền chúng có thể thuộc
nhiều miền (chủ đề tri thức) khác nhau.
 LL có thể yêu cầu một phương pháp tiếp cận hệ thống kết hợp nhiều thuật
toán và các lược đồ biểu diễn tri thức khác nhau.
Nếu khơng có những khả năng này thì một hệ thống học máy suốt đời LL sẽ không thể
tự học hỏi tri thức trong một môi trường thế giới mở để trở nên thông minh hơn. Môi
trường thế giới mở là môi trường thực thi nhiệm vụ có thể chứa các đối tượng, kịch
bản mà mơ hình chưa được đào tạo trước đây.

4

1.1.2 So sánh mơ hình học suốt đời với mơ hình học máy hiện tại
Mơ hình học máy hiện tại

Hình 1.1 Mơ hình học máy truyền thống
Các mơ hình học máy hiện tại chạy một thuật toán học máy (Machine learning:
ML) trên một tập dữ liệu cụ thể để tạo ra một mơ hình. Sau đó, mơ hình được áp dụng
trong các bài tốn thực tế. Chúng ta có thể gọi mơ hình học máy này là học cơ lập
(isolated learning) bởi vì nó khơng xem xét thêm bất kỳ thông tin liên quan nào khác
hoặc tri thức đã học được trước đó. Vấn đề của mơ hình học cơ lập là nó khơng giữ lại
tri thức đã học được trong quá khứ và sử dụng nó trong giải quyết vấn đề và học trong
tương lai.
Do khơng có khả năng tích lũy và sử dụng tri thức trong quá khứ nên để có một
mơ hình hiệu quả thuật tốn học máy thường cần một số lượng lớn các ví dụ để huấn
luyện đào tạo mơ hình. Đối với học có giám sát, việc gán nhãn dữ liệu huấn luyện
thường được thực hiện thủ công, tốn rất nhiều công sức và thời gian thế nên gần như
không thể gán nhãn cho một số lượng rất lớn các ví dụ của tất cả các bài tốn hoặc ứng
dụng có thể có cho một thuật toán học máy học. Hơn nữa mọi thứ xung quanh chúng ta
thay đổi liên tục, việc gắn nhãn sẽ cần phải được thực hiện liên tục, đó là một nhiệm vụ
thực sự khó khăn đối với con người. Ngay cả đối với học không giám sát, việc thu thập
một lượng lớn dữ liệu có thể khơng thực hiện được trong nhiều trường hợp.
Mơ hình học máy suốt đời
Từ định nghĩa của học máy suốt đời có thể mơ phỏng được kiến trúc của một mơ hình
học suốt đời như sau (khơng phải mơ hình học suốt đời nào cũng có tất cả các thành
phần này)

5

Hình 1.2 Mơ hình học suốt đời
1. Cơ sở tri thức (Knowledge Base: KB): Kho lưu trữ những tri thức đã học được từ
những nhiệm vụ trong trước đó. Nó có thể chứa các thành phần con như:
a. Kho thơng tin quá khứ (Past Information Store: PIS): Lưu trữ thông tin
là kết quả học tập từ các nhiệm vụ trong q khứ, bao gồm các mơ hình,
mẫu, các dạng kết quả khác. Thông tin hoặc tri thức cần được giữ lại phụ
thuộc vào bài toán học, thuật toán học và người dùng cần quyết định giữ
lại những gì để giúp học tri thức trong tương lai.
b. Bộ hai phá siêu tri thức (Meta-Knowledge Miner: MKM): Thực hiện siêu
khai thác kiến thức trong PIS và trong kho lưu trữ siêu kiến thức. Thuật
tốn khai phá khác nhau có thể tạo ra các loại kết quả khác nhau.
c. Kho siêu tri thức (Meta-Knowledge Store: MKS): Lưu trữ tri thức được
khai thác hoặc hợp nhất từ PIS và MKS.
d. Bộ suy luận tri thức (Knowledge Reasoner: KR): Thực hiện suy luận dựa
trên tri thức trong MKB và PIS để tạo thêm tri thức mới. Hầu hết các hệ
thống hiện tại khơng có thành phần con này.
2. Bộ học dựa trên tri thức (Knowledge-Based Learner: KBL). Tận dụng tri thức đã
tồn tại trong KB để học tri thức mới. KBL được chia thành hai thành phần phụ:
a. Bộ khai phá tri thức bài toán (Task knowledge miner: TKM): sử dụng tri
thức hoặc thông tin thô trong KB để khai phá hoặc xác định tri thức phù
hợp với bài toán hiện tại.

6


b. Bộ học có thể tận dụng tri thức đã được khai phá trong học tri thức mới.
3. Bộ khai phá tri thức dựa trên bài toán (Task-based Knowledge Miner: TKM). Có
nhiệm vụ khai phá tri thức từ cơ sở tri thức KB cụ thể cho nhiệm vụ mới.
4. Mô hình: Mơ hình được đào tạo dựa trên những tri thức hiện có, nó có thể là mơ
hình dự đốn hoặc phân lớp, phân cụm,...

5. Ứng dụng: Đây là ứng dụng thực tế mơ hình. Ứng dụng cũng có thể cung cấp
phản hồi cho bộ học dựa trên tri thức để cải thiện mơ hình.
Bộ quản lý bài tốn (Task Manager: TM). Có nhiệm vụ tiếp nhận và quản lý các nhiệm
vụ được đưa vào hệ thống, xử lý việc chuyển đổi bài toán, và đưa ra bài toán học mới
cho KBL.
1.1.3 Quy trình của học máy suốt đời
Quy trình học máy suốt đời điển hình bắt đầu bằng việc bộ quản lý bài toán gán
bài toán mới cho KBL (bài tốn có thể được người dùng đưa vào hoặc được hệ thống
phát hiện tự động). Sau đó, KBL thực thi với tri thức quá khứ lưu trữ trong KB để tạo
ra một mơ hình đầu ra cho người dùng và cũng gửi thông tin hoặc tri thức cần được giữ
lại để sử dụng trong tương lai cho KB.
Trong quá trình ứng dụng, hệ thống cũng có thể khai phá ra các bài toán mới và
học trong đang khi thực hiện nhiệm vụ. Một số tri thức thu được trong các ứng dụng
cũng có thể được giữ lại tùy theo nhu cầu của người dùng để giúp học tri thức mới
trong tương lai.
1.2 Học suốt đời ứng dụng trong chatbot
1.2.1 Các vấn đề của chatbot hiện nay
Trong phần này khóa luận sẽ tìm hiểu về tình hình cơ bản của các chatbot, cách
xây dựng chatbot được sử dụng phổ biến hiện nay và những vấn đề còn hạn chế của
chúng cũng như là hướng tiếp cận mới trong chatbot bằng cách học sâu suốt đời thông
qua tương tác.

7


Hình 1.3 Mơ hình xây dựng chatbot phổ biến
Chatbot là gì?
Định nghĩa một cách đơn giản nhất, chatbot là một chương trình máy tính tương tác
với người dùng bằng ngơn ngữ tự nhiên dưới một giao diện đơn giản, âm thanh hoặc
dưới dạng tin nhắn.

Ứng dụng của chatbot
Chatbot hiện nay có mặt gần như trong hầu hết các lĩnh vực trong đời sống. Chúng có
thể là:
 Trợ lý cá nhân
 Tư vấn, giới thiệu sản phẩm
 Chăm sóc khách hàng
 Đặt chỗ, mua hàng
 Thanh toán trực tuyến
 Cung cấp tin tức
 Tìm kiếm thơng tin
Cơ chế tạo phản hồi của các chatbot hiện nay:
Heuristic dựa trên mơ hình
Một phản hồi có thể được tạo bằng hai cách khác nhau: sử dụng logic điều kiện
if-else hoặc sử dụng các trình phân loại học máy. Cách đơn giản nhất là xác định một
8


tập hợp các quy tắc với các mẫu được xác định trước đóng vai trị là điều kiện cho các
quy tắc được đóng khung.
Ngơn ngữ đánh dấu trí tuệ nhân tạo (AIML) được sử dụng phổ biến nhất để viết các
mẫu và phản hồi trong quá trình phát triển chatbot.
Với đường ống xử lý ngôn ngữ tự nhiên và mẫu phong phú được xác định trước,
AIML có thể được sử dụng để xây dựng một chatbot thông minh. Các bot này phân
tích thơng điệp người dùng, tìm các từ đồng nghĩa và khái niệm, gắn thẻ các phần của
lời nói và tìm ra quy tắc nào phù hợp với truy vấn của người dùng. Tuy nhiên, các bot
này không chạy các thuật toán học máy hoặc bất kỳ API nào khác trừ khi được lập
trình đặc biệt.
Phân loại ý định sử dụng học máy (Machine Learning: ML)
Mặc dù các heuristic dựa trên mẫu mang lại kết quả tốt, nhưng vấn đề là nó địi
hỏi tất cả các mẫu phải được lập trình thủ cơng. Việc xây dựng các mẫu kịch bản là

một nhiệm vụ tẻ nhạt, đặc biệt nếu chatbot phải phân biệt hàng trăm ý định cho các
kịch bản khác nhau chúng sẽ tiêu tốn rất nhiều thời gian, cơng sức, nhân lực.
Phân loại ý định hồn tồn dựa trên công nghệ máy học cho phép đào tạo bot.
Với một tập huấn gồm hàng ngàn ví dụ rất có thể phải đối mặt với chatbot, nó có thể
được đào tạo để nhận các mẫu dữ liệu và học hỏi từ nó.
Scikit-learn là một thư viện máy học phổ biến giúp thực hiện các thuật toán học máy.
Cơ sở tri thức (Knowledge Base: KB)
Các luật, kịch bản xây dựng chatbot lúc này được tạo thủ công mà không sử
dụng cơ sở tri thức (Knowledge Base: KB) nên thường phải chấp nhận những câu trả
lời chung chung và giống nhau dẫn tới nhàm chán, buồn tẻ cho người dùng. Cơ sở tri
thức KB có thể được sử dụng để giải quyết vấn đề này (tác giả Ghazvininejad và cộng
sự, 2017 [1]). KB lưu trữ tri thức của chatbot và chatbot có thể tìm kiếm câu trả lời dựa
trên kho tri thức đó dẫn tới những phản hồi thú vị hơn.
Thiếu sót lớn là các hệ thống sử dụng cơ sở tri thức KB hiện là KB được cố định
trong hệ thống khi chúng được đưa vào sử dụng. Thực tế, các KB ban đầu không thể

9


chứa hết các hiểu biết mà người dùng có thể hỏi, và đặc biệt nó khơng được đào tạo để
học những tri thức mới chưa xuất hiện trong cơ sở tri thức.
1.2.2 Học máy suốt đời thông qua tương tác ứng dụng trong chatbot
Như đã trình bày trong phần 1.2.1 cho thấy hiện nay hệ thống chatbot cịn có hạn
chế là tri thức cố định, không được cập nhật trong khi đang trò chuyện với người sử
dụng.
Để đào tạo một chatbot có thể trị chuyện như một con người địi hỏi phải có sự
giám sát sâu rộng và phải có một nguồn tri thức lớn. Cách tiếp cận phổ biến nhất là đào
tạo các mơ hình để bắt chước con người thông qua nhiều cuộc hội thoại với nhiều
người sử dụng. Các cuộc hội thoại được giám sát đầy đủ này có xu hướng tốn kém để
thu thập đủ số lượng và có sự khác biệt đáng kể từ mơi trường triển khai.

Vì vậy lý tưởng nhất là xây dựng các chatbot có thể học được tri thức trong khi
đang thực hiện nhiệm vụ đối thoại của mình (“học trong khi làm việc”), vì sau khi
được đưa vào sử dụng thì khi đó sẽ có nhiều người dùng với những cuộc đối thoại có
chủ đề phong phú, cụ thể về nhiệm vụ, năng động và tiết kiệm chi phí nâng cấp cơ sở
tri thức và mơ hình hơn.
Việc học liên tục trong môi trường tương tác là một khả năng quan trọng của con
người. Con người chỉ có thể học được một phần tri thức bằng cách được bảo hoặc
được giám sát bởi vì thực tế là thế giới quá phức tạp để học tất cả tri thức được theo
cách này. Trên thực tế, con người chúng ta có thể học được rất nhiều tri thức thông qua
sự tương tác với con người và môi trường xung quanh chúng ta, chúng liên tục cho
chúng ta phản hồi rõ ràng và ngầm định. Quá trình học này được gọi là tự giám sát vì
nó khơng u cầu dữ liệu huấn luyện/chú thích được con người gán nhãn.
Trong ngữ cảnh chatbots, học suốt đời thông qua tương tác rất quan trọng bởi vì
để chatbot thực sự thơng minh trong cuộc trị chuyện người – máy, nó phải liên tục học
tri thức mới để bản thân nó trở nên tốt hơn (có nhiều tri thức hơn, tạo phản hồi tốt hơn)
và để hiểu người dùng hơn.
Trong khóa luận này chủ yếu tập trung nghiên cứu về cách thức giúp cho chatbot có
thể học hỏi được thêm tri thức trong các cuộc trò chuyện thơng qua q trình tương tác
với con người.

10


1.3. Bài tốn và phạm vi khóa luận
Khóa luận này trình bày nghiên cứu về cách thức học sâu suốt đời trong chatbot thơng
qua tương tác giúp chatbot có thể học hỏi trong một môi trường “thế giới mở” khi đang
thực hiện nhiệm vụ đối thoại. Cụ thể, khóa luận thực hiện việc chạy mơ hình tương tác
và suy luận trên tập dữ liệu WordNet và Freebase.
1.3.1. Bài tốn khóa luận




Đầu vào:
o

Cơ sở tri thức ban đầu (KB)

o

Câu hỏi, truy vấn của người dùng (q)

Đầu ra:
o

Câu trả lời cho truy vấn của người dùng

o

Cơ sở tri thức, mơ hình đã được cập nhật qua q trình tương tác, trị
chuyện với con người.

1.3.2 Phạm vi khóa luận
Để xây dựng một hệ thống chatbot hồn chỉnh là một cơng trình rất lớn địi hỏi
nhiều thời gian và sức lực. Nên trong khóa luận này chỉ tập trung nghiên cứu phát triển
cốt lõi về cách thức chatbot có thể tương tác với người dùng để tìm kiếm những tri
thức mới và cập nhật tri thức mới vào cơ sở tri thức ban đầu mà không nghiên cứu các
chức năng đối thoại khác như tạo phản hồi, phân tích ngữ nghĩa, trích xuất thơng tin từ
các cách nói tự nhiên của người dùng, liên kết thực thể, ..., đây là những nghiên cứu đã
được nghiên cứu rộng rãi trước đây và khóa luận cho là có sẵn để sử dụng.

Trong phạm vi nghiên cứu trong khóa luận này thì loại tri thức mà khóa luận tập
trung xử lý là những tri thức có thể biểu diễn được dưới dạng bộ ba như (s, r, t) trong
đó s là thực thể nguồn, t là thực thể đích có thể được liên kết với nhau bởi quan hệ r.
Như vậy, cơ sở tri thức KB sẽ được lưu trữ dưới dạng {(s, r, t) ∈ ℰ×ℛ×ℰ} trong đó ℰ
là tập các thực thể và ℛ là tập các quan hệ.

11


Ví dụ: Tri thức "Hà Nội là thủ đơ của Việt Nam" có thể được trích xuất thành bộ ba
như là (Hà Nội, Thủ Đô, Việt Nam).
Và câu truy vấn của người dùng mà khóa luận xử lý cũng là những câu có thể được
biểu diễn dưới dạng bộ ba.
Kết luận Chương 1
Trong chương 1, khóa luận đã trình bày nội dung cơ bản nhất của Học suốt đời, Học
sâu suốt đời trong chatbot và giới thiệu bài toán, phạm vi khóa luận. Về học suốt đời,
khóa luận đã lý giải tạo sao sự ra đời của học suốt đời là cần thiết; đưa ra các định
nghĩa, đặc trưng và kiến trúc của mơ hình học suốt đời. Về học suốt đời trong chatbot
tơi trình bày tại sao cần áp dụng học suốt đời vào trong chatbot và học suốt đời thể
hiện ở phần nào khi triển khai chatbot. Đồng thời Chương 1 cũng phát biểu khái quát
về bài toán cần giải quyết trong khóa luận, bộ dữ liệu được sử dụng là Wordnet,
Freebase cũng như phạm vi nghiên cứu của khóa luận này.
Trong chương tiếp theo, khóa luận sẽ trình bày hai kỹ thuật có thể áp dụng được trong
học suốt đời thông qua tương tác trong chatbot và hướng ứng dụng vào giải quyết bài
toán.

12


CHƯƠNG 2. MỘT SỐ KỸ THUẬT HỌC SÂU SUỐT ĐỜI THƠNG QUA

TƯƠNG TÁC TRONG CHATBOT
Học sâu suốt đời thơng qua tương tác trong chatbot là một chủ đề mới nổi trong
những năm gần đây nhưng nó cũng nhận được khá nhiều sự quan tâm từ các nhóm
nghiên cứu. Trong khóa luận này tập trung nghiên cứu hai kỹ thuật là Học tương tác và
suy luận suốt đời (Lifelong interactive learning and inference: LILI) và Học hỏi tri
thức liên tục thông qua tương tác và suy luận (Conmtinuous and Interactive Learning
of Knowledge: CILK) của tác giả Mazumder và cộng sự, 2018, 2019 cùng với đó là
hai phương pháp tiếp cận là “học trong khi làm việc” của Bing Liu, 2020 [3] và “học
trong thế giới mở”.

Hình 2.1 Kiến trúc của học suốt đời kết hợp "học khi làm việc"

13


2.1. Học trong khi làm việc
Bản chất “học” là một q trình học liên tục, kết hợp nó vào định nghĩa và kiến trúc
học suốt đời của Chen và Liu, 2018 [2]. Mơ hình kiến trúc mới được đưa ra trong Hình
2.1, các liên kết màu cam in đậm thể hiện “học khi làm việc”. Chúng ta có thể thấy
rằng trong q trình ứng dụng mơ hình, hệ thống có thể khám phá các nhiệm vụ mới
cần học và kiến thức mới (kiến thức hỗ trợ) được thêm vào cơ sở tri thức KB có thể
được sử dụng trong học nhiệm vụ mới trong tương lai hoặc để cải thiện mơ hình hiện
tại.
2.1.1. Các bước chính của “học khi làm việc”
Bây giờ khóa luận sẽ trình bày các bước của q trình “học khi làm việc”. Sau đó, sẽ
thảo luận về trường hợp sử dụng “học khi làm việc” trong bối cảnh chatbot trò chuyện
[3].
1. Phát hiện tri thức chưa biết: Học khi làm việc bắt đầu với việc hệ thống phát hiện
các tri thức chưa biết (trong đào tạo).
2. Thập dữ liệu đào tạo liên quan tới tri thức chưa biết.

3. Học các tri thức chưa biết. Sau khi học ở bước 3, hệ thống chuyển sang bước 1
và cơ sở tri thức lúc này đã được cập nhật. Quá trình tiếp tục.
Khi thực hiện xong nhiệm vụ, hệ thống sẽ lưu trữ, sử dụng kiến thức mới học được để
giúp thực hiện nhiệm vụ tiếp theo và cải thiện mơ hình hiện tại.
Bước 1 và 3 đã được nghiên cứu trong “học thế giới mở” và “học liên tục” của Chen
và Liu, 2018 [2] sẽ được trình bày chi tiết ở mục 2.2 của khóa luận. Bước 2 khóa luận
sẽ thảo luận ở phần 2.1.2 dưới đây và đề xuất một phương pháp mới để thực hiện nó
trong khi đối thoại.
2.1.2. Học khi làm việc trong các cuộc trò chuyện
Điểm yếu lớn của các chatbot hiện nay là không thể học tri thức mới trong các
cuộc hội thoại, tức là, tri thức của chatbot là cố định trước đó. Điều này khác với các
cuộc trị chuyện của con người. Chúng ta học được rất nhiều trong các cuộc trò
chuyện. Con người hoặc học trực tiếp từ những lời nói của người khác, hoặc bằng cách

14