Hoi thao 23 2020 paper 42

See discussions, stats, and author profiles for this publication at: />
Xây dựng giải pháp Chatbot bán hàng tự động iBotsale trên miền Tiếng Việt
dựa trên trích trọn thơng tin và phân loại ý định
Conference Paper · November 2020
CITATIONS

READS

2

3,051

4 authors, including:
Đỗ Viết Mạnh

Duc-Nghia Tran

Vietnamese Academy of Science and Technology Institute of Information Technol…

Vietnam Academy of Science and Technology

11 PUBLICATIONS   3 CITATIONS   

56 PUBLICATIONS   236 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

ML applications on wearable devices View project

Cow Monitoring View project

All content following this page was uploaded by Duc-Nghia Tran on 08 November 2020.

The user has requested enhancement of the downloaded file.

SEE PROFILE


Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông – Quảng Ninh, 5-6/11/2020

Xây dựng giải pháp Chatbot bán hàng tự động iBotsale trên
miền Tiếng Việt dựa trên trích trọn thông tin và phân loại ý
định
Đỗ Viết Mạnh*, Trần Đức Nghĩa

Nguyễn Việt Anh

Phịng Tin học Quản lý
Viên Cơng nghệ Thơng tin (IOIT-VAST)
Hà Nội, Việt Nam
e-mail:

Phịng Khoa học dữ liệu và Ứng dụng
Viên Công nghệ Thông tin (IOIT-VAST)
Hà Nội, Việt Nam

Hà Thị Hồng Vân
Viện nghiên cứu, phát triển KTNV và kiểm định an
ninh thiết bị kỹ thuật, Cục Kỹ thuật nghiệp vụ, BCA

Tóm tắt—Việc xây dựng giải pháp Chatbot bán hàng tự
động trên miền Tiếng Việt nhằm tăng hiệu quả bán
hàng, chăm sóc khách hàng đang thu hút rất nhiều sự
quan tâm. Các mơ hình Chatbot bán hàng hiện nay
thường áp dụng hai mơ hình truyền thống, theo kịch
bản Menu/Button và nhận dạng từ khố. Hai mơ hình
truyền thống này còn tồn tại rất nhiều những hạn chế
như người sử dụng sẽ bị động, phụ thuộc theo sự cung
cấp các nút lựa chọn, không phát hiện được các từ đồng
nghĩa với từ khố, khơng nắm được ngữ cảnh, dẫn đến
sự khơng hài lịng của khách hàng. Bài báo này chúng
tôi xây dựng giải pháp Chatbot bán hàng tự động
iBotsale dựa trên thuật toán StartSpace để phân loại ý
định và Conditional Random Fields (CRF) để trích
chọn thơng tin nhằm phân tích câu nói của người dùng
trên miền Tiếng Việt. Các ý định chính được phân loại
trong thực nghiệm bao gồm: chào hỏi, giá, số lượng,
kích thước, chất liệu, vận chuyển, thanh tốn, đánh giá,
chính sách. Các thơng tin trích chọn bao gồm: mã sản
phẩm, địa chỉ, cân nặng, chiều cao, kích thước. Hiệu
quả của mơ hình khi tiến hành thực nghiệm đạt độ
chính xác hơn 90% trên tập dữ liệu kiểm tra.
Từ khoá: Chatbot NLP; Chatbot bán hàng; phân loại ý
định, trích chọn thơng tin; học máy.

I. GIỚI THIỆU
Trong những năm gần đây, một số các
Chatbot đang được thiết kế để tương tác với
con người, với sự phát triển của xử lý ngơn
ngữ tự nhiên giúp cho nó trị chuyện với con

người một cách tự nhiên hơn. Ví dụ, Roshan
Khan đã đề xuất một kiến trúc chung để thiết

1

.

2

/>
kế và triển khai Chatbot được cá nhân hóa
cho các vấn đề khác nhau[1].
Mạng xã hội đang ngày càng phát triển,
đặc biệt thương mại điện tử đang trở thành
xu thế, không chỉ doanh nghiệp mà các cá
nhân đều có thể bán hàng trực tiếp thông qua
internet. Chatbot được xây dựng nhằm hỗ trợ
tư vấn bán hàng, chăm sóc khách hàng giúp
giảm chi phí, tăng hiệu quả bán hàng. Theo
báo cáo của Business Insider 2017 [2], tại
Mỹ hàng năm có thể tiết kiệm 12 tỷ USD chi
phí tiền lương cho ngành bán bảo hiểm, 15
tỷ cho dịch vụ tài chính, bán hàng và 23 tỷ
cho dịch vụ khách hàng.
Các mơ hình Chatbot bán hàng hiện nay
chủ yếu áp dụng các mơ hình truyền thống.
Loại thứ nhất: mơ hình Chatbot theo kịch
bản Menu/Button là các hệ thống phân cấp
cây quyết định được trình bày cho người
dùng dưới dạng các nút (buttons), một số

Chatbot đang sử dụng mơ hình này hiện nay
như: Chatbot Messnow1, Botbanhang2,…vv.
Loại thứ hai: mơ hình Chatbot nhận dạng từ
khố như: Chatbot Harafunnel3,…,vv. Ưu
điểm của các mơ hình này là xây dựng rất dễ
dàng, độ chính xác cao vì người dùng đưa ra
yêu cầu dựa trên những nút đã được xây
dựng trước, tuy nhiên người dùng sẽ bị động
trước những mong muốn của mình, mà phải
3

/>

Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông – Quảng Ninh, 5-6/11/2020

phụ thuộc vào sự cung cấp các nút lựa chọn
của Chatbot. Tuy mơ hình thứ hai có những
ưu điểm hơn so với mơ hình đầu tiên là người
dùng chủ động hơn trong việc đưa ra yêu
cầu, nhưng nó vẫn tồn tại những hạn chế như
khi người dùng sử dụng các từ đồng nghĩa
với các từ khoá thì Chatbot khơng thể phát
hiện được để trả lời phù hợp, và khơng thể
nắm bắt được ngữ cảnh cuộc trị truyện.
Ngoài các kỹ thuật phát triển chatbot
truyền thống, nhiều chatbot ngày nay đang
sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên
(NLP) tiên tiến, các kỹ thuật học sâu như
Deep Reinforcement Learning (DRL) và
Deep Neural Network ( DNN) [3]. Gần đây,

cộng đồng xử lý ngôn ngữ tự nhiên (NLP) đã
đạt được nhiều đột phá trong việc nhúng phụ
thuộc vào ngữ cảnh và các mơ hình ngơn ngữ
hai chiều như ELMo, OpenAI, GPT, BERT,
RoBERTa, DistilBERT, XLM, XLNet [413]. Đặc biệt, mơ hình BERT (Devlin và
cộng sự, 2019 [14]) đã trở thành đường cơ sở
mới của xử lý ngôn ngữ tự nhiên bao gồm
phân loại câu, câu hỏi an-swering, …vv.
Trên miền dữ liệu Tiếng Việt vấn đề bóc tách
từ ghép hiện nay đã có rất nhiều những
nghiên cứu giải quyết tốt vấn đề này, ví dụ
như thư viện của tác giả Vu Anh [15], những
bên cạnh đó vấn đề về chuẩn hố các lỗi sai
chính tả, viết tắt vẫn cịn hạn chế gây ảnh
hưởng rất lớn đến độ chính xác của mơ hình.
Mục đích chính của nghiên cứu này là xây
dựng giải pháp Chatbot iBotsale cho nghiệp
vụ bán hàng dựa trên thuật toán StartSpace
[16] để phân loại ý định và Conditional
Random Fields (CRF) [17] để trích chọn
thơng tin nhằm phân tích câu nói của người
dùng trong miền Tiếng Việt. Mấu chốt của
giải pháp hướng tới là cần phải hiểu được
chính xác được ý định từ câu nói của khách
hàng, có rất nhiều các thuật tốn để thực hiên
được cơng việc này, nghiên cứu của
Muhammad Yusril Helmi Setyawan [18]
cùng các cộng sự khi phân loại ý định trong
Chatbot dựa trên thuật toán Naive Bayes và
hồi quy logistic cho một số kết quả nhất định.

Ở một nhóm nghiên cứu khác của Amber
Nigam, Prashik Sahare, Kushagra Pandya
[19] khi phân loại ý định Chatbot trên miền
đóng đã đạt được hiệu suất với độ chính xác
là 75,07%. Hiệu quả của giải pháp khi tiến
hành thực nghiệm đạt độ chính xác hơn 90%
trên tập dữ liệu kiểm tra.
II. GIẢI PHÁP XÂY DỰNG
A. Tổng quan các thành phần xử lý trong

là:

Chatbot
Chatbot bán hàng có ba thành phần chính

Hình 1: Kiến trúc mơ hình tổng quan các
thành phần xử lý trong Chatbot
Mỗi thành phần trong Chatbot đều có vai
trị riêng biệt:
NLU: bao gồm việc xử lý ngôn ngữ tự
nhiên (NLP) có nhiệm vụ xác định được ý
định câu hỏi của người dùng và trích chọn
thơng tin, chi tiết các bước xử lý như hình 2.
DM: Quản lý hội thoại có nhiệm vụ xác
định được hành động (action) tiếp theo dựa
vào trạng thái hành động trước đó hoặc ngữ
cảnh của cuộc hội thoại.
NLG: là thành phần sinh ngôn ngữ dựa
vào hành động được xác định trong DM.

Hình 2: Các bước xử lý trong NLU


Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thơng – Quảng Ninh, 5-6/11/2020

B. Mơ hình StartSpace trong phân loại ý

định
Mơ hình StartSpace do Facebook phát
triển và cơng bố năm 2017. Mơ hình này đạt
độ chính xác tương đương hoặc tốt hơn so
với các mơ hình nổi tiếng khác như fastText
[20].
Mơ hình StartSpace bao gồm việc học các
thực thể. Mỗi thực thể được mô tả bằng một
tập hợp các tính năng riêng biệt. Mục tiêu là
học ma trận có kích thước 𝐷 × 𝑑, trong đó
𝐷 là số lượng các đặc trưng và 𝑑 là chiều dài
của vectơ embedding. Một thực thể a được
biểu diễn dưới dạng ∑!∈$ 𝐹! , trong đó 𝐹! , là
hàng thứ i (có kích thước d) trong ma trận
embedding.
Hàm loss sau sẽ được cực tiểu hóa trong
q trình huấn luyện:
!
(",!)∈- !
!" ∈- "

𝐿!"#$% (𝑠𝑖𝑚(𝑎, 𝑏), 𝑠𝑖𝑚(𝑎, 𝑏), … , 𝑠𝑖𝑚(𝑎, 𝑏&' ))

(1)

Trong đó, việc tạo ra các cặp thực thể
dương (a,b) thuộc 𝐸 % và thực thể âm 𝑏 &
thuộc 𝐸 & (phương pháp lấy mẫu k - âm
(tương tự như trong word2vec) được sử dụng
để lấy mẫu cho 𝑏!& ) phụ thuộc vào tứng ứng
dụng cụ thể của mơ hình.
Hàm 𝑠𝑖𝑚(. , . ) là hàm tương tự, trong mơ
hình được đề xuất, triển khai cả hai phương
pháp tính tương tự là cosine (cosine
similarity) và tích trong (inner product), sau
đó, để mơ hình tự lựa chọn phương pháp phù
hợp trong quá trình huấn luyện. Thông
thường, các phương pháp này đều hoạt động
tốt đối với số lượng nhãn nhỏ, tuy nhiên đối
với tập nhãn kích thước lớn, hàm cosine cho
kết quả tốt hơn.
Hàm loss 𝐿'()*+ sẽ so sánh cặp thực thể
dương (a, b) với các cặp thực thể âm (a, 𝑏!& )
với i=1,...,k. Quá trình huấn luyện được tối
ưu hóa dựa vào giải thuật Stochastic gradient
descent (SGD) [21]. Sau khi huấn luyện
xong, hàm sim(. , . ) sẽ được sử dụng.
Đối với bài toán phân loại ý định, cặp
thực thể dương (a, b) được lấy trực tiếp từ
tập huấn luyện, trong đó, a là nhóm từ đầu

vào và b là nhãn ý định tương ứng trong tập

huấn luyện. Các thực thể âm 𝑏 & là các nhãn
ý định còn lại trong tập huấn luyện. Mơ hình
sẽ học cách cực đại hóa 𝑠𝑖𝑚(a, b) và cực tiểu
hóa 𝑠𝑖𝑚(a, 𝑏!& ).
C. Mơ hình CRF

CRF là mơ hình trạng thái tuyến tính vơ
hướng (máy trạng thái hữu hạn được huấn
luyện có điều kiện), được tn theo tính chất
Markov thứ nhất. Mơ hình này đã được
chứng minh thành cơng cho các bài tốn gán
nhãn cho chuỗi các từ, xác định thực thể, gán
nhãn cụm từ, nhãn danh từ…vv.
Gọi 𝑜 = (𝑜, , 𝑜- , … , 𝑜. ) là một chuỗi dữ
liệu quan sát cần được gán nhãn. Gọi S là tập
trạng thái, mỗi trạng thái liên kết với một
nhãn 𝑙𝜖𝐿. Đặt 𝑠 = (𝑠, , 𝑠- , … , 𝑠. ) là một
chuỗi trạng thái, CRFs xác định xác suất điều
kiện của một chuỗi trạng thái khi biết chuỗi
quan sát như sau:
)

1
𝑝! (𝑠|𝑜) =
𝑒𝑥𝑝 ,- - 𝜆% 𝑓% (𝑠&'( , 𝑠& , 𝑜, 𝑡)3
𝑍(#)
&*(

(2)

%

Gọi 𝑍(") = ∑$ ! 𝑒𝑥𝑝[∑)&*( ∑% 𝜆% 𝑓% (𝑠&'( , 𝑠& , 𝑜, 𝑡)]
là thừa số chuẩn hố trên tồn bộ các chuỗi
nhẵn có thể. 𝑓/ xác định một hàm đặc trưng
và 𝜆/ là trọng số liên kết với mỗi đặc trưng
𝑓/ . Mục đích của việc học máy CRFs là ước
lượng các trọng số này. Ở đây, ta có hai đặc
trưng 𝑓/ : đặc trưng trạng thái (per-state) và
đặc trưng chuyển (transition).
(+,-'.&/&,)

𝑓%

(&-/0.1&1#0)

𝑓%

(𝑠& , 𝑜, 𝑡) = 𝛿(𝑠& , 𝑙)𝑥% (𝑜, 𝑡)

(3)

(𝑠&'( , 𝑠& , 𝑡) = 𝛿(𝑠&'( , 𝑙)𝛿(𝑠& , 𝑙)

(4)

Ở đây 𝛿 là kronecker-𝛿. Mỗi đặc trưng
trạng thái (3) kết hợp với nhãn 𝑙 của trạng
thái hiện thại 𝑠) và một vị từ ngữ cảnh – một
hàm nhị phân 𝑥/ (𝑜, 𝑡) xác định các ngữ cảnh

quan trọng của quan sát 𝑜 tại vị trí 𝑡. Một đặc
trưng chuyển (4) biểu diễn sự phụ thuộc
chuỗi bằng cách kết hợp nhãn 𝑙 0 của trạng
thái trước 𝑠)&, và nhãn 𝑙 của trạng thái hiện
tại 𝑠) .


Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông – Quảng Ninh, 5-6/11/2020

Huấn luyện CRFs bằng cách làm cực đại
hoá hàm likelihood theo dữ liệu huấn luyện
sử dụng các kĩ thuật tối ưu như L-BFGS.
D. Lấy mẫu dữ liệu và tiền xử lý

thực thể: mã sản phẩm, địa chỉ, cân nặng,
chiều cao, kích thước. Sau khi qua bước tiền
xử lý và gán nhãn thủ công, dữ liệu huấn
luyện có dạng như hình sau:

Trong nghiên cứu này chúng tơi thử
nghiệm để phân loại các ý định và trích chọn
các thông tin được mô tả trong bảng sau đây:
Bảng 1: Mô tả các ý định cần phân loại
Intent
Mô tả
ý định liên quan đến các chào
Ask_hello
hỏi.
ý định liên quan đến hỏi về
Product_price

giá sản phẩm.
ý định hỏi về số lượng sản
Product_num
phẩm.
ý định hỏi về chất liệu sản
Product_quality
phẩm.
ý định hỏi về dịch vụ vận
Product_ship
chuyển sản phẩm.
ý định hỏi về phương thức
Product_payment
thanh toán.
ý định về phản hồi, đánh giá
Product_feedback
sản phẩm.
Bảng 2: Mô tả các thơng tin cần trích chọn
Entity
Mơ tả
Product_name
Thơng tin về mã sản phẩm.
Thơng tin về vị trí vận
Location
chuyển hàng.
Thơng tin về chiều cao của
Height
khách hàng.
Thông tin về cân nặng của
Kilogam
khách hàng.

Thông tin về kích thước sản
Size
phẩm.

Nguồn dữ liệu xây dựng để huấn luyện
Chatbot bán hàng được thu thập và tham
khảo qua một số Fanpage Facebook bán
hàng. Từ các đoạn hội thoại lọc ra các câu
nói của khách hàng bao gồm 300 bản ghi.
Trong nghiên cứu này chúng tôi sử dụng thư
viện Underthesea của tác giả Vũ Anh để tách
các từ Tiếng Việt một cách chuẩn xác bao
gồm cả việc tách các từ ghép.
Trong tập dữ liệu thu được này còn rất
nhiều các từ viết tắt, sai chính tả, chính vì
vậy cần phải chuẩn hoá được dữ trên bằng
việc xây dựng các bộ từ điển để xử lý vấn đề
này. Thực hiện gán nhãn các ý định: chào
hỏi, giá, số lượng, kích thước, chất liệu, vận
chuyển, thanh tốn, đánh giá và nhãn các

Hình 3: Dữ liệu huấn luyện
Trong hình 3 nhãn ý định về giá sản phẩm
được gán với các câu nói của khách hàng hỏi
về giá của sản phẩm họ đang quan tâm với
intent: ask_product_price. Các thông tin mã
sản phẩm “sp1”, “sp2” được gán nhãn thực
thể product_name.
E. Phép đánh giá

Để đi sâu vào tìm hiểu tính hiệu quả của
thuật tốn học máy, chúng tôi biểu diễn kết
quả phân loại dưới dạng ma trận chồng chéo,
với các phép thử được tính như sau:
𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 + 𝑇𝑁
𝑇𝑃
𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 =
𝑇𝑃 + 𝐹𝑁
𝑇𝑃
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =
𝑇𝑃 + 𝐹𝑃
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦
𝑓1 = 2 ×
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦

𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 =

(5)
(6)
(7)
(8)

Trong đó:
- TP (True Positive): Số lượng ý định được
gắn nhãn đúng so với quan sát.
- FN (False Negative): Số lượng ý định bị gắn
nhãn sai thành các ý định khác.
- FP (False Positive): Số lượng ý định khác bị
gắn nhãn sai thành ý định đang xem xét.

- TN (True Negative): Số lượng ý định khác
được gắn nhãn đúng so với quan sát.

III. KẾT QUẢ VÀ THẢO LUẬN
Chúng tôi tiến hành hai thử nghiệm trên
cùng tập dữ liệu, trong đó, thử nghiệm 1, dữ
liệu được đưa qua khâu tiền xử lý tách từ
theo khoảng trắng. Trong thử nghiệm 2, dữ


Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông – Quảng Ninh, 5-6/11/2020

liệu được tiền xử lý chuẩn hố các từ viết tắt,
sai chính tả và tách từ theo chuẩn Tiếng Việt
(tách được cả các từ ghép) trước khi đi vào
mơ hình. Kết quả thu được là phân loại được
ý định từ câu đầu vào và trích chọn được các
thơng tin quan trọng. Mơ hình tổng thể q
trình thử nghiệm được xây dựng như sau:

Bảng 4:Hiệu suất trích chọn thông tin.
Kết quả
Entities
precision

sensitivity

f1

support

product_name

0.75

0.667

0.706

9

location

1.0

0.75

0.857

8

kilogam

1.0

0.667

0.7

8

height

1.0

0.75

0.857

4

size

0.909

0.69

0.784

4

Từ kết quả thu được từ bảng 4, nhận thấy
việc áp dụng mơ hình CRF cho trích chọn
thơng tin đạt độ chính xác cao. Qua q trình
huấn luyện thì thấy việc càng huấn luyện
nhiều dữ liệu thì độ chính xác trích xuất càng
cao với mơ hình CRF.
Bảng 5: Hiệu suất của thuật toán StartSpace cho tất cả ý định:

Hình 4: Mơ hình thử nghiệm

Với phương pháp đã trình bày ở trên,
chúng tơi tiến hành lập trình thử nghiệm dựa
trên nền tảng framework Rasa [22] để phân
loại ý định và trích chọn thơng tin. Chúng
tơi tiến hành thử nghiệm thì thấy độ chính
xác đạt trên thử nghiệm 2 tốt hơn so với thử
nghiệm 1.
Bảng 3: Kết quả xử với 2 thử nghiệm
Thử nghiệm
Độ chính xác
Thử nghiệm 1
68.1%
Thử nghiệm 2
96.89%
Từ thử nghiệm trên nhận thấy rằng, việc
xây dựng giải pháp trên miền dữ liệu Tiếng
Việt, đặc biệt trong nghiệp vụ bán hàng thì
vấn đề tiền xử lý các từ, chuẩn hố các từ sai
chính tả, các từ viết tắt ảnh hướng rất nhiều
đến độ chính xác, ở thử nghiệm 2 chúng tôi
đã sử dụng thư viện Underthesea của tác giả
Vũ Anh để tách từ theo chuẩn Tiếng Việt và
xây dựng bộ từ điển để chuẩn hố các từ sai
chính tả, viết tắt. Tuy nhiên bộ từ điển này
vẫn chưa hoàn thiện trong các trường hợp
xảy ra.
Một số kết quả chi tiết trong thử nghiệm
2 như sau:

Ý định

Kết quả
Accuracy

Sensitivity

Precision

ask_hello

100%

100%

100%

product_feedback

97.06%

100%

75%

product_num

89.19%

66.67%

85.71%

product_payment

100%

100%

100%

product_price

97.06%

83.33%

100%

product_quality

97.06%

75%

100%

product_ship

100%

100%

100%

product_size

91.67%

100%

62.5%

product_warranty

100%

100%

100%

Trung bình

96.89%

91.67%

91.47%

Tỷ lệ phân loại ý định khi thực hiện thao
tác phân loại trên tập dữ liệu thử nghiệm

được liệt kê ở bảng 5, độ chính xác trung
bình đạt mức 96.89%. Độ chính xác tốt nhất
đạt được với ý định chào hỏi (100%), giá
(97.06%), số lượng (89.19%), kích thước
(91.67%), chất liệu (97.01%), vận chuyển
(100%), thanh tốn (100%), đánh giá
(97.06%), chính sách (100%).
So sánh đối với nghiên cứu của
Muhammad Yusril Helmi Setyawan cùng
các cộng sự khi phân loại ý định trong


Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thơng – Quảng Ninh, 5-6/11/2020

Chatbot dựa trên thuật tốn Naive Bayes với
hiệu suất 0.636 và hồi quy logistic là 0.727.
Cũng trong nghiên cứu của Amber Nigam,
Prashik Sahare, Kushagra Pandya khi phân
loại ý định Chatbot trên miền đóng đã đạt
được hiệu suất với độ chính xác là 75,07%.
IV. KẾT LUẬN
Kết quả thử nghiệm cho thấy tính khả thi
của giải pháp này khi độ chính xác cao
tương đương hoặc tốt hơn các cách tiếp cận
truyền thống. Tuy nhiên còn tồn tại các hạn
chế về xử lý lỗi chính tả, viết tắt trong một
số trường hợp, những câu nói của khách
hàng nhập nhằng về ngữ nghĩa hay vấn đề
có nhiều ý định trong một câu nói. Với định
hướng nghiên cứu tiếp theo chúng tơi sẽ tiếp

tục xử lý những vấn đề cịn hạn chế như xử
lý các lỗi chính tả, viết tắt dựa trên các thuật
toán học máy, nhằm tăng hiệu suất của giải
pháp này hơn nữa.
LỜI CẢM ƠN
Cán bộ trẻ Đỗ Viết Mạnh được hỗ trợ
bởi Viện Công nghệ thông tin, Viện Hàn lâm
Khoa học và Công nghệ Việt Nam (VAST),
mã đề tài CS20.04.

[7]

[8]
[9]

[10]

[11]

[12]

[13]

[14]

[15]
[16]

[17]
[18]

TÀI LIỆU THAM KHẢO
[1]

[2]

[3]

[4]

[5]

[6]

View publication stats

Khan, R., Standardized Architecture for Conversational
Agents a.k.a. ChatBots. International Journal of Computer
Trends
and
Technology,
50(2),
114–121.
2017.
Darius Zumstein, Sophie Hundertmark, “CHATBOTS – AN
INTERACTIVE TECHNOLOGY FOR PERSONALIZED
COMMUNICATION,
TRANSACTIONS
AND
SERVICES”,

IADIS
International
Journal
on
WWW/Internet, November 2017.
Delhi, “REVIEW OF CHATBOT DESIGN AND
TRENDS”, Artificial Intelligence and Speech Technology,
2019.
Dai, A. M. and Le, Q. V. Semi-supervised sequence
learning.InIn Proceedings of Advances in Neural
InformationProcessing Systems 28, pp. 3079–3087. 2015.
Peters, M., Ammar, W., Bhagavatula, C., and Power,
R.Semi-supervised sequence tagging with bidirectional language models. InProceedings of the 55th ACL, pp. 1756–
1765, Vancouver, Canada, July 2017.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K.
BERT:Pre-training of deep bidirectional transformers for
lan-guage understanding. InProceedings of the 2019 Conference of the NACL, Vol 1, pp. 4171–4186, June 2019.

[19]

[20]

[21]

[22]

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark,
C.,Lee, K., and Zettlemoyer, L. Deep contextualized
wordrepresentations.
InProceedings

of
the
2018
Conferenceof the NAACL, pp. 2227–2237, New Orleans,
Louisiana,June 2018a.
Lample, G. and Conneau, A. Cross-lingual language
modelpretraining.CoRR, abs/1901.07291, 2019.
Peters, M. E., Neumann, M., Zettlemoyer, L., and Yih,
W.Dissecting contextual word embeddings: Architectureand
representation.CoRR, abs/1808.08949, 2018b.
Howard, J. and Ruder, S. Universal language model finetuning for text classification. InProceedings of the
56thAnnual Meeting of the ACL, pp. 328–339,
Melbourne,Australia, July 2018.
Yang, Z., Dai, Z., Yang, Y., Carbonell, J. G., Salakhut-dinov,
R., and Le, Q. V. Xlnet: Generalized autore-gressive
pretraining
for
language
understanding.CoRR,abs/1906.08237, 2019.
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D.,
Levy,O., Lewis, M., Zettlemoyer, L., and Stoyanov, V.
Roberta:A robustly optimized BERT pretraining
approach.CoRR,abs/1907.11692, 2019.
Tang, R., Lu, Y., Liu, L., Mou, L., Vechtomova, O., and
Lin,J. Distilling task-specific knowledge from BERT
intosimple neural networks.CoRR, abs/1903.12136, 2019.
Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K.
BERT:Pre-training of deep bidirectional transformers for
lan-guage understanding. InProceedings of the 2019 Conference of the NACL, Vol 1, pp. 4171–4186, June 2019.
Vu Anh, “Underthesea - Vietnamese NLP Toolkit” , Jul

2019.
Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams,
Antoine Bordes and Jason Weston, “StartSpace: Embed All
The Things!”, Computation and Language , 21 Nov 2017.
Sutton, Charles; McCallum, Andre, "An Introduction to
Conditional Random Fields", arXiv:1011.4088v1 (2010).
Muhammad Yusril Helmi Setyawan, Rolly Maulana
Awangga, Safif Rafi Efendi, “Comparison Of Multinomial
Naive Bayes Algorithm And Logistic Regression For Intent
Classification In Chatbot ”, International Conference on
Applied Engineering (ICAE) , October 2018.
Amber Nigam, Prashik Sahare, Kushagra Pandya, “Intent
Detection and Slots Prompt in a Closed-Domain Chatbot”, ,
10 Jan 2019.
Bojanowski, P.; Grave, E.; Joulin, A.; and Mikolov, T,
“Enriching word vectors with subword information”,
Transactions of the Association for Computational
Linguistics5:135–146, 2017.
Feng Niu, Benjamin Recht, Christopher R´e, Stephen J.
Wright, “Hogwild: A lock-free approach to parallelizing
stochastic gradient descent”, In Advances in neural
information processing systems, June 2011.
Tom Bocklisch, Joey Faulkner, Nick Pawlowski, Alan
Nichol, “Rasa: Open Source Language Understanding and
Dialogue Management”, arXiv:1712.05181v2 [cs.CL] 15
Dec 2017.