Bài giảng Xử lý ngôn ngữ tự nhiên: Chương 12 - Nguyễn Kiêm Hiếu (ĐH Bách khoa Hà Nội)

Chương 12 Neural NLP
Học sâu
Word2vec
Phân loại cảm xúc dựa trên CNN
IT4772 Xử lý ngôn ngữ tự nhiên
Viện CNTT-TT, ĐHBKHN

Dịch máy dựa trên RNN

2

Chương 12 Neural NLP
Học sâu
Neuron nhân tạo

INFORMATION EXTRACTION

NATURAL LANGUAGE UNDERSTANDING

END-TO-END
APPLICATIONS

NATURAL LANGUAGE GENERATION

DATA + LINGUISTICS + MACHINE LEARNING

3

4

Chương 12 Neural NLP
Học sâu
Mạng neuron tiến

Chương 12 Neural NLP
Học sâu
Mạng nhân chập

5

Chương 12 Neural NLP
Học sâu
Mạng neuron hồi quy

/>6

Chương 12 Neural NLP
Học sâu
Ước lượng tham số
●

7

Lan truyền ngược
–

Pha tiến: tính tốn đạo hàm của hàm l ỗi d ựa trên
tham số của mạng neuron

–

Pha lùi: cập nhật tham số của mạng neuron d ựa
trên đạo hàm tính được

8


Chương 12 Neural NLP
Học sâu
Một số ứng dụng
●

●

Chương 12 Neural NLP
Word2vec

Ứng dụng mạng nhân chập cho bài toán phân
loại ảnh
Ứng dụng mạng neuron hồi quy cho bài toán
nhận diện tiếng nói

9

Chương 12 Neural NLP
Word2vec

10

Chương 12 Neural NLP

Phân loại cảm xúc dựa trên CNN

11

12


Chương 12 Neural NLP
Dịch máy dựa trên RNN

Chương 12 Neural NLP
Nhận xét
●

Tạo ra trào lưu “end-to-end NLP”

●

Ưu điểm:

●

–

Biểu diễn văn bản tốt hơn

–

Đạt độ chính xác cao hơn khi có nhi ều d ữ li ệu

Nhược điểm
–

13

Q&A


15

Độ diễn giải thấpKhó tuning mơ hình

14