lý thuyết nhận dạng

CH
1

NG

1: N

I DUNG MÔN H C

Biên so n: TS Ngô H u Phúc
B môn: Khoa h c máy tính
H c vi n k thu t quân s
Email:

Lý thuy t nh n d ng

LÝ THUY T NH N D NG


Thông tin chung
 Thông tin v nhóm môn h c:
TT

H tên giáo viên

H c hƠm

H cv

n v công tác (B môn)

1

Ngô H u Phúc

GVC

TS

BM Khoa h c máy tính

2

Tr n Nguyên Ng c

GVC

TS

BM Khoa h c máy tính

3

Nguy n Vi t Hùng

GV

TS

BM Khoa h c máy tính

 Th i gian, đ a đi m làm vi c: B môn Khoa h c máy tính T ng 2, nhà A1.


a ch liên h : B môn Khoa h c máy tính, khoa Công ngh thông tin.



i n tho i, email: 069-515-329,

2

TTNT - H c vi n K thu t Quân s


C u trúc môn h c
 Ch

ng 0: Gi i thi u v môn h c

 Ch

ng 1: Gi i thi u v nh n d ng m u.

 Ch

ng 2: Nh n d ng m u d a trên th ng kê h c.

 Ch

ng 3:

 Ch

ng 4: S phân l p d a trên láng gi ng g n nh t.

 Ch

ng 5: Phân lo i tuy n tính.

 Ch

ng 6: Phân lo i phi tuy n.

 Ch

ng 7: M ng Neuron nhân t o.

cl

ng hàm m t đ xác su t.

 Th c hành: Gi i thi u m t s
3

TTNT - H c vi n K thu t Quân s

ng d ng trong th c t


Bài 1: Gi i thi u chung

Ch ng 1, m c: 1.1 – 1.14
Ti t: 1-3;
Tu n th : 1.
M c đích, yêu c u:
N m đ c s l c v H c ph n, các chính sách riêng c a
giáo viên, đ a ch Giáo viên, b u l p tr ng H c ph n.
2. N m đ
c c u trúc môn h c.
3. N m đ
c các l nh v c có liên quan đ n nh n d ng.
4. N m đ
c nh ng v n đ c t lõi c a nh n d ng.
1.

Hình th c t ch c d y h c: Lý thuy t.
Th i gian: 3 ti t.
a đi m: Gi ng đ ng do Phòng ào t o phân công
N i dung chính: (Slides)
4

TTNT - H c vi n K thu t Quân s


TÀI LI

U THAM KH O

1.

Pattern

Recognition,
Theodoridis
Koutroumbas, Academic Press.

2.

Pattern Classification, Duda, Hart, and Stork,
John Wiley & Sons.

3.

Pattern Recognition. Statistical, Structural, and
Neural Approaches, Schalkoff.

Lý thuy t nh n d ng

and

5


PH
1.
2.

3.

NG PHÁP

ÁNH GIÁ

10 % tham gia h c t p,
30 % tham gia làm bài t p v
trên l p,

nhà và th o lu n

60 % thi h t môn thông qua bài t

Lý thuy t nh n d ng

lu n.

6


N

I DUNG MÔN H C

1.

T ch c môn h c.

2.

Gi i thi u v nh n d ng m u.
2.1. Th nào là nh n d ng m u.
2.2. Khái ni m.
2.3. Các h th ng nh n d ng m u.

2.4. Ti n x

lý và chu n hóa.

2.5. L a ch n đ c tr ng.
2.6. Ph
2.7.
3.

ng pháp phân l p.

ánh giá h th ng.

Nh n d ng m u d a trên th ng kê h c.

Lý thuy t nh n d ng

7


N

I DUNG MÔN H C (TI P)
3.1. Lý thuy t quy t đ nh Bayes.
3.2. Hàm phân bi t và gi i quy t v n đ .
3.3. Phân b chu n.
3.4. L i biên và đo s

4.

cl

phân bi t.

ng hàm m t đ xác su t.

4.1.

cl

ng tham s tr

c,

4.2.

cl

ng tham s sau,

4.3.

cl

ng tham s Bayes.

4.4. Mô hình h n h p.
4.5.

cl

ng Entropy.

4.6.

cl

ng không tham s .

Lý thuy t nh n d ng

8


N

I DUNG MÔN H C (TI P)

5.

S

phân l p d a trên láng gi ng g n nh t.

5.1. Ph
6.

ng pháp k láng gi ng g n nh t.

Phân lo i tuy n tính

6.1. Hàm phân bi t tuy n tính.
6.2. L p kh tách tuy n tính.
6.3. Ph

ng pháp bình ph

ng nh nh t.

6.4. Bi n đ i đ c tr ng tuy n tính.
7.

Phân lo i phi tuy n.
7.1. Phân lo i tuy n tính suy r ng.
7.2.

nh lý l p ph .

7.3. Máy h tr vector.

Lý thuy t nh n d ng

9


N

I DUNG MÔN H C (TI P)

8.

M ng Neuron nhân t o.
8.1. M ng perceptron nhi u l p (MLP).
8.2. Hu n luy n m ng MLP.

9.

Ph

ng pháp non-metric (m r ng)

9.1. Cây quy t đ nh.
9.2. Ng

pháp.

9.3. Lu t h c và logic.
10.

S

phân l p ph thu c ng

c nh (m r ng)

10.1. Mô hình Markov.
10.2. Mô hình Markov n.

Lý thuy t nh n d ng

10

N
11.

I DUNG MÔN H C (TI P)
Thu t toán h c đ c l p (m r ng)
11.1. M u.
11.2. Ph

12.

ng pháp k t h p.

H c t ng c

ng (m r ng)

12.1. Q-learning.
13.

Nh n d ng m u không giám sát (m r ng)
13.1. Phép đo tr ng thái.
13.2. Gi i thu t tu n t .
13.3. Gi i thu t có phân lo i.
13.4. H c có c nh tranh.

14.

ng d ng và th c hành.

Lý thuy t nh n d ng

11


CH
GI I THI U V
1

NG 2:
NH N D NG M U

Biên so n: TS Ngô H u Phúc
B môn: Khoa h c máy tính
H c vi n k thu t quân s
Email:

T ng quan v nh n d ng

LÝ THUY T NH N D NG


Thông tin chung
 Thông tin v nhóm môn h c:
TT

H tên giáo viên

H c hƠm

H cv

n v công tác (B môn)

1

Ngô H u Phúc

GVC

TS

BM Khoa h c máy tính

2

Tr n Nguyên Ng c

GVC

TS

BM Khoa h c máy tính

3

Nguy n Vi t Hùng

GV

TS

BM Khoa h c máy tính

 Th i gian, đ a đi m làm vi c: B môn Khoa h c máy tính T ng 2, nhà A1.


a ch liên h : B môn Khoa h c máy tính, khoa Công ngh thông tin.



i n tho i, email: 069-515-329,

2

TTNT - H c vi n K thu t Quân s


C u trúc môn h c
 Ch

ng 0: Gi i thi u v môn h c

 Ch

ng 1: Gi i thi u v nh n d ng m u.

 Ch

ng 2: Nh n d ng m u d a trên th ng kê h c.

 Ch

ng 3:

 Ch

ng 4: S phân l p d a trên láng gi ng g n nh t.

 Ch

ng 5: Phân lo i tuy n tính.

 Ch

ng 6: Phân lo i phi tuy n.

 Ch

ng 7: M ng Neuron nhân t o.

cl

ng hàm m t đ xác su t.

 Th c hành: Gi i thi u m t s
3

TTNT - H c vi n K thu t Quân s

ng d ng trong th c t


Bài 2: Gi i thi u v nh n d ng m u
Ch ng 1, m c: 2.1 – 2.7
Ti t: 1-3;
Tu n th : 2.
M c đích, yêu c u:
N
2. N
3. N
4. N
1.

mđ
mđ
mđ
mđ

c khái ni m v nh n d ng m u.
c mô hình nh n d ng m u.
c khái ni m v chu n hóa d li u.
c khái ni m và ph ng pháp phân tích đ c tr ng.

Hình th c t ch c d y h c: Lý thuy t.
Th i gian: 3 ti t.
a đi m: Gi ng đ ng do Phòng ào t o phân công
N i dung chính: (Slides)
4

TTNT - H c vi n K thu t Quân s


2.1. TH








NÀO LÀ NH N D NG M U

ây là môn khoa h c có m c đích phân l p đ i
t ng thành các ph m trù khác nhau.
“Là hành đ ng l y d
phân lo i các m u”.

li u thô và tác đ ng d a trên

i t ng nghiên c u có th là
b t k ki u nào có th đo đ c.

nh, tín hi u hay

T i sao ph i nghiên c u?



em l i “s

s ng” cho máy.

Ph m vi ng d ng: th giác máy tính, nh n d ng ch
vi t, chu n đoán có s tr giúp c a máy tính, nh n
d ng ti ng nói, xác th c ng i, ra quy t đ nh có s
tr giúp c a máy tính…

T ng quan v nh n d ng

5


2.2. KHÁI NI



MV

MÔ HÌNH

L p, mô hình,
c tr ng, vector đ c tr ng,



Trích rút đ c tr ng.



Hu n luy n m u, hu n luy n d



Ki m tra m u, ki m tra d



Chi phí th c hi n, r i ro th c hi n.



Phân lo i.



V n đ biên c a phân lo i.



T ng quát hóa.



H c giám sát và không giám sát.

T ng quan v nh n d ng

li u.

li u.

6


2.3. H

TH NG NH N D NG M U

2.3.1. Mô hình h th ng.




Sensor là thành ph n thu nh n đ c
tr ng, sensor có th là:


Nhi t k ,



Microphone,



Camera s .

Trích rút đ c tr ng:


Chuy n đ i giá tr đo đ
tr ng c a h th ng.

T ng quan v nh n d ng

c thành đ c

7


2.3. H

c tr ng:





TH NG NH N D NG M U (CONT)



Thành ph n bi u di n m u,



Có th bi u di n b ng vector, ma tr n, cây, đ

chu i.



Trong tr ng h p lý t ng, các đ i t ng trong cùng
m t l p các đ c tr ng này gi ng nhau và các đ i t ng
thu c l p khác nhau thì khác.

th hay

B phân l p:


H cđ

ct



Thông th ng s tr l i câu h i: m u đã có thu c vào
l p nào? ho c
i t ng thu c ki u l p nào?

T ng quan v nh n d ng

d

li u hu n luy n.

8

2.3. H

TH NG NH N D NG M U (CONT)

2.3.2. Thi t k .
Trong ph n này, th
câu h i sau:






ng tr

l i m t s

Thu nh n d li u: o đ c thông tin
gì? C n bao nhiêu thông tin?
L a ch n đ c tr ng:
c tr ng nào
t t cho quá trình phân tách và t ng
quát hóa.
c l ng h th ng: Có th đo s
hi u qu c a h th ng b ng cách
nào?

T ng quan v nh n d ng

9


2.4. TI

NX

LÝ VÀ CHU N HÓA

Trong giai đo n này, thông th
chí sau:








ng l a ch n các tiêu

D trích rút đ c tr ng và phân l p.
Có th đòi h i: các đ c tr ng t t, quá trình h c
nhanh, d t ng quát hóa.
Có s

ph thu c gi a b phân l p và đ c tr ng.

Ph thu c vào ng d ng c

lý âm thanh, ...

th : x

lý

nh hay x

Các ph ng pháp: c t b thông tin bên ngoài,
chu n hóa, phân tích thành ph n chính.

T ng quan v nh n d ng

10


2.4. TI

NX

LÝ VÀ CHU N HÓA (T)

2.4.1. Thành ph n bên ngoài.


M u không chu n,



L i xu t hi n t



N u có l i t



Có th miêu t đ i v i d



Có th nh n bi t b ng các ph

T ng quan v nh n d ng

y u t con ng

i,

y u t ch quan, có th lo i b ,
li u đ n gi n,
ng pháp th ng kê.

11


2.4. TI

NX

LÝ VÀ CHU N HÓA (T)

2.4.2. M t s d ng chu n hóa.


Minmax-scaling:

min

m

T ng quan v nh n d ng

12


2.4. TI

NX

LÝ VÀ CHU N HÓA (T)

2.4.2. M t s d ng chu n hóa.


Trung bình và đ l ch chu n:
N

1
xk   xki k  1,2,..., l

N i 1
N
1
2
2
k 
xki  xk

N  1 i 1
xki  xk
xˆki 





k

T ng quan v nh n d ng

13


2.4. TI

NX

LÝ VÀ CHU N HÓA (T)

2.4.2. M t s d ng chu n hóa.



Softmax-scaling:

yki 
xˆki 

T ng quan v nh n d ng

xki  xk
r k
1
1 e

 yki

14