Thuật toán ID3 và Naïve Bayes

Nguyễn Thị Mai Trang CH0601084
Bài giải bài tập 2
Dùng thuật tóan ID3 và Naïve Bayes để tìm luật phân lớp trong bảng sau đây.
T
T
1
2
3
4
5
6
7
8

Màu
tóc
Đen
Đen
Râm
Đen
Bạc
Râm
Râm
Đen

Chiều cao

Cân nặng

Tầm thước
Cao

Thấp
Thấp
Tầm thước
Cao
Tầm thước
Thấp

Nhẹ
Vừa phải
Vừa phải
Vừa phải
Nặng
Nặng
Nặng
Nhẹ

Dùng
thuốc?
Không
Có
Có
Không
Không
Không
Không
Có

Kết quả
Bị rám
Không

Không
Bị rám
Bị rám
Không
Không
Không

So sánh kết qủa.
Giải:
1. ID3
Chọn thuộc tính phân hoạch dựa vào các vector đặc trưng:
Màu tóc
Vmàu tóc=(T(đen,nám),T(đen,không nám)) =(2/8,2/8)
Vmàu tóc =(T(râm,nám), T(râm,không nám))= (0/8,3/8)
Vmàu tóc =(T(bạc,nám),T(bạc,không nám))= (1/8,0/8)
Chiều cao:
Vchiều cao = (T(tầmthước,nám), T(tầm thước,không nám))= (2/8, 1/8)
Vchiều cao = (T(cao, nám), T(cao,không nám)) = (0/8, 2/8)
Vchiều cao =(T(thấp,nám), T(thấp,không nám))= (1/8, 2/8)
Cân nặng:
Vcân nặng= (T(nhẹ,nám), T(nhẹ,không nám)) = (1/8, 1/8)
Vcân nặng = (T(vừa phải,nám), T(vừa phải, không nám)) = (1/8, 2/8)
Vcân nặng = (T (nặng, nám), T(nặng, không nám)) = (1/8, 2/8)
Dùng thuốc:
Vdùng thuốc= (T(không, nám), T(không, không nám)) = (3/8, 2/8)
Vdùng thuốc = (T(có,nám), T(có, không nám)) = (0/8, 3/8)
Thuộc tính Màu tóc có nhiều vextor đơn vị nhất nên ta chọn thuốc tính màu tóc để phân
hoạch
Màu tóc
Đen(1,2,4,8)

Bạc(5)
(Rám)

Râm(3,6,7)
(Không rám)


Tiếp theo cần phân hoạch tập P1=(1,2,4,8)
Phân hoạch tập P1
T
T
1
2
4
8

Chiều cao

Cân nặng

Tầm thước
Cao
Thấp
Thấp

Nhẹ
Vừa phải
Vừa phải
Nhẹ

Dùng
thuốc?
Không
Có
Không
Có

Kết quả
Bị rám
Không
Bị rám
Không

Tính các vector đặc trưng:
Chiều cao:
Vchiềucao =(T(tầm thước,rám), T(tầm thước, không rám)) = (1/4, 0/4)
Vchiềucao= (T(thấp, rám), T(thấp, không rám)) = (1/4 , 1/4)
Vchiềucao= (T(cao, rám), T(cao, không rám)) = (0/4, 1/4)
Cân nặng:
Vcân nặng= (T(nhẹ, rám), T(nhẹ, không rám)) = (1/4,1/4)
Vcân nặng= (T(vừa phải, rám), T(vừa phải, không rám)) =(1/4,1/4)
Dùng thuốc:
Vdùngthuốc = (T(có, rám), T(không, rám)) = (0/4, 2/4)
Vdùng thuốc = (T(không, rám), T(không, không rám)) =(2/4, 0/4)
Chọn thuộc tính Dùng thuốc làm thuộc tính phân hoạch
Dùng thuốc
Có (2,8)
(không rám)

Không(1,4)
(rám)

Kết quả, ta có cây định danh sau:
Màu tóc
Đen(1,2,4,8)
Dùng thuốc
có( 2, 8)
(không rám)

Bạc(5)
(rám)
không(1,4)
(rám)

Từ cây định danh trên, ta suy ra các luật:
- Tóc bạc → rám
- Tóc râm → không bị rám
- (Tóc đen, có dùng thuốc) → không rám
- (Tóc đen, không dùng thuốc) → rám

Râm(3,6,7)
(không rám)


2. Bayes:
Xác suất lớp dương (rám)= 3/8
Xác suất lớp âm (không rám) =5/8
Ước lượng:
Màu tóc

P(Đen|rám)=2/3
P(Đen|không rám)=2/5
P(Râm|rám)=0/3
P(Râm|không rám)=3/5
P(bạc|rám)=1/3
P(bạc|không rám)=0/5
Chiều cao
P(Tầm thước|rám)=2/3
P(Tầm thước|không rám)=1/5
P(Cao|rám)=0/3
P(Cao|không rám)=2/5
P(Thấp|rám)=1/3
P(Thấp|không rám)=2/5
Cân nặng
P(nhẹ|rám)=1/3
P(nhẹ|không rám)=1/5
P(vừa phải|rám)=1/3
P(vừa phải|không rám)=2/5
P(nặng|rám)=1/3
P(nặng|không)=2/5
Dùng thuốc
P(không|rám)=3/3
P(không|không)=2/5
P(có|rám)=0/3
P(có|không)=3/5
Suy ra các luật :
- Tóc râm → không rám
- Tóc bạc → rám
- Cao → không rám
- Dùng thuốc → không rám

Các mẫu chưa thấy:
X1= <đen, tầm thước, nhẹ, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(tầm thước/rám).P(nhẹ/rám).P(không dùng thuốc/rám).P(rám)=
=2/3.2/3.1/3.3/3.3/8 =0.5555555
P(đen/không rám).P(tầm thước/ không rám).P(nhẹ/không rám).P(không dùng
thuốc/không rám).P(không rám)=
=2/5.1/5.1/5.2/5.5/8 =0.004
→ Mẫu X1 được đưa vào lớp rám
X2= <đen, tầm thước, nặng vừa, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(tầm thước/rám).P(nặng vừa/rám).P(không dùng thuốc/rám).P(rám)=
=2/3.2/3.1/3.3/3.3/8 =0.5555555
P(đen/không rám).P(tầm thước/ không rám).P(nặng vừa/không rám).P(không dùng
thuốc/không rám).P(không rám)=
=2/5.1/5.2/5.2/5.5/8 =0.008
→ Mẫu X2 được đưa vào lớp rám


X3= <đen, tầm thước, nặng, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(tầm thước/rám).P(nặng/rám).P(không dùng thuốc/rám).P(rám)=
=2/3.2/3.1/3.3/3.3/8 =0.5555555
P(đen/không rám).P(tầm thước/ không rám).P(nặng /không rám).P(không dùng
thuốc/không rám).P(không rám)=
=2/5.1/5.2/5.2/5.5/8 =0.008
→ Mẫu X3 được đưa vào lớp rám
X4= <đen, thấp, nhẹ, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(thấp/rám).P(nhẹ/rám).P(không dùng thuốc/rám).P(rám)=

=2/3.1/3.1/3.3/3.3/8 =0.02777
P(đen/không rám).P(thấp/ không rám).P(nhẹ/không rám).P(không dùng thuốc/không
rám).P(không rám)=
=2/5.2/5.1/5.2/5.5/8 =0.008
→ Mẫu X4 được đưa vào lớp rám
X5= <đen, thấp, nặng vừa, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(thấp/rám).P(nặng vừa/rám).P(không dùng thuốc/rám).P(rám)=
=2/3.1/3.1/3.3/3.3/8 =0.02777
P(đen/không rám).P(thấp/ không rám).P(nặng vừa /không rám).P(không dùng
thuốc/không rám).P(không rám)=
=2/5.2/5.2/5.2/5.5/8 =0.016
→ Mẫu X5 được đưa vào lớp rám
X6= <đen, thấp, nặng, không dùng thuốc)
P(X1/rám).P(p)=
P(đen/rám).P(thấp/rám).P(nặng/rám).P(không dùng thuốc/rám).P(rám)=
=2/3.1/3.1/3.3/3.3/8 =0.02777
P(đen/không rám).P(thấp/ không rám).P(nặng /không rám).P(không dùng thuốc/không
rám).P(không rám)=
=2/5.2/5.2/5.2/5.5/8 =0.016
→ Mẫu X6 được đưa vào lớp rám
Suy ra các luật:
- Tóc râm → không rám
- Tóc bạc → rám
- Cao → không rám
- Dùng thuốc → không rám
- Tóc đen, cao tầm thước, nhẹ, không dùng thuốc → rám
- Tóc đen, cao tầm thước, nặng vừa, không dùng thuốc → rám

-

Tóc đen, cao tầm thước, nặng, không dùng thuốc → rám
Tóc đen, thấp, nhẹ, không dùng thuốc → rám
Tóc đen, thấp, nặng vừa, không dùng thuốc → rám
Tóc đen, thấp, nặng, không dùng thuốc → rám

Rút gọn các luật:
- Tóc râm → không rám
- Tóc bạc → rám
- Cao → không rám
- Dùng thuốc → không rám
- Tóc đen, tầm thước , không dùng thuốc → rám
- Tóc đen, thấp , không dùng thuốc → rám
So sánh kết quả hai thuật toán: Các luật suy ra từ thuật toán Bayes chưa được rút gọn

ID3
- Tóc bạc → rám
- Tóc râm → không bị rám
- (Tóc đen, có dùng thuốc) → không rám
- (Tóc đen, không dùng thuốc) → rám

Bayes
- Tóc râm → không rám
- Tóc bạc → rám
- Cao → không rám
- Dùng thuốc → không rám
- (Tóc đen, tầm thước , không dùng thuốc)
→ rám
- (Tóc đen, thấp , không dùng thuốc) →

rám