Semi – supervised learning

Semi – Superviesd learning
Semi – supervised learning
Information
Chương I: GIỚI THIỆU VỀ MÁY HỌC ( Machine learning )
I GIỚI THIỆU:
1.1 Định nghĩa ‘học’
1.2. Khái niệm về học máy
1.3 Các tiếp cận học
1.4 Tương tác với con người
II. QUÁ TRÌNH HỌC MÁY
2.1 Quá trình trích tri thức từ dữ liệu
2.2 Phân loại học
2.3 Dữ liệu
2.4 Giao thức
2.5 Tiêu chuẩn thành công
2.6 Không gian biểu diễn
2.7 Bản chất của các thuộc tính
2.8 Tiền xử lý dữ liệu
2.10 Tập mẫu
2.11 Tìm kiếm trong không gian giải thuyết
III. CÁC LOẠI GIẢI THUẬT TRONG MÁY
3.1 Các loại giải thuật.
3.2 Các chủ đề về học máy
Chương II: HỌC NỬA GIÁM SÁT(Semi-supervised learning )
I. TỔNG QUAN
1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát
(unsupervised learning)
a. Học có giám sát:
b. Học không có giám sát:
1.2 Khái niệm về học nửa giám sát
II. MỘT SỐ GIẢI THUẬT TRONG HỌC NỬA GIẤM SÁT

2.1 Generative Models
2.1.1 Giới thiệu về “Generative Models”
2.1. Generative Models trong Semi - supervised learning
2.1.3 Ưu điểm và nhược điểm của giải thuật
2.1.5 Ứng dụng của mô hình
2.2 Semi – superviesd Suport vector machines
2.2.1 Giới thiệu về S3VM
2.2.2 Giải thuật S3MV
2.2.3 Kết luận về S3VM
2.3 Self-training
CHƯƠNG III. SELF – TRAINING VÀ BÀI TOÁN NHẬN DẠNG KÝ TỤ TRÊN
1
Semi – Superviesd learning
ẢNH
I. GIẢI THUẬT SELF – TRAINING
1.1 Giới thiệu về Self – training
1.2 Giải thuật
1.3 Đánh giá giải thuật
II. BÀI TOÁN NHẬN DẠNG KÝ TỰ TRÊN ẢNH
2.1 Phân tích bài toán
2.2 Hướng giải quyết bài toán.
I. KẾT QUẢ BAN ĐẦU ĐÃ ĐẠT ĐƯỢC
II. HƯỚNG PHÁT TRIỂN
SEMI – SUPERVISED LEARNING
MỤC LỤC
Semi – supervised learning.................................................................................................1
Chương I: GIỚI THIỆU VỀ MÁY HỌC...............................................................................4
( Machine learning ).................................................................................................................4
I GIỚI THIỆU: ........................................................................................................................5
1.1Định nghĩa ‘học’ ................................................................................................................5

1.2. Khái niệm về học máy.......................................................................................................7
1.3 Các tiếp cận học.................................................................................................................7
1.4 Tương tác với con người....................................................................................................8
II. QUÁ TRÌNH HỌC MÁY...................................................................................................8
2.1 Quá trình trích tri thức từ dữ liệu.......................................................................................8
2.2 Phân loại học......................................................................................................................9
2.3 Dữ liệu................................................................................................................................9
2.4 Giao thức............................................................................................................................9
2.5 Tiêu chuẩn thành công.......................................................................................................9
2.6 Không gian biểu diễn.......................................................................................................10
2.7 Bản chất của các thuộc tính.............................................................................................10
2
Semi – Superviesd learning
2.8 Tiền xử lý dữ liệu.............................................................................................................11
2.10 Tập mẫu.........................................................................................................................11
2.11 Tìm kiếm trong không gian giải thuyết.........................................................................12
III. CÁC LOẠI GIẢI THUẬT TRONG MÁY.....................................................................12
3.1 Các loại giải thuật.............................................................................................................12
3.2 Các chủ đề về học máy....................................................................................................13
Chương II: HỌC NỬA GIÁM SÁT....................................................................................15
(Semi-supervised learning )...................................................................................................15
I. TỔNG QUAN.....................................................................................................................15
1.1 Giới thiệu về học có giám sát (supervised learning) và không có giám sát
(unsupervised learning)..........................................................................................................15
a. Học có giám sát: ................................................................................................................15
b. Học không có giám sát:......................................................................................................18
1.2 Khái niệm về học nửa giám sát........................................................................................19
II. MỘT SỐ GIẢI THUẬT TRONG HỌC NỬA GIẤM SÁT.............................................20
2.1 Generative Models...........................................................................................................20
2.1.1 Giới thiệu về “Generative Models”..............................................................................20

2.1. Generative Models trong Semi - supervised learning....................................................20
2.1.3 Ưu điểm và nhược điểm của giải thuật ........................................................................23
2.1.5 Ứng dụng của mô hình..................................................................................................23
2.2 Semi – superviesd Suport vector machines.....................................................................24
2.2.1 Giới thiệu về S3VM......................................................................................................24
2.2.2 Giải thuật S3MV...........................................................................................................25
2.2.3 Kết luận về S3VM.........................................................................................................26
2.3 Self-training......................................................................................................................27
CHƯƠNG III. SELF – TRAINING VÀ BÀI TOÁN NHẬN DẠNG KÝ TỤ TRÊN ẢNH
................................................................................................................................................28
I. GIẢI THUẬT SELF – TRAINING ..................................................................................28
1.1 Giới thiệu về Self – training.............................................................................................28
1.2 Giải thuật..........................................................................................................................28
1.3 Đánh giá giải thuật...........................................................................................................29
II. BÀI TOÁN NHẬN DẠNG KÝ TỰ TRÊN ẢNH............................................................29
2.1 Phân tích bài toán.............................................................................................................29
2.2 Hướng giải quyết bài toán................................................................................................29
I. KẾT QUẢ BAN ĐẦU ĐÃ ĐẠT ĐƯỢC..........................................................................31
II. HƯỚNG PHÁT TRIỂN....................................................................................................31
3
Semi – Superviesd learning
NHẬN XÉT CỦA HỘI
Chương I: GIỚI THIỆU VỀ MÁY HỌC
( Machine learning )
4
Semi – Superviesd learning
I GIỚI THIỆU:
Khi được hỏi về những kỹ năng thông minh nào là cơ bản nhất đồng thời
khó tự động hóa nhất của con người ngoài các hoạt động sáng tạo nghệ
thuật, hành động ra quyết định mang Trãi qua nhiều năm, hai lĩnh vực này

vẫn là mục tiêu, thách thức của khoa học TTNT.
Tầm quan trọng của việc học thì không cần phải tranh cãi, vì khả năng học
chính là một trong những thành tố quan trọng của hành vi thông minh. Mặc
dù tiếp cận hệ chuyên gia đã phát triển được nhiều năm, song số lượng các
hệ chuyên vẫn còn hạn chế. Một trong những nguyên nhân chủ yếu là do quá
trình tích lũy tri thức phức tạp, chi phí phát triển các hệ chuyên gia rất cao,
nhưng chúng không có khả năng học, khả năng tự thích nghi khi môi trường
thay đổi. Các chiến lược giải quyết vấn đề của chúng cứng nhắc và khi có
nhu cầu thay đổi, thì việc sửa đổi một lượng lớn mã chương trình là rất khó
khăn. Một giải pháp hiển nhiên là các chương trình tự học lấy cách giải
quyết vấn đề từ kinh nghiệm, từ sự giống nhau, từ các ví dụ hay từ những
‘chỉ dẫn’, ‘lời khuyên’,...
Mặc dù học vẫn còn là một vấn đề khó, nhưng sự thành công của một số
chương trình học máy thuyết phục rằng có thể tồn tại một tập hợp các
nguyên tắc học tổng quát cho phép xây dựng nên các chương trình có khả
năng học trong nhiều lĩnh vực thực tế.
1.1 Định nghĩa ‘học’
Theo Herbert Simon: ‘Học được định nghĩa như là bất cứ sự thay đổi nào
trong một hệ thống cho phép nó tiến hành tốt hơn trong lần thứ hai khi lặp
5
Semi – Superviesd learning
lại cùng một nhiệm vụ hoặc với một nhiệm vụ khác rút ra từ cùng một quần
thể các nhiệm vụ đó’
Định nghĩa này mặc dù ngắn nhưng đưa ra nhiều vấn đề liên quan đến việc
phát triển một chương trình có khả năng học. Học liên quan đến việc khái
quát hóa từ kinh nghiệm: hiệu quả thực hiện của chương trình không chỉ cải
thiện với ‘việc lặp lại cùng một nhiệm vụ’ mà còn với các nhiệm vụ tương
tự. Vì những lĩnh vực đáng chú ý thường có khuynh hướng là to lớn, nên các
chương trình học – (learner) chỉ có thể khảo sát một phần nhỏ trong toàn bộ
các ví dụ có thể; từ kinh nghiệm hạn chế này, chương trình học vẫn phải

khái quát hóa được một cách đúng đắn những ví dụ chưa từng gặp trong lĩnh
vực đó. Đây chính là bài toán quy nạp (induction), và nó chính là trung tâm
của việc học. Trong hầu hết các bài toán học, dữ liệu luyện tập sẵn có
thường không đủ để đảm bảo đưa ra được một khái quát hóa tối ưu, cho dù
chương trình học sử dụng giải thuật nào. Vì vậy, các giải thuật học phải khái
quát hóa theo phương pháp heuristic, nghĩa là chúng sẽ chọn một số khía
cạnh nào đó mà theo kinh nghiệm là cho hiệu quả trong tương lai để khái
quát. Các tiêu chuẩn lựa chọn này gọi là thiên lệch quy nạp (inductive bias).
Có nhiều nhiệm vụ học (learning task) khác nhau. Nhiệm vụ của chương
trình học là học một khái quát (generalization) từ một tập hợp các ví dụ. Học
khái niệm (concept learning) là một bài toán học quy nạp tiêu biểu: cho trước
một số ví dụ của khái niệm, chúng ta phải suy ra một định nghĩa cho phép
người dùng nhận biết một cách đúng đắn những thể hiện của khái niệm đó
trong tương lai.
Một số khái niệm:
 Học thuộc lòng
 Học tăng cường
6
Semi – Superviesd learning
 Học khái niệm
 Giải quyết vấn đề
 Khái quát hoávà đặc biệt hoá
 Bias:
 Cố định một họ khái niệm
 Tìm kiếm trong họkhái niệm giải thích tốt nhất dữliệu
 Lựa chọn BIAS là một sự thoả hiệp
1.2. Khái niệm về học máy
Học máy (còn gọi là Máy học) là một lĩnh vực của trí tuệ nhân tạo liên quan
đến việc phát triển các kĩ thuật cho phép các máy tính có thể "học". Cụ thể
hơn, học máy là một phương pháp để tạo ra các chương trình máy tính bằng

việc phân tích các tập dữ liệu. Học máy có liên quan lớn đến thống kê, vì cả
hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê,
học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính
toán. Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một
phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ
mà có thể xử lí được.
Học máy có tính ứng dụng rất cao bao gồm máy truy tìm dữ liệu, chẩn đoán
y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân
loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, chơi trò chơi và cử
động rô-bốt (robot locomotion).
1.3 Các tiếp cận học
Có ba tiếp cận học: tiếp cận ký hiệu (symbol-based learning), tiếp cận mạng
neuron hay kết nối (neural or connectionist networks) và tiếp cận nổi trội
(emergent) hay di truyền và tiến hóa (genetic and evolutionary learning).
7
Semi – Superviesd learning
Các chương trình học thuộc tiếp cận dựa trên ký hiệu biểu diễn vấn đề dưới
dạng các ký hiệu (symbol), các giải thuật học sẽ tìm cách suy ra các khái
quát mới, hợp lệ, hữu dụng và được biểu diễn bằng các ký hiệu này.
Ngược lại với tiếp cận ký hiệu, tiếp cận kết nối không học bằng cách tích lũy
các câu trong một ngôn ngữ ký hiệu. Giống như bộ não động vật chứa một
số lượng lớn các tế bào thần kinh liên hệ với nhau, mạng neuron là những hệ
thống gồm các neuron nhân tạo liên hệ với nhau. Tri thức của chương trình
là ngầm định trong tổ chức và tương tác của các neuron này.
Tiếp cận thứ ba là tiếp cận nổi trội mô phỏng cách thức các hệ sinh học tiến
hóa trong tự nhiên, nên còn được gọi là tiếp cận di truyền và tiến hóa.
1.4 Tương tác với con người
Một số hệ thống học máy nỗ lực loại bỏ nhu cầu trực giác của con người
trong việc phân tích dữ liệu, trong khi các hệ thống khác hướng đến việc
tăng sự cộng tác giữa người và máy. Không thể loại bỏ hoàn toàn tác động

của con người vì các nhà thiết kế hệ thống phải chỉ định cách biểu diễn của
dữ liệu và những cơ chế nào sẽ được dùng để tìm kiếm các đặc tính của dữ
liệu. Học máy có thể được xem là một nỗ lực để tự động hóa một số phần
của phương pháp khoa học. Một số nhà nghiên cứu học máy tạo ra các
phương pháp bên trong các framework của thống kê Bayes (Bayesian
statistics).
II. QUÁ TRÌNH HỌC MÁY
2.1 Quá trình trích tri thức từ dữ liệu
 Làm sạch dữ liệu
 Sử dụng một phương pháp học để đề nghị mô hình
 Hợp thức hoá mô hình được đề nghị
8
Semi – Superviesd learning
2.2 Phân loại học
 Cơ chế cơ sở: Quy nạp = phương pháp cho phép rút ra các kết luận từ
một dãy các sự kiện.
 Học giám sát classification, regression, logistic regression …Dãy "sự
kiện" được "gán nhãn"
 Học không giám sát ( không thầy) : clustering. Dãy sự kiện không
được "gán nhãn".
2.3 Dữ liệu
 Bản chất: số, ký hiệu, pha trộn
 Chất lượng: nhiễu, gốc…
2.4 Giao thức
 Giám sát / không giám sát
 Giới thiệu các ví dụ cho học:
 Từng vi dụ một ( theo một cách rút) - incremental
 Tất cả các ví dụ đồng thời
2.5 Tiêu chuẩn thành công
 Cách ứng xử:

 Đo lường tỷ suất lỗi của sự phân lớp
 Sự hội tụ
 Sự diễn giải:
 Giải thích
 Tính dễ hiểu
9
Semi – Superviesd learning
2.6 Không gian biểu diễn
 Không gian biểu diễn, ký hiệu X, các phần tử của nó được gọi là các
dữ liệu / các thể hiện / cácđối tượng / các ví dụ.
 Mỗi phần tử x thuoc X được biểu diễn bởi một tập k thuộc tính ( bộ
mô tả / biến )
x = ( x1, x2, …,xk)
 Một đối tượng x cũng có thể được kết hợp với lớp liên thuộc của nó
(nhãn) : z = ( x, c )
2.7 Bản chất của các thuộc tính
 Số ( giá trị trong R )
 Rời rạc / chất / tên / tử số ( giá trị trong N )
 Nhị phận ( giá trị trong { 0, 1 } )
10
Semi – Superviesd learning
 Dãy các phần tử trong một alphabet Σ
 Không gian biểu diễn:
 Thuần nhất ( thuộc tính cùng kiểu)
 Trộn ( mixte)
2.8 Tiền xử lý dữ liệu
 Chọn thuộc tính mô tả dữ liệu
 Chọnthuộctính( feature selection ): Loại bỏ các thuộc tính ít
phù hợp đối với việc học. Đích là làm giảm số chiều.
 Trích / xây dựng thuộc tính ( feature construction ): giảm số

chiều không gian đầu vào bằng các phép biến đổi ( tuyến tính
hoặc không) các thuộc tính khởi đầu. Đích là giảm số chiều của
vấn đề và xây dựng biến tổng hợp ( kể đén các tương tác).
 Xử lý nhiễu: Lỗi thuộc tính mô tả hoặc nhãn–phát hiện bất thường
bàng visualization, sử dụng chuyên gia. Thay thế các dữ liệu thiếu.
2.9 Rời rạc hoá dữ liệu liên tục
- Một số thuật toán học không có khả năng xử lý trực tiếp các thuộc tính liên
tục. Cần thiết biến đổi các thuộc tính liên tục thành thuộc tính giá trị rời rạc
- Một số phương pháp giả thiết dữ liệu tuân theo một luật phân phối
( Gauss , đều…) → Rời rạc thành các khoảng phân phối tương ứng với các
phân phối đó.
- Một số phương pháp rời rạc hoá khác: phân đoạn, đo lường entropy, …
2.10 Tập mẫu
Tập mẫu = tập hữu hạn các ví dụ. 3 kiểu tập mẫu:
Tập mẫu học / tập học
•Tập mẫu hợp thức hoá / tập hợp thức
-Tập mẫu thử / tập thử
11
Semi – Superviesd learning
2.11 Tìm kiếm trong không gian giải thuyết
-Mỗi khi không gian giả thiết H đã được lựa chọn, học trở thành tìm kiếm
giả thiết tốt nhất trong H.
-Nếu có một sự đánh giá mỗi giả thiết bởi một hàm "giá", có thể xét học như
một vấn đề tối ưu hoá: Tìm phần tử của H làm tối ư u hàm "giá".
• Tối ưu không ràng buộc & Tối ưu với ràng buộc
Hàm tối ưu rất thường dùng là hàm "lỗi"
- Các phương pháp tối ưu hoá: Gradient, Nhân tử Lagrange, Annealing
III. CÁC LOẠI GIẢI THUẬT TRONG MÁY
3.1 Các loại giải thuật.
Các thuật toán học máy được phân loại theo kết quả mong muốn của thuật

toán. Các loại thuật toán thường dùng bao gồm:
• Học có giám sát (supervised learning) -- trong đó, thuật toán tạo ra
một hàm ánh xạ dữ liệu vào tới kết quả mong muốn. Một phát biểu
chuẩn về một việc học có giám sát là bài toán phân loại: chương trình
cần học (cách xấp xỉ biểu hiện của) một hàm ánh xạ một vector
tới một vài lớp (class) bằng cách xem xét một số ví
dụ mẫu dữ_liệu- kết_quả của hàm đó.
• Học không giám sát (unsupervised learning) -- mô hình hóa một tập
dữ liệu, không có sẵn các ví dụ đã được gắn nhãn.
• Học nửa giám sát (semi-supervised learning) -- kết hợp các ví dụ có
gắn nhãn và không gắn nhãn để sinh một hàm hoặc một bộ phân loại
thích hợp.
• Học tăng cường (reinforcement learning) -- trong đó, thuật toán học
một chính sách hành động tùy theo các quan sát về thế giới. Mỗi hành
12