báo cáo luật học perceptron

LUẬT HỌC PERCEPTRON
LUẬT HỌC PERCEPTRON
Nguyễn Thành Trung
Lớp :THB – K53
Khoa: Công nghệ thông tin
ĐH Nông nghiệp Hà Nội

NỘI DUNG
NỘI DUNG
•
Mục tiêu
•
Lý thuyết và ví dụ
•
Luât học
•
Kiến trúc Perceptron Perceptron một
noron
Perceptron nhiều noron
•
Luật học Perceptron
Kiểm tra vấn đề
Xây dựng Luật học
Luật học thống nhất
Huấn luyện mạng perceptron nhiều noron
•
Tóm tắt kết quả
•
Bài tập mẫu
•

Kết luận

•
Mục tiêu
Một trong những câu hỏi chúng tôi nêu ra trong chương 3 là: "Làm thế nào để chúng ta xác
định ma trận trọng số và hệ số hiệu chỉnh cho các mạng perceptron với nhiều đầu vào, trường hợp
không thể hình dung ranh giới quyết định?" Trong chương này, chúng tôi sẽ mô tả một thuật toán
cho phép đào tạo mạng perceptron, để giải quyết vấn đề phân loại. Chúng tôi sẽ bắt đầu bằng cách
giải thích một luật học và sau đó sẽ phát triển các luật học perceptron. Chúng tôi sẽ kết thúc bằng
việc thảo luận những lợi thế và hạn chế của mạng perceptron đơn lớp. Thảo luận này sẽ dẫn chúng
ta đến các chương sau.

•
Lý thuyết và ví dụ
Trong năm 1943, Warren McCulloch và Walter Pitts giới thiệu một trong những
neuron nhân tạo đầu tiên. Các tính năng chính của mô hình neuron của họ là sự tổng hợp có
trọng số của tín hiệu đầu vào được so sánh với ngưỡng để tìm đầu ra của neuron.
Khi tổng lớn hơn hoặc bằng ngưỡng, đầu ra là 1. Khi tổng nhỏ hơn ngưỡng, đầu ra là
0.
Họ tiếp tục cho thấy mạng neuron có thể tính toán số học hoặc hàm logic. Không
giống như các mạng sinh học, các thông số mạng của chúng được thiết kế mà không có
phương pháp đào tạo có sẵn. Tuy nhiên, mối quan hệ giữa sinh học và máy tính kỹ thuật số
tạo ra rất nhiều sự quan tâm.

Trong cuối những năm 1950, Frank Rosenblatt và một số nhà nghiên cứu khác phát
triển một lớp học về mạng neuron là perceptrons. Các neuron trong mạng này cũng tương tự
như của McCulloch và Pitts. Đóng góp quan trọng của Rosenblatt là giới thiệu một luật học
để huấn luyện các mạng perceptron để giải quyết vấn đề nhận dạng mẫu. Ông đã chứng
minh rằng luật học của mình sẽ luôn luôn hội tụ về các trọng số mạng chính xác, nếu trọng
số tồn tại để giải quyết vấn đề. Sự huấn luyện đã được đơn giản và tự động.

Tuy nhiên, mạng perceptron có nhiều hạn chế. Những hạn chế này đã được công bố
trong cuốn Perceptrons của Marvin Minsky và Seymour Papert.
Họ đã chứng minh rằng mạng perceptron đã không có khả năng thực hiện một số
chức năng cơ bản. Mãi đến những năm 1980 những hạn chế này mới được khắc phục với các
mạng perceptron cải tiến (nhiều lớp) và những luật học liên quan. Chúng tôi sẽ nói về những
cải tiến này trong các chương 11 và 12.

Ngày nay các perceptron vẫn còn được xem như là một mạng quan trọng. Nó vẫn còn
là một mạng nhanh và đáng tin cậy cho các vấn đề mà nó có thể giải quyết. Ngoài ra, sự hiểu
biết về hoạt động của perceptron sẽ tạo cơ sở tốt cho sự hiểu biết các mạng lưới phức tạp
hơn. Như vậy, mạng perceptron, và các luật học liên quan , cũng có giá trị thảo luận ở đây.
Trong phần còn lại của chương này chúng tôi sẽ xác định ý nghĩa của luật học, giải
thích các mạng perceptron và luật học, và thảo luận về những hạn chế của mạng perceptron .

•
Luật học
Luật học là một thủ tục để sửa đổi các trọng số và hệ số hiệu chỉnh của mạng neuron.
(Thủ tục này cũng có thể được gọi là một thuật toán huấn luyện.) Mục đích của luật học là
huấn luyện mạng để thực hiện một số nhiệm vụ. Có nhiều loại luật học huấn luyện mạng
neuron. Chúng gồm ba loại chính: luật học có giám sát, luật học không giám sát và luật học gia
tăng (hoặc phân loại).
Trong luật học có giám sát, luật học đưa ra một tập hợp các mẫu có quy tắc và tương
thích với mạng:

pq là một đầu vào mạng và tq tương ứng với đầu ra chính xác (mục tiêu). Khi các đầu
vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh với các mục tiêu. Luật
học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnh của mạng để dịch
chuyển đầu ra gần với các mục tiêu hơn. Luật học perceptron được xếp vào loại luật học có
giám sát.

Luật học gia tăng tương tự luật học có giám sát, ngoại trừ việc, thay vì đưa ra các
đầu ra chính xác cho mỗi đầu vào mạng, thuật toán chỉ cho một lớp. Lớp là thước đo cho sự
hoạt động của mạng trên một chuỗi đầu vào. Đây là loại luật học hiện nay ít phổ biến hơn
so với luật học có giám sát. Nó dường như là phù hợp nhất để kiểm soát các ứng dụng hệ
thống.

Luật học không giám sát, trọng số và hệ số hiệu chỉnh được sửa đổi để đáp ứng với
đầu vào mạng. Có mục tiêu không là đầu ra có sẵn. Điều này dường như không thực tế. Làm
thế nào bạn có thể huấn luyện một mạng nếu bạn không biết nó phải làm gì? Hầu hết các
thuật toán thực hiện sự hoạt động phân cụm. Chúng được luyện để phân loại các mô hình
đầu vào thành một số hữu hạn các lớp. Điều này đặc biệt hữu ích trong các ứng dụng như là
lượng tử hóa vector. Chúng ta sẽ thấy trong các chương 13-16 một số thuật toán không giám
sát.

•
Kiến trúc Perceptron.
Các mạng nơron mà trong mỗi nơron chỉ được liên kết với tất cả các nơron ở lớp kế tiếp và tất cả các mối
liên kết chỉ được xây dựng từ trái sang phải được gọi là mạng nhiều lớp truyền thẳng (perceptrons)
Đầu ra của mạng được cho bởi:

Để thuận tiện cho sự xem xét các phần tử riêng lẻ của vector đầu ra. Hãy xem xét ma trận trọng số:
Chúng tôi sẽ xác định một vector gồm các phần tử của hàng thứ i của W:

⇒
Ma trận trọng số trở thành:
⇒
Phần tử thứ i của vector đầu ra mạng:
Mà hàm truyền harlim được định nghĩa như sau:

Vì vậy, tích trong hàng thứ i của ma trận trọng số với vecto đầu vào lớn hơn hoặc

bằng -bi , thì đầu ra sẽ là 1, trái lại đầu ra sẽ là 0.
Vì thế mỗi neuron trong mạng chia không gian đầu vào thành hai khu vực. Nó rất hữu
ích để điều tra các ranh giới giữa các khu vực này. Chúng tôi sẽ bắt đầu với các trường hợp
đơn giản của một perceptron đơn lớp với hai đầu vào.

Perceptron đơn lớp
Chúng ta hãy xem xét một perceptron hai đầu vào:
Đầu ra của mạng này được xác định bởi

Ranh giới phân loại các vector đầu vào được xác định bởi:
Cụ thể hơn, chúng ta hãy chỉ định các giá trị của trọng số và hệ số hiệu chỉnh là:
Ranh giới quyết định sẽ là:

Điều này xác định 1 đường trong không gian đầu vào. Trên một bên của đường đầu ra sẽ là 0 ; trên
đường và phía bên kia của đường đầu ra sẽ là 1. Để vẽ đường, chúng ta có thể tìm những điểm cắt các trục p1 và
p2 .
Để tìm điểm cắt p2 ta đặt p1 = 0:
Để tìm điểm cắt p1, ta đặt p2 = 0:
Để tìm ra khu vực mà đầu ra tương ứng là 1, chúng ta chỉ cần kiểm tra một điểm. Đối với các đầu vào p
= [2 0]
T
, đầu ra của mạng sẽ là :

Do đó, đầu ra của mạng sẽ là 1 đối với khu vực trên và bên phải của ranh giới quyết định. Khu vực
này được chỉ định bởi các khu vực bóng mờ trong hình 4.3:
Lưu ý: Ranh giới luôn luôn là trực giao với 1
w
, và được xác định bởi:

Đối với tất cả các điểm nằm trên ranh giới, tích trong của các vector đầu vào với các

vector trọng số là như nhau. Ngoài ra, bất kỳ vector trong khu vực bóng mờ của hình 4.3 sẽ có
tích trong lớn hơn -b, và vector trong khu vực không có bóng mờ sẽ có tích trong ít hơn -b . Vì
vậy vector trọng số 1
w
sẽ luôn luôn hướng về phía khu vực nơi mà đầu ra của mạng là 1.
Sau khi chúng tôi đã chọn một vector trọng số với định hướng góc chính xác, hệ số hiệu
chỉnh có thể được tính bằng cách chọn một điểm trên ranh giới và thỏa mãn Eq. (4,15).

Chúng ta sẽ áp dụng một trong những khái niệm thiết kế mạng perceptron để thực hiện một hàm logic
đơn giản: các cổng AND. Các cặp đầu vào/mục tiêu cho các cổng AND là:
Hình dưới minh họa cho vấn đề bằng đồ thị. Mỗi vector đầu vào sẽ được dán nhãn theo mục tiêu. Các
vòng tròn đen chỉ ra rằng mục tiêu là 1, và các vòng tròn trắng cho mục tiêu là 0.

Bước đầu tiên của thiết kế là chọn một ranh giới quyết định. Chúng ta muốn có một đường phân cách giữa
vòng tròn đen và những vòng tròn trắng. Có vô số các giải pháp cho vấn đề này. Giải pháp hợp lý nhất để lựa chọn
đường nằm giữa hai loại đầu vào, như thể hiện trong hình dưới:
Tiếp theo chúng ta muốn chọn một vector trọng số trực giao với ranh giới quyết định. Các vector trọng số
có thể có chiều dài bất kỳ, vì vậy có thể chọn bất kỳ, VD chọn:

Cuối cùng, chúng ta cần phải tìm ra hệ số hiệu chỉnh. Chúng ta có thể làm điều này bằng cách chọn một
điểm trên ranh giới quyết định và đáp ứng Eq. (4,15). Nếu chúng ta sử dụng để
tìm
Bây giờ có thể kiểm tra lại mạng trên bằng một trong các cặp đầu vào/mục tiêu. Nếu chúng ta áp dụng p2
vào mạng , đầu ra sẽ là:
bằng với đầu ra đích t2. Các cặp còn lại co thể kiểm tra tương tự như trên.

Perceptron nhiều noron
Lưu ý rằng đối với mạng perceptron nhiều noron, như trong hình 4.1, sẽ có một ranh
giới quyết định cho từng noron. Ranh giới quyết định cho noron i sẽ được xác định bởi:
Một perceptron đơn lớp có thể phân loại các vector đầu vào thành hai loại, vì đầu ra của

nó có thể là 0 hoặc 1. Một perceptron nhiều lớp có thể phân loại đầu vào thành nhiều loại. Mỗi
loại được đại diện bởi một vector đầu ra khác nhau. Vì mỗi phần tử của vector đầu ra có thể là
0 hoặc 1, có tổng cộng 2
s
loại có thể, trong đó S là số noron.

Luật Học Perceptron
Luật học này là một ví dụ về luật học có giám sát, trong đó các luật học đưa ra một tập
hợp các mẫu theo quy tắc của mạng:
Tại pq là một đầu vào mạng và tq tương ứng với đầu ra chính xác (mục tiêu). Khi các
đầu vào được áp dụng vào mạng, các kết quả đầu ra mạng được so sánh với các mục tiêu. Luật
học sau đó được sử dụng để điều chỉnh trọng số và hệ số hiệu chỉnh của mạng để dịch chuyển
đầu ra gần với các mục tiêu hơn.

Vấn đề kiểm tra
Để trình bày về luật học perceptron, chúng tôi sẽ bắt đầu với một vấn đề kiểm tra đơn giản. Cho các cặp
đầu vào/mục tiêu là:
Vấn đề được minh họa trong
biểu đồ hình bên, tại 2 vectơ đầu
vào mà mục tiêu là 0 được biểu
diễn với một vòng tròn trắng, và
các vector có mục tiêu là 1 được
đại diện với một vòng tròn đen.