Khai phá dữ liệu thuật toán Neural network ĐH Bách Khoa HN

Data mining - Classification problems

NEURAL NETWORK
SINH VIÊN:
Nguyễn Đăng Tú
Lê Văn Tú


Nội dung trình bày
1
Giới thiệu về mạng neural

Mạng neural với bài toán phân lớp

2
3

Bài toán phân lớp ảnh vùng du lịch

Kết luận

4


Giới thiệu mạng neural

1

Mạng neural

2

Học và lan truyền trong mạng neural

3

Đánh giá mạng neural


Giới thiệu mạng neural

Khái niệm mạng neural

Đơn vị xử lý

Hàm xử lý

Hình trạng mạng

Mạng neural


Giới thiệu mạng neural

Mạng neural
Mạng neural sinh học

Neural sinh học


Giới thiệu mạng neural

Mạng neural
Mạng neural sinh học

 Hệ thần kinh con người có khoảng 1011 các neural liên
kết chặt chẽ với nhau, mỗi neural có khoảng 104 liên
kết với các neural khác qua các khớp nối (Synapse).
 Một neural được cấu tạo bởi các thành phần như tế bào
hình cây, tế bào thân và sợi trục thần kinh (axon).
 Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới
tế bào thân, tế bào thân sẽ thực hiện gộp và phân
ngưỡng các tín hiệu đến.
 Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào
thân tới tế bào hình cây của các neural liên kết.


Giới thiệu mạng neural

Mạng neural
Mạng neural sinh học

 Neural được phát triển thông qua quá trình học, trong
đó xảy ra việc thiết lập các liên kết mới và loại bỏ đi
các liên kết cũ.
 Cấu trúc mạng neural luôn luôn phát triển và thay đổi.
 Các thay đổi có khuynh hướng chủ yếu là làm tăng
hay giảm độ mạnh các mối liên kết thông qua các
khớp thần kinh.

Giới thiệu mạng neural

Mạng neural
Mạng neural nhân tạo

Mạng neural
sinh học

Mô phỏng
theo
chức
năng
Mạng neural
nhân tạo

Giải quyết
bài toán
học máy


Giới thiệu mạng neural

Mạng neural
Mạng neural nhân tạo

 Mạng neural là hệ thống các neural (đơn
vị xử lý) liên kết với nhau và cùng hoạt
động song song.
 Tính năng hoạt động của mạng phụ thuộc
vào cấu trúc mạng, trọng số liên kết

giữa các neural và quá trình xử lý bên
trong các neural.
 Ngoài chức năng xử lý, hệ thống còn có
khả năng học số liệu và tổng quát hoá
các số liệu đã học.
 Mạng neural được xem như hoặc là mô
hình liên kết, hoặc là mô hình phân bố
song song.


Giới thiệu mạng neural

Mạng neural
Mạng neural nhân tạo

Môi trường hệ thống có thể
hoạt động

Tập các đơn vị xử lý

Phương pháp thu
thập thông tin
Thành
phần
Đơn vị điều chỉnh
của mỗi đơn vị

Hàm kích hoạt

Trạng thái kích

hoạt hay đầu ra
của đơn vị xử lý

Liên kết giữa các
đơn vị
Luật lan truyền


Giới thiệu mạng neural

Mạng neural
Đơn vị xử lý

 Một đơn vị xử lý, một neural hay một node,
thực hiện công việc:
 Nhận tín hiệu vào từ các đơn vị khác hay
một nguồn bên ngoài.
 Sử dụng chúng để tính tín hiệu ra sẽ
được lan truyền sang các đơn vị khác.

Đơn vị xử lý


Giới thiệu mạng neural

Mạng neural
Đơn vị xử lý







xi: các đầu vào của đơn vị thứ j
wji: hệ số nối tới đơn vị thứ j
θj: độ lệch đối với đơn vị thứ j
aj: tổng thứ j của đầu vào mạng(net input),
tương ứng với đơn vị thứ j
 zj: đầu ra của đơn vị thứ j
 g(x) : hàm kích hoạt
 Trong một mạng neural có 3 kiểu đơn vị:
 Các đơn vị đầu vào (input unit), nhận tín hiệu từ bên ngoài
 Các đơn vị đầu ra (output unit), gửi tín hiệu ra bên ngoài
 Các đơn vị ẩn (hidden unit), input và output của chúng đều nằm
trong mạng


Giới thiệu mạng neural

Mạng neural
Hàm xử lý – Hàm kết hợp

 Mỗi đơn vị trong mạng neural kết hợp các tín
hiệu từ các liên kết với các đơn vị khác, sinh ra
một giá trị gọi là net input. Hàm thực hiện nhiệm
vụ này gọi là hàm kết hợp, được định nghĩa bởi
một luật lan truyền cụ thể.
 Trong phần lớn các mạng neural, tổng đầu vào
đơn vị j đơn giản chỉ là tổng theo trọng số của
các đầu ra riêng lẻ từ các đơn vị kết nối tới nó

cộng thêm ngưỡng hay độ lệch θj:


Giới thiệu mạng neural

Mạng neural
Hàm xử lý – Hàm kết hợp

 Trường hợp wji >0, neural được coi là ở trong
trạng thái kích thích. Ngược lại khi wji<0, neural
được coi là ở trạng thái kiềm chế. Chúng ta gọi
đơn vị với luật lan truyền như trên là đơn vị tổng
(sigma unit).
 Trong một vài trường hợp người ta cũng có thể
sử dụng các luật lan truyền phức tạp hơn. Một
trong số đó là luật tổng – tích (sigma-pi rule), có
dạng sau:

 Rất nhiều hàm kết hợp sử dụng “độ lệch” để tính net input tới đơn vị.
Đối với một đơn vị đầu ra tuyến tính, thông thường, độ lệch θj được
chọn là hằng số và trong bài toán xấp xỉ đa thức θj = 1.


Giới thiệu mạng neural

Mạng neural
Hàm xử lý – Hàm kích hoạt

 Phần lớn các đơn vị trong mạng neural chuyển net
input bằng cách sử dụng một hàm vô hướng gọi là

hàm kích hoạt: g(aj), kết quả của hàm này là một
giá trị gọi là mức độ kích hoạt của đơn vị.
 Các hàm kích hoạt thường bị ép vào một khoảng
giá trị xác định, do đó thường được gọi là các hàm
bẹp (squashing).
 Các hàm kích hoạt hay được sử dụng là:
 Hàm đồng nhất g(x) = x. Nếu coi đầu vào là một đơn vị thì sẽ sử
dụng hàm này.
 Hàm bước nhị phân:
sử dụng hàm này với mạng đơn lớp.


Giới thiệu mạng neural

Mạng neural
Hàm xử lý – Hàm kích hoạt

 Hàm sigmoid (Sigmoid function):
 Hàm này đặc biệt thuận lợi khi sử
dụng cho các mạng huấn luyện,
bởi nó dễ lấy đạo hàm.
 Được ứng dụng cho các chương
trình ứng dụng mà các đầu ra
mong muốn rơi vào khoảng [0,1].


Giới thiệu mạng neural

Mạng neural
Hình trạng mạng - Mạng

truyền thẳng

 Hình trạng của mạng được định nghĩa bởi:
số lớp (layer), số đơn vị trên mỗi lớp, và
sự liên kết giữa các lớp như thế nào.
 Phân loại theo kiểu liên kết neural:
 Mạng neural truyền thẳng
 Mạng neural hồi quy
 Mạng neural đối xứng và bất đối xứng
 Phân loại theo lớp:
 Mạng đơn lớp
 Mạng đa lớp


Giới thiệu mạng neural

Mạng neural
Hình trạng mạng - Mạng
truyền thẳng

 Trong mạng các liên kết neural chỉ đi theo
một hướng từ lớp đến lớp ra, không tạo
thành chu trình với các đỉnh là các neural,
các cung là các liên kết giữa chúng.

Mạng neural truyền
thẳng nhiều lớp

Input Layer

Hidden Layer

Output Layer


Giới thiệu mạng neural

Mạng neural
Hình trạng mạng - Mạng
hồi quy

 Trong mạng hồi quy, cho phép các liên kết
neural tạo thành chu trình (tồn tại liên kết
ngược)

Mạng neural hồi quy


Giới thiệu mạng neural

Học và lan truyền trong
mạng neural

 Chức năng của mạng neural được quyết định bởi các
nhân tố như: hình trạng mạng và các trọng số của các
liên kết nội tại trong mạng.
 Hình trạng của mạng thường là cố định còn các trọng số
được quyết định bởi một thuật toán huấn luyện.
 Tiến trình điều chỉnh các trọng số để mạng “nhận biết”
được quan hệ giữa đầu vào với đầu ra mong muốn

được gọi là học hay huấn luyện.
 Thuật toán học được chia làm hai nhóm chính:
 Học tham số
 Học cấu trúc
 Học có giám sát
 Học tăng cường
 Học không có giám sát


Giới thiệu mạng neural

Học có giám sát

Học tăng cường

Học không giám sát

Lan truyền mạngl

Học và lan truyền trong
mạng neural


Giới thiệu mạng neural

Học và lan truyền trong
mạng neural
Học có giám sát

Mô hình học có giám sát

Giới thiệu mạng neural

Học và lan truyền trong
mạng neural
Học có giám sát

 Mạng được huấn luyện bằng cách cung cấp cho nó
các cặp mẫu đầu vào và các đầu ra mong muốn.
 Các cặp mẫu được cung cấp bởi hệ thống trên đó
mạng hoạt động.
 Mục đích là xây dựng mạng để đối với đầu vào
trong tập huấn luyện thì kết quả đầu ra của mạng
cho đúng đầu ra mong muốn mà để làm được
điều đó phải điều chỉnh dần mạng do tồn tại sự
khác biệt giữa đầu ra thực tế và đầu ra mong
muốn.
 Sự khác biệt này được thuật toán học sử dụng để
điều chỉnh các trọng số trong mạng.Việc điều
chỉnh các trọng số như vậy thường được mô tả
như một bài toán xấp xỉ số - cho dữ liệu huấn
luyện bao gồm các cặp (mẫu đầu vào x, và một
đích tương ứng t), mục đích là tìm hàm f(x) thoả
mãn tất cả các mẫu học đầu vào.


Giới thiệu mạng neural

Học và lan truyền trong

mạng neural
Học tăng cường

 Ta thấy trong kỹ thuật học có giám sát, các
vectơ đầu ra được biết một cách chính xác,
nhưng trong một số trường hợp có ít thông
tin, chẳng hạn chỉ có thể nói là mạng sinh
Output quá lớn hoặc chỉ đúng khoảng 40%.
Khi đó chỉ có một tín hiệu đánh giá là “True”
hoặc “False” quay lại mạng, các thủ tục học
đó gọi là thủ tục học tăng cường.

Sơ đồ học
tăng cường


Giới thiệu mạng neural

Học và lan truyền trong
mạng neural
Học không giám sát

 Học mạng neural không giám sát là cách học
không có phản hồi từ môi trường để chỉ ra
rằng đầu ra của mạng là đúng như thế nào.
 Mạng sẽ phải khám phá các đặc trưng, các
điều chỉnh, các mối tương quan, hay các lớp
trong dữ liệu vào một cách tự động.
 Học không giám sát thự hiện một công việc
như một mạng tự nhiên liên hợp, cô đọng

thông tin từ dữ liệu vào.

Sơ đồ học không
giám sát