Báo cáo nghiên cứu khoa học: Xử lý ảnh Xquang phổi sử dụng mạng nơ ron

KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO NGHIÊN CỨU KHOA HỌC

ĐỀ TÀI:
XỬ LÝ ẢNH X – QUANG PHỔI SỬ DỤNG MẠNG NƠ –RON

Giảng viên hướng dẫn: ThS. Đặng Văn Thành Nhân
Sinh viên thực hiện:
- Trần Văn Đan Trường MSSV 91011801418
- Võ Phước Sang

TP. Hồ Chí Minh, 2021

MSSV 81011801421


MỤC LỤC
MỞ ĐẦU ........................................................................................................... 1
Chương 1. TỔNG QUAN VỀ ĐỀ TÀI ............................................................ 2
1.1. Phát biểu bài tốn ........................................................................................ 2
1.2. Tính cấp thiết ............................................................................................... 3
1.3. Tổng quan về xử lý ảnh trong y khoa........................................................... 3
Chương 2. MẠNG NƠ-RON NHÂN TẠO .................................................... 10
2.1. Giới thiệu chung ........................................................................................ 10
2.1.1. Thế nào là mạng nơ-ron sinh học .................................................... 10
2.1.2. Thế nào là mạng nơ-ron nhân tạo .................................................... 11
2.1.3. Lịch sử phát triển mạng nơ-ron nhân tạo ......................................... 14
2.2. Xử lý ảnh y khoa ứng dụng mạng nơ-ron................................................... 18
2.3. Mạng nơ-ron truyền thẳng ......................................................................... 20
2.3.1. Khái niệm ....................................................................................... 20

2.3.2. Thuật toán lan truyền ngược ........................................................... 21
Chương 3. KỸ THUẬT ĐA PHÂN GIẢI ............................................... 25
3.1. Khái niệm về kỹ thuật đa phân giải ............................................................ 25
3.2. Phân tích đa phân giải xử dụng phép biến đổi Pyramid .............................. 25
Chương 4. GIẢM ĐỘ CHE XƯƠNG TRONG ẢNH X-QUANG..... 28
4.1. Tách vùng phổi tự động ............................................................................. 28
4.2. Xác định khung xương sử dụng máy học ................................................... 30
4.3. Giảm độ che của xương sử dụng ạng nơ-ron.............................................. 34
Chương 5. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ .................. 38
5.1. Thực nghiệm ............................................................................................. 38
5.2. Đánh giá kết quả ........................................................................................ 46


KẾT LUẬN VÀ KHUYẾN NGHỊ ................................................................. 48
1. Kết luận ........................................................................................................ 48
2. Khuyến nghị ................................................................................................. 48
TÀI LIỆU THAM KHẢO ......................................................................... 49


TÓM TẮT ĐỀ TÀI
Kỹ thuật sử dụng mạng nơ-ron huấn luyện để tạo ra ảnh xương tương ứng
thay vì kỹ thuật cũ phải chụp ảnh X-quang cường độ cao gây ảnh hưởng đến sức
khỏe, sau đó sẽ thực hiện việc loại bỏ xương sườn từ ảnh xương tương ứng giúp
cho các hạch bệnh bị chồng lấn bởi xương dễ dàng nhận thấy hơn.


DANH MỤC KÍ HIỆU
STT

Tên đầy đủ

Từ viết tắt

1

ANN

2

CAD

3

LDA

4

MTANN

5

NN

6

PACS

7

RSNA

Artificial neural network: mạng nơ-ron nhân tạo
Computer-aided diagnosis: chẩn đoán với sự trợ giúp
máy tính
Linear discriminant analysis: phân tích biệt thức tuyến
tính
Massive training artifical neural network: huấn luyện
lớn mạng nơ-ron nhân tạo
Neural network: mạng nơ-ron
Picture archiving and communication systems: lưu trữ
hình ảnh và hệ thống thơng tin
Radiological Society of North America: hiệp hội
phóng xạ khu vực Bắc Mỹ


DANH MỤC BẢNG
Bảng 1.1. Số lượng các bài CAD liên quan đến 7 bộ phận cơ thể khác nhau ....... 4
Bảng 2.1. Các hàm kích hoạt ............................................................................. 13
Bảng 2.2. Các mạng nơ-ron chính được sử dụng trong ảnh y tế ......................... 18
Bảng 2.3. Các mạng nơ-ron tiêu biểu được sử dụng cho tiền xử lý ảnh y tế ....... 19
Bảng 5.1. Mơ hình huấn luyện MTANN ........................................................... 42
Bảng 5.2. Lỗi trung bình huấn luyện của các MTANN ...................................... 44


DANH MỤC HÌNH
Hình 1.1. Ảnh X-quang phối chụp ngang và trước-sau ....................................... 6
Hình 1.2. Ảnh X-quang ngực bên ....................................................................... 6
Hình 1.3. Ảnh MRA nội sọ................................................................................. 7
Hình 1.4. Ảnh quét xương tồn thân liên tiếp ..................................................... 8
Hình 2.1. Sơ đồ đơn giản của hai tế bào thần kinh sinh học .............................. 11

Hình 2.2. Mơ hình nơ-ron cơ bản ..................................................................... 12
Hình 2.3. Mạng nơ-ron truyền thẳng nhiều lớp ................................................. 21
Hình 2.4. Mơ hình mạng nơ-ron truyền thẳng 3 lớp. ......................................... 22
Hình 3.1. Minh họa kỹ thuật đa phân giải - phân rã .......................................... 26
Hình 3.2. Minh họa kỹ thuật đa phân giải - hợp thành ...................................... 27
Hình 4.1. Kiến trúc huấn luyện của một MTANN ............................................ 31
Hình 4.2. Minh họa kiến trúc và huấn luyện của một MTANN. ....................... 36
Hình 5.1. Các chức năng đa phân giải............................................................... 38
Hình 5.2. Các chức năng điểm đặc trưng .......................................................... 39
Hình 5.3. Các chức năng huấn luyện MTANN ................................................. 39
Hình 5.4. Các chức năng tạo ảnh xương ........................................................... 40
Hình 5.5. Các chức năng loại bỏ xương ............................................................ 40
Hình 5.6. Ảnh phục vụ huấn luyện ................................................................... 41
Hình 5.7. Ảnh phục vụ huấn luyện ................................................................... 42
Hình 5.8 Ảnh huấn luyện HighPass cấp 1 của ảnh phổi và ảnh xương tương ứng
......................................................................................................................... 43
Hình 5.9. Ảnh huấn luyện HighPass cấp 2 của ảnh phổi và ảnh xương tương ứng
......................................................................................................................... 43


Hình 5.10. Ảnh huấn luyện LowPass cấp 2 của ảnh phổi và ảnh xương tương ứng
......................................................................................................................... 44
Hình 5.11. Ảnh kết quả huấn luyện .................................................................. 45
Hình 5.12. Ảnh kết quả sau khi thực hiện làm giảm độ che xương sườn ........... 46


1

MỞ ĐẦU
Ngày nay, bệnh ung thư phổi là một căn bệnh vô cùng nguy hiểm, số người

mắc bệnh ngày càng trẻ hóa và là một trong các bệnh có tỉ lệ tử vong cao nhất.
Một trong các tiếp cận khá phổ biến hiện nay để giúp phát hiện và chẩn đoán
sớm bệnh ung thư phổi là dựa vào X-quang. Chụp X-quang thường cho kết quả
nhanh với chi phí thấp so với các kỹ thuật khác như CT hay MRI. Tuy nhiên, vùng
phổi trong ảnh chụp X-quang bị che khuất bởi xương sường và xương địn. Từ đó
ảnh hưởng đến kết quả phát hiện và chẩn đoán các hạch bệnh phổi.
Tác giả trình bài một phương pháp làm giảm độ che xương sườn và xương
đòn trong ảnh X-quang phổi giúp cách hạch bệnh bị chồng lấn dễ nhận biết hơn.
Thay vì sử dụng kỹ thuật chụp Dual-energy (cường độ cao) gây ảnh hưởng xấu
tới sức khỏe, ảnh “giống xương” sẽ được tạo ra từ ảnh X-quang phổi thông qua
việc sử dụng mạng nơ-ron truyền thẳng đã được huấn luyện. Điều này sẽ tốt cho
sức khỏe và giảm chi phí người bệnh.


2

Chương 1. TỔNG QUAN VỀ ĐỀ TÀI
Tổng quan về ý nghĩa và tính cấp thiết của việc xử lý ảnh áp dụng trong y
khoa.
1.1. Phát biểu bài toán
Hiện nay, ung thư phổi là một trong những bệnh ung thư phổ biến nhất trên
thế giới và là loại ung thư chiếm tỷ lệ cao trong các bệnh ung thư ở nước ta, với
số lượng bệnh nhân tăng lên rất nhanh và ngày càng trẻ hóa trong những năm gần
đây. Bệnh gây ra các biến chứng nguy hiểm và có thể dẫn đến tử vong. Vì vậy,
việc phát hiện sớm đóng vai trị quan trọng trong cơng tác chữa trị.
Một trong những biện pháp để phát hiện bệnh sớm là dựa vào ảnh X-quang
phổi, vì X-quang phổi cho kết quả nhanh với chi phí thấp. Để nâng cao hiệu quả
cho q trình chẩn đốn của bác sĩ, một số chương trình CAD (Computer-aided
diagnosis) đã được phát triển.
Một thách thức lớn trong chương trình CAD hiện nay để nhận diện hạch trên

X-quang phổi là phát hiện các hạch chồng chéo với các xương sườn, giao cắt giữa
xương sườn và xương địn, vì đa số các trường hợp bị bỏ sót gây ra bởi những cấu
trúc này, làm ảnh hưởng đến hiệu quả của chương trình CAD, gây khó khăn cho
việc phát hiện bệnh. Do đó, việc làm giảm độ che của xương sườn và xương địn
trên X-quang phổi sẽ giúp ích cho việc cải thiện độ chính xác để nhận diện hạch
trong hệ thống CAD.
Một cách tiếp cận làm giảm độ che xương sườn sử dụng kỹ thuật Dualenergy. Bằng cách thực hiện chụp ảnh 2 lần, ảnh thứ nhất là ảnh chụp phổi bình
thường, ảnh thứ 2 là ảnh chụp phổi với cường độ cao chỉ thấy xương. Tuy nhiên
kỹ thuật này sẽ gây ảnh hưởng đến sức khỏe người bệnh.


3

Mục đích của tác giả trong nghiên cứu này là để phát triển một kỹ thuật xử
lý ảnh làm giảm độ che của xương sườn trên X-quang phổi bằng cách tiếp cận máy
học. Cách tiếp cận này khắc phục được các nhược điểm của kỹ thuật Dual-energy,
giúp giảm chi phí và giảm ảnh hưởng đến sức khỏe của người bệnh.
1.2. Tính cấp thiết
Mỗi năm, hơn 9 triệu người trên thế giới chết vì các bệnh liên quan đến phổi,
trong đó ung thư phổi gây tử vong 945.000 người, và là nguyên nhân hàng đầu
gây tử vong ung thư trên thế [6, tr.1269–1276]. Để có những giải pháp điều trị
thuận lợi và kịp thời, việc phát hiện sớm ung thư phổi đóng vai trị hết sức quan
trọng. Một trong những phương pháp để phát hiện sớm ung thư phổi hiện nay là
sử dụng kỹ thuật X-quang vì nó cho kết quả nhanh với chi phí thấp (so với chụp
CT hoặc MRI).
Tuy nhiên, việc chẩn đốn dựa trên ảnh X-quang cịn nhiều hạn chế. Một số
báo cáo chỉ ra rằng có từ 12% - 90% các trường hợp trong đó hạch phổi rất khó
được phát hiện thậm chí là bỏ sót [36 , tr.994-999].
1.3. Tổng quan về xử lý ảnh trong y khoa
Ảnh y tế là kỹ thuật và quá trình tạo ảnh đại diện của các cấu trúc bên trong

cơ thể để phân tích lâm sàng và can thiệp y tế, cũng như đại diện trực quan các
chức năng của một số cơ quan hoặc mô (sinh lý). Ảnh y tế tìm cách tiết lộ cấu trúc
bên trong ẩn bởi da và xương, cũng như để chẩn đoán và điều trị bệnh. Ảnh y tế
cũng thiết lập một cơ sở dữ liệu về giải phẫu học và sinh lý học bình thường từ đó
có thể để xác định những bất thường [35].
Hầu hết các hình ảnh y tế có chất lượng kém và bị nhiễu dẫn đến tỷ lệ tín hiệu
kém so với những ảnh chụp bởi một máy ảnh kỹ thuật số, dẫn đến độ phân giải
không gian kỳ vọng thấp hơn và làm cho sự tương phản giữa các cấu trúc giải phẫu


4

khác biệt quá thấp để tin cậy. Ví dụ, trong trường hợp của ảnh siêu âm, các đốm
nhiễu, gây ra bởi sự tán xạ của chùm tia siêu âm từ mơ nhỏ đồng nhất, có xu hướng
che khuất sự hiện diện của các tổn thương có độ tương phản thấp và làm giảm khả
năng nhận biết tổn thương đó bởi người quan sát đọc kết quả [18, tr.659-675]. Vì
những lý do này, các kỹ thuật tiền xử lý ảnh được sử dụng để làm giảm nhiễu và
làm mờ ảnh y tế là không thể thiếu. Việc thay đổi nội dung hình ảnh phải được
thực hiện một cách có kiểm sốt cao và đáng tin cậy mà không làm ảnh hưởng đến
quyết định lâm sàng. Để hạn chế vấn đề này, một số tiếp cận CAD để phát hiện
hạch trên ảnh X-quang phổi đã được đầu tư nghiên cứu.
CAD là một kỹ thuật liên ngành kết hợp yếu tố của trí thơng minh nhân tạo
và thị giác máy tính trong xử lý ảnh X-quang. Một ứng dụng điển hình là phát hiện
khối u. Ví dụ, một số bệnh viện sử dụng CAD để hỗ trợ phòng ngừa, kiểm tra sức
khỏe trong ảnh nhũ (mammography) chẩn đoán ung thư nhũ, phát hiện khối u ở
đại tràng và ung thư phổi [36].
Số lượng các bài báo liên quan đến nghiên cứu CAD trình bày tại cuộc họp
RSNA (Radiological Society of North America) từ năm 2000 - 2005 được liệt kê
trong Bảng 1.1 Đa số các bài đã được thuyết trình quan tâm với ba cơ quan - ngực,
nhũ và ruột kết. Bên cạnh đó, các cơ quan khác như não, gan, và hệ thống xương

và mạch máu cũng là những đối tượng chịu nghiên cứu CAD
Bảng 1.1. Số lượng các bài CAD liên quan đến 7 bộ phận cơ thể khác nhau
Năm 2000

2001

2002

2003

2004

2005

Ngực

22

37

53

94

70

48

Nhũ

23

28

32

37

48

49

Phổi

4

10

21

17

15

30


5

Não

-

4

2

10

9

15

Gan3

3

-

5

9

9

9

Xương

2

7

7

9

8

5

Các mạch máu

5

-

12

15

2

7

59

86

134

191

161

163

Tổng

Một số lượng lớn các kiểm tra cho kết quả bình thường, và phát hiện chỉ có
một số nhỏ các tổn thương nghi ngờ của bác sĩ X-quang được cân nhắc là rất khó
và tốn thời gian. Do đó, dường như giai đoạn đầu của CAD là thiết thực và hợp lý
trong các tình huống lâm sàng với một loạt các nghiên cứu điển hình. Phát hiện
hạch trên ảnh X-quang phổi: hình 1.1 minh họa của một hạch phổi tương đối lớn,
nhưng rất khó nhận thấy (vịng trịn chấm) nằm trong khu vực trung thất bên phải
được đánh dấu một cách chính xác bởi CAD (hình tam giác) ở mặt bên, nhưng đã
không được đánh dấu bởi CAD đối với ảnh trước sau.
- Phát hiện gãy xương cột sống trên X-quang ngực ngang: hình 1.2 minh hoạ
phát hiện chính xác (đầu mũi tên) của máy tính phát hiện một đốt sống bị gãy
(vịng trịn chấm) dưới cơ hồnh trên X-quang ngực ngang, có thể được sử dụng
như là một ý kiến thứ hai. Như vậy, tính chính xác phát hiện gãy xương cột sống
của bác sĩ X-quang có thể được cải thiện cũng như trong việc chẩn đoán sớm bệnh
loãng xương.


6

Hình 1.1. Ảnh X-quang phối chụp ngang và trước-sau

Hình 1.2. Ảnh X-quang ngực bên

7

- Phát hiện của chứng phình động mạch nội sọ ở MRA: hình 1.3 minh họa
ảnh 3D MRA đẳng hướng trong hình 1.3(a) đã được xử lý bằng cách sử dụng
multi-scale enhancement filter có chọn lọc để phát hiện chứng phình mạch nội sọ
(vịng trịn chấm), như minh họa trong hình ảnh chấm tăng cường trong hình 1.3
(b).
- Phát hiện những thay đổi trong khoảng thời gian quét xương toàn thân liên
tiếp: hình 1.4 minh hoạ hình ảnh trừ tạm thời thu được từ các hình ảnh quét xương
trước đây và hiện tại. Một tổn thương lạnh (chấm tròn trắng) và hai tổn thương
nóng (chấm trịn đen) trên hình ảnh trừ đã được đánh dấu một cách chính xác bởi
máy tính.

Hình 1.3. Ảnh MRA nội sọ


8

Hình 1.4. Ảnh qt xương tồn thân liên tiếp
Vì vậy, chẩn đốn bằng máy tính - CAD đã trở thành một phần trong việc
chẩn đoán lâm sàng để phát hiện những tổn thương tiềm năng từ ảnh y khoa, cũng
như khả năng ứng dụng cho nhiều loại khác nhau của các thương tổn thu được với
các phương thức khác nhau. CAD là một khái niệm dựa trên vai trò độc lập của


9

bác sĩ và máy tính, và do đó khác biệt từ chẩn đốn máy tính tự động. Trong tương

lai, khả năng là chương trình CAD sẽ được tích hợp vào PACS (Picture archiving
and communication systems), và sẽ được tích hợp như một gói để phát hiện các
tổn thương và cũng cho chẩn đoán phân biệt. CAD sẽ được sử dụng như một cơng
cụ hữu ích trong việc kiểm tra chẩn đoán lâm sàng hàng ngày.


10

Chương 2. MẠNG NƠ-RON NHÂN TẠO
Giới thiệu về mạng nơ-ron sinh học và mạng nơ-ron nhân tạo, lịch sử phát
triển của mạng nơ-ron nhân tạo. Tổng quan về xử lý ảnh sử dụng mạng nơ-ron.
Giới thiệu về mơ hình mạng nơ-ron truyền thẳng và thuật toán lan truyền ngược
trong huấn luyện.
2.1. Giới thiệu chung
2.1.1. Thế nào là mạng nơ-ron sinh học
Mạng nơ-ron nhân tạo đã và đang được ứng dụng rất phổ biến trong nhiều
lĩnh vực khác nhau với nhiều kiến trúc mạng đã và đang được nghiên cứu, phát
triển dựa trên cấu tạo và cách hoạt động não bộ của con người.
Não người bao gồm một số lượng lớn (khoảng 1011) các phần tử kết nối với
nhau (khoảng 104 kết nối cho mỗi phần tử) được gọi là tế bào thần kinh. Cấu tạo
của các tế bào thần kinh có ba thành phần chính: nhánh, thân tế bào và sợi thần
kinh. Hình 2.1. mơ tả sơ đồ đơn giản của hai tế bào thần kinh sinh học [26, tr.1-8].
Các nhánh là các mạng lưới tiếp nhận giống như các sợi thần kinh truyền tín hiệu
điện vào thân tế bào. Các sợi thần kinh là một sợi đơn dài mang tín hiệu từ thân tế
bào ra tế bào thần kinh khác. Các điểm tiếp xúc giữa sợi trục của một tế bào và
một nhánh của một tế bào được gọi là một khớp thần kinh. Nó là sự sắp xếp của
các tế bào thần kinh và sức mạnh của các khớp thần kinh được xác định bởi một
q trình hóa học phức tạp, thiết lập các chức năng của mạng lưới thần kinh [26,
tr.1-8].
Một số cấu trúc thần kinh được xác định khi chúng ta được sanh ra. Các bộ

phận khác được phát triển thông qua học tập, như các kết nối mới được tạo ra và
những kết nối cũ mất đi. Sự phát triển này là nổi bật nhất trong giai đoạn đầu của
cuộc đời.


11

Hình 2.1. Sơ đồ đơn giản của hai tế bào thần kinh sinh học
Cấu trúc thần kinh tiếp tục thay đổi trong suốt cuộc đời. Những thay đổi sau
đó có khuynh hướng chủ yếu bao gồm tăng cường hoặc suy yếu của các mối nối
khớp thần kinh. Ví dụ, người ta tin rằng những ký ức mới được hình thành bằng
sự thay đổi sức mạnh của khớp thần kinh. Ví dụ, q trình học tập khn mặt của
một người bạn mới bao gồm thay đổi các khớp thần kinh khác nhau.
Các nhà khoa học chỉ mới bắt đầu hiểu cách hoạt động của mạng nơ-ron sinh
học. Nó thường được hiểu rằng tất cả các chức năng thần kinh sinh học, bao gồm
trí nhớ, được lưu trữ trong các tế bào thần kinh (nơ-ron) và trong các kết nối giữ
chúng. Quá trình học tập được xem như thành lập các kết nối mới giữa các tế bào
thần kinh hoặc sửa đổi các liên kết hiện tại.
2.1.2. Thế nào là mạng nơ-ron nhân tạo
Các tế bào thần kinh mà chúng ta nhắc đến ở đây khơng phải là sinh học. Nó
là những khái niệm trừu tượng vô cùng đơn giản của tế bào thần kinh sinh học,
thực hiện như các phần của một chương trình hoặc như một mạch điện làm bằng


12

silicon. Mạng nơ-ron nhân tạo sẽ khơng có được sức mạnh của bộ não con người,
nhưng chúng có thể được huấn luyện để thực hiện các chức năng hữu ích.
Mạng nơ-ron nhân tạo không tiếp cận sự phức tạp của bộ não. Tuy nhiên, có
hai điểm tương đồng chính giữa mạng nơ-ron sinh học và nhân tạo. Đầu tiên, các

khối xây dựng của cả hai mạng là những thiết bị tính tốn đơn giản (mặc dù tế bào
thần kinh nhân tạo là đơn giản hơn nhiều so với tế bào thần kinh sinh học) kết nối
với nhau. Thứ hai, sự kết nối giữa các tế bào thần kinh xác định chức năng của
mạng.
Điều đáng chú ý là mặc dù tế bào thần kinh sinh học là rất chậm so với các
mạch điện (10-3 s so với 10-10 s), não bộ có thể thực hiện nhiều nhiệm vụ nhanh
hơn nhiều so với bất kỳ máy tính thơng thường. Vì một phần cấu trúc ồ ạt song
song của mạng nơ-ron, tất cả các tế bào thần kinh đang hoạt động cùng một lúc.
Mạng nơ-ron nhân tạo chia sẻ cấu trúc song song này [26, tr.1-9].

Hình 2.2. Mơ hình nơ-ron cơ bản
Hình 2.2 mơ tả mơ hình nơ-ron nhân tạo cơ bản với 1 dữ liệu đầu vào p và 1
nơ-ron đầu ra. Trong đó, đầu vào p nhân với trọng số w thành wp. Một đầu vào
khác là 1, nhân với bias b. Sau đó wp và b được chuyển vào hàm tổng có giá trị là


13

n. Hàm tổng n thường được gọi là mạng đầu vào (net input), thơng qua hàm chuyển
f (hay cịn gọi là hàm kích hoạt), tạo ra nơ-ron đầu ra a.
Nếu chúng ta liên hệ mơ hình đơn giản này với nơ-ron sinh học mà ta đã thảo
luận, trọng lượng w tương ứng với sức mạnh của một khớp thần kinh, các thân tế
bào được đại diện bởi mạng đầu vào n và hàm kích hoạt f, đầu ra a là đại diện cho
các tín hiệu trên sợi thần kinh.
Đầu ra thực tế sẽ phụ thuộc vào hàm kích hoạt được chọn.
Bias giống như một trọng số, ngoại trừ việc nó có một đầu vào khơng đổi là
1.
Lưu ý rằng w và b là hai tham số vơ hướng có thể điều chỉnh của nơ-ron.
Thơng thường các hàm kích hoạt được lựa chọn bởi các nhà thiết kế sau đó các
trọng số w và b sẽ được điều chỉnh bởi một số nguyên tắc huấn luyện sao cho mối

liên hệ giữa nơ-ron đáp ứng một số mục tiêu cụ thể. Chúng ta có các hàm kích
hoạt khác nhau cho các mục đích khác nhau. Bảng 2.1 mơ tả một số hàm kích hoạt
được sử dụng [26, tr.2-6].
Bảng 2.1. Các hàm kích hoạt
Tên hàm
Hard Limit

Symmetrical Hard Limit
Linear
Saturating Linear

Quan hệ đầu vào/đầu ra
a=0

n<0

a=1

n≥0

a = -1

n<0

a = +1

n≥0

a=n
a=0

n<0

a=n

0≤n≤1

Mơ hình


14

a=1

n>1

a = -1
Symmetric Saturating Linear

n < -1

a=n

-1 ≤ n ≤ 1

a=1

n>1
1
1 + 𝑒 −𝑛

Log-Sigmoid

𝑎=

Hyperbolic Tangent Sigmoid

𝑒 𝑛 − 𝑒 −𝑛
𝑎= 𝑛
𝑒 + 𝑒 −𝑛

Positive Linear

Competitive

a=1

a=0

n<0

a=n

0≤n

nơ-ron với tối đa n

a = 0 tất cả các nơ-ron khác

2.1.3. Lịch sử phát triển mạng nơ-ron nhân tạo

Lịch sử phát triển mạng nơ-ron nhân tạo rất phong phú và nhiều màu sắc, cá
nhân sáng tạo từ nhiều lĩnh vực, nhiều người trong số họ phải vật lộn trong nhiều
thập kỷ để phát triển các khái niệm mà bây giờ chúng ta xem là hiển nhiên. Lịch
sử này đã được ghi nhận bởi các tác giả khác nhau.
Ít nhất hai thành phần xem là cần thiết cho sự tiến bộ của công nghệ: khái
niệm và hiện thực. Đầu tiên, người ta phải có một khái niệm, cách suy nghĩ về một
vấn đề, một số quan điểm của nó mang lại sự sáng tỏ mà thực tế chưa tồn tại. Điều
này có thể liên quan đến một ý tưởng đơn giản, hoặc nó có thể được cụ thể hơn
bao gồm một mơ tả tốn học. Để minh họa, chúng ta hãy xem xét lịch sử nghiên
cứu của trái tim con người. Vào những thời kỳ khác nhau, nó được xem là trung
tâm của linh hồn. Trong thế kỷ 17, các học viên y tế cuối cùng đã bắt đầu xem trái
tim như một máy bơm, và họ thiết kế các thí nghiệm để nghiên cứu hoạt động bơm


15

của nó. Những thí nghiệm này đã tạo nên một cuộc cách mạng trong hiểu biết của
chúng ta về hệ thống tuần hồn. Nếu khơng có các khái niệm máy bơm, sự hiểu
biết về trái tim của con người đã khơng thể vượt ngồi hiểu biết hiện tại.
Một số nghiên cứu đầu tiên trong lĩnh vực mạng nơ-ron nhân tạo bắt đầu vào
những năm cuối thế kỷ 19, đầu thế kỷ 20. Bao gồm các nghiên cứu liên ngành về
vật lý, tâm lý học và thần kinh học của các nhà khoa học như Hermann von
Helmholtz, Ernst Mach và Ivan Pavlov. Các nghiên cứu này nhấn mạnh lý thuyết
chung về việc học, thị giác, điều hịa, … khơng bao gồm mơ hình tốn học cụ thể
của hoạt động tế bào thần kinh.
Quan điểm hiện đại của mạng nơ-ron bắt đầu vào những năm 1940 với các
nghiên cứu của Warren McCulloch and Walter Pitts, ông cho thấy rằng các mạng
nơ-ron nhân tạo về ngun tắc có thể tính tốn bất kỳ phép tính số học hoặc hàm
logic. Các nghiên cứu của họ thường được công nhận là nguồn gốc của mạng nơron.
Các ứng dụng thực tế đầu tiên của mạng nơ-ron nhân tạo đến cuối những năm

1950, với sự phát minh của mạng perceptron và quy tắc học liên quan bởi Frank
Rosenblatt [10, tr.386-408] Rosenblatt và đồng nghiệp của ông đã xây dựng một
mạng perceptron và chứng tỏ khả năng của nó thực hiện nhận dạng mẫu. thành
cơng ban đầu này đã tạo ra rất nhiều sự quan tâm trong nghiên cứu mạng nơ-ron.
Tuy nhiên sau đó, nó được chỉ ra rằng các mạng perceptron cơ bản có thể giải
quyết những vấn đề hạn chế chỉ có một lớp.
Tại cùng một thời điểm, Bernard Widrow và Ted Hoff giới thiệu một thuật
tốn học mới và sử dụng nó để huấn luyện mạng nơ-ron tuyến tính thích nghi,
tương tự như trong cấu trúc và khả năng perceptron của Rosenblatt. Các quy tắc
học Widrow-Hoff vẫn đang được sử dụng ngày nay.


16

Thật không may, cả hai mạng của Widrow của Rosenblatt bị hạn chế vốn có
như nhau, đã được cơng bố rộng rãi trong một cuốn sách của Marvin Minsky và
Seymour Papert [25]. Rosenblatt và Widrow đã nhận thức được những hạn chế và
đề xuất các mạng mới sẽ vượt qua chúng. Tuy nhiên, họ đã không thể thay đổi
thành công trong thuật toán học của họ để đào tạo các mạng phức tạp hơn.
Nhiều người, chịu ảnh hưởng của Minsky và Papert, tin rằng nghiên cứu thêm
về mạng nơ-ron là bế tắc. Điều này, kết hợp với thực tế rằng khơng có máy tính
kỹ thuật số mạnh mẽ dựa vào đó để thử nghiệm, khiến nhiều nhà nghiên cứu phải
bỏ cuộc. Suốt một thập kỷ, nghiên cứu mạng nơron phần lớn đã bị treo lửng.
Tuy nhiên, một số nghiên cứu quan trọng đã tiếp tục trong những năm 1970.
Năm 1972 Teuvo Kohonen [32, tr.353-359] và James Anderson [16, tr.197-220]
phát triển mạng nơ-ron mới có thể hoạt động như những ký ức. Stephen Grossberg
cũng đã rất tích cực trong giai đoạn này trong việc nghiên cứu các mạng tự tổ
chức.
Việc nghiên cứu đã bị chùn bước trong thời gian cuối năm 1960 vì thiếu các
ý tưởng mới và máy tính mạnh để thử nghiệm. Trong những năm 1980 cả hai trở

ngại được khắc phục, và những nghiên cứu về mạng nơ-ron nhân tạo tăng lên đáng
kể. Máy tính cá nhân được phổ biến rộng rãi. Ngoài ra, các khái niệm quan trọng
mới được giới thiệu.
Hai khái niệm mới là nguyên nhân chính cho sự tái sinh của mạng nơ-ron.
Thứ nhất là việc sử dụng của thống kê cơ học để giải thích sự hoạt động của một
lớp nhất định của mạng tái phát, có thể được sử dụng như một bộ nhớ liên kết.
Điều này đã được mô tả trong một bài báo chuyên đề của nhà vật lý John Hopfield
[17, tr.2554-2558].


17

Sự phát triển quan trọng thứ hai vào năm 1980 là thuật toán lan truyền ngược
cho các mạng perceptron huấn luyện nhiều lớp, được phát hiện độc lập bởi các
nhà nghiên cứu khác nhau. Các ấn phẩm có ảnh hưởng nhất của thuật toán lan
truyền ngược là David Rumelhart và James McClelland [7]. Thuật toán này là câu
trả lời cho những chỉ trích Minsky và Papert đã thực hiện trong năm 1960.
Những phát triển mới hồi sinh các lĩnh vực của mạng nơ-ron. Từ những năm
1980, hàng ngàn bài báo đã được viết, mạng nơ-ron đã phát hiện ra vô số các ứng
dụng, và các lĩnh vực với cơng trình lý thuyết và thực tiễn mới.
Một bài báo mô tả việc sử dụng các mạng nơ-ron trong nghiên cứu văn học
của Đại học Aston. Nó nói rằng "mạng có thể được huấn luyện để nhận ra phong
cách viết cá nhân, và các nhà nghiên cứu đã sử dụng nó để so sánh tác phẩm do
Shakespeare và tác giả cùng thời với ơng". Một chương trình truyền hình khoa học
phổ biến tài liệu sử dụng các mạng nơ-ron của một viện nghiên cứu Ý để kiểm tra
độ tinh khiết của dầu ô liu. Google sử dụng mạng nơ-ron cho việc gắn thẻ ảnh (tự
động xác định một hình ảnh và gán từ khóa), và Microsoft đã phát triển mạng lưới
nơ-ron có thể giúp chuyển đổi các bài phát biểu nói tiếng Anh thành nói ngơn ngữ
Trung Quốc. Các nhà nghiên cứu tại Đại học Lund và Bệnh viện Đại học Skane ở
Thụy Điển đã sử dụng mạng nơ-ron để cải thiện tỷ lệ sống sót lâu dài cho người

nhận ghép tim bằng cách xác định người nhận và các người hiến tặng tối ưu.
Những ví dụ này là đại diện của hàng loạt các ứng dụng có thể được tìm thấy bởi
mạng nơ-ron. Các ứng dụng được mở rộng vì mạng nơ-ron được xem là tốt để giải
quyết vấn đề, không chỉ trong kỹ thuật, khoa học và toán học, cũng như trong y
học, kinh doanh, tài chính và văn học. Ứng dụng cho một loạt các vấn đề trong
nhiều lĩnh vực làm cho chúng rất hấp dẫn. Ngoài ra, máy tính nhanh hơn và tối ưu