PHÉP BIẾN ĐỔI TUYẾN TÍNH CHO MẠNG NEURAL Linear transformations for neural networks

Linear Transformations for Neural Networks

“Neural Network Design”
(Martin T. Hagan, Howard B. Demuth, Mark Beale Thomson Learning, 1996)

Chương 6: PHÉP BIẾN ĐỔI TUYẾN TÍNH CHO MẠNG
NEURAL
 Mục đích
 Lý thuyết và các ví dụ
o
o
o
o
o

Phép biến đổi tuyến tính
Biểu diễn ma trận
Sự thay đổi các cơ sở
Giá trị đặc trưng và vecto đặc trưng
Đường chéo

 Tóm tắt các kết quả
 Các vấn đề được giải quyết
 Kết luận
 Phần nghiên cứu sâu hơn
 Các bài tập

6.1.

Mục đích

Chương này sẽ tiếp tục chương 5 trình bày những cơ sở tốn học cho những phân tích của chúng
ta về mạng nơron. Ở chương 5 chúng ta đã xem xét các không gian vecto; trong chương này
chúng ta sẽ nghiên cứu phép thay đổi tuyến tính áp dụng trong mạng nơron.
Như đã thấy trong các chương trước, phép nhân của một vecto đầu vào với một ma trận trọng số
là một trong những phép toán quan trọng được thực hiện bởi mạng nơron. Phép toán này là một

Báo cáo Chuyên Đề - Lớp KTTT1

Page 1


Linear Transformations for Neural Networks
ví dụ của một phép biến đổi tuyến tính. Chúng ta muốn nghiên cứu sự biến đổi tuyến tính thơng
thường và xác định những thuộc tính căn bản của chúng. Những khái niệm bao trùm trong
chương này , ví dụ như giá trị đặc trưng, vecto đặc trưng và phép biến đổi cơ sở , sẽ là tới hạn
cho sự hiểu biết của chúng ta về chủ đề mạng nơron như là một học thuật ( bao gồm quy tắc
Widrow- Hoff và sự lan truyền ngược) và mạng Hopfield hội tụ

6.2.

Lý thuyết và ví dụ

Xem lại mạng Hopfield đã được thảo luận ở chương 3( xem hình 6.1). Đầu ra của mạng được
cập nhật một cách đồng bộ theo phương trình:

Chú ý rằng tại mỗi phép lặp đầu ra của mạng đều được nhân với ma trận W. Hệ quả của những
phép toán được lặp lại này là gì? Liệu đầu ra của mạng có đồng quy về một vài gía trị chuẩn
khơng đổi, tiến đến vô hạn hay biến đổi? Trong chương này chúng ta sẽ trình bày cơ sở cho việc
trả lời những câu hỏi trên, cùng với nhiều những câu hỏi khác về mạng lưới nơron được thảo
luận trong cuốn sách này.

Hình 6.1: Mạng Hopfield

Báo cáo Chuyên Đề - Lớp KTTT1

Page 2


Linear Transformations for Neural Networks
6.2.1.

Phép biến đổi tuyến tính

Chúng ta bắt đầu với một vài định nghĩa cơ bản
* Phép biến đổi
Một phép biến đổi bao gồm ba phần:
1. Một tập hợp các phần tử X = {xi} , gọi là miền xác định
2. Một tập hợp các phần tử Y = {yi}, gọi là vùng, và
3. Một quy tắc liên kết mỗi xi X
∊ với mỗi phần tử y

i

Y
∊

* Phép biến đổi tuyến tính
Một phép biến đổi A là tuyến tính nếu:
1. Với tất cả x1, x2 X,
∊ A (x

1

+ x2) = A(x1) + A(x2),

2. Với tất cả x X,
∊ a ∊R, A(ax) = aA(x)
Xem xét, ví dụ, phép biến đổi chứa những vector quay R 2 bởi góc θ, như được chỉ ra trong hình
bên trên. Hai hình tiếp theo chỉ ra rằng các đại lượng I thỏa mãn cho vòng quay. Chúng chỉ ra
rằng nếu bạn muối quay một tổng hai vecto, bạn có thể quay từng vecto một trước rồi cộng
chúng sau. Hình thứ tư miêu tả đại lượng 2. Nếu bạn muốn quay một vecto có tỉ lệ thì bạn có thể
quay nó trước và chia tỉ lệ nó sau. Vì vậy phép quay là một phép tuyến tính.

Báo cáo Chuyên Đề - Lớp KTTT1

Page 3


Linear Transformations for Neural Networks
6.2.2.

Biểu diễn ma trận

Như chúng ta đã đề cập đến ở phần đầu của chương này, phép nhân ma trận là một ví dụ của
phép biến đổi tuyến tính. Chúng ra cũng có thể chỉ ra rằng bất kỳ biến đổi tuyến tính giữa hai
khơng gian vecto hữu hạn chiều nào đều có thể được biểu diễn bởi một ma trận( như trong
chương trước chúng ta đã chỉ ra rằng bất kỳ vecto nào trong không gian vecto hữu hạn chiều đều
có thể được biểu diễn bởi một cột các số). Để chỉ ra điều đó chúng ta sẽ sử dụng hầu hết các khái
niệm ở chương trước.
Hãy lấy tập hợp {v1, v2,…, vn} làm cơ sở của không gian vecto X, và lấy {u1, u2,…, um} là cơ sở

của khơng gian vecto Y. Điều đó có nghĩa rằng với hai vecto x X
∊ và y Y:
∊

Lấy A là một phép biến đổi tuyến tính với miền X và vùng Y mà ( A:XY )
thì:

Hay được viết là:

Vì A là một tốn tử tuyến tính, cơng thức (6.4) có thể được viết là:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 4


Linear Transformations for Neural Networks

A(ax)=aA(x)
A(x)

ax
x

Vì các vector A(vi) là một phần tử của Y, chúng có thể được biểu diễn thành kết hợp tuyến tính
của các vecto cơ sở của Y:

( Chú ý rằng các ký hiệu sử dụng cho các hệ số của triển khai a ịj, không được chọn ngẫu nhiên).
Nếu chúng ta thay công thức (6.6) vào cơng thức (6.5) sẽ có:

Điều kiện cho phép cộng được thỏa mãn sẽ có:

Phương trình này có thể viết lại thành:

Do ui là tập hợp chuẩn nên chúng phải độc lập. Điều đó có nghĩa là mỗi hệ số mà nhân với u i
trong phương trình 6.9 phải đồng nhất bằng khơng( xem cơng thức 5.4). Do vậy ta có:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 5


Linear Transformations for Neural Networks
Vậy ta có ma trận nhân như sau:

Chúng ta có thể tóm tắt các kết quả trên như sau: Với bất kỳ một phép biến đổi tuyến tính giữa
hai khơng gian vecto hữu hạn chiều sẽ cho ta kết quả là một ma trận nhân. Khi chúng ta nhân
nhiều lần ma trận mở rộng vecto của vecto miền x, thì sẽ được mở rộng vecto cho vecto biến đổi
y.
Nhớ rằng ma trận đại diện không phải là duy nhất ( ví dụ như biểu diễn một vecto thông thường
bởi một cột các số không phải là duy nhất – xem lại chương 5). Nếu thay đổi bộ chuẩn cho miền
hoặc vùng thì biểu diễn ma trận cũng sẽ thay đổi. Chúng ta có thể sử dụng điều này cho chương
sau.
Là một ví dụ của ma trận đại diện, hãy xem xét biến đổi góc quay. Lấy một ma trận đại diện cho
biến đổi này. Bước căn bản được biểu diễn trong phương trình 6.6. Chúng ta phải biến đổi mỗi
vecto chuẩn của vùng và sau đó nhân nó để tạo nên các vecto chuẩn ở miền. Trong ví dụ này
miền và vùng giống nhau( X=Y=R2), vì thế để đơn giản chúng ta sẽ tìm một chuẩn chung cho cả
hai (ui=vi=si), như được biểu diễn ở hình bên.
Bước đầu tiên là biến đổi vecto chuẩn đầu tiên và nhân các vecto là kết quả biến đổi để tạo nên
các vecto chuẩn. Nếu chúng ta quay S1 ngược chiều kim đồng hồ một góc θ thì được:

Và có thể xem ở hình ở giữa bên trái. 2 hệ số trong phần mở rộng tạo nên cột đầu tiên của ma
trận đại diện
Bước tiếp theo là biến đổi vecto cơ sở thứ 2. Nếu quay s 2 ngược chiều kim đồng hồ một góc θ ta
được

Có thể xem ở hình dưới bên trái. Từ phần mở rộng này chúng ta có được cột thứ hai cho ma trận
đại diện . Ma trận đại diện hoàn chỉnh sẽ là :

Báo cáo Chuyên Đề - Lớp KTTT1

Page 6


Linear Transformations for Neural Networks
Khi nhân một vecto bằng một ma trận ở cơng thức 6.14 thì vecto sẽ được quay một góc θ
Tóm lại, để có được ma trận đại điện của một phép biến đổi chúng ta sử dụng công thức 6.6.
Chúng ta biến đổi mỗi vecto chuẩn của vùng và nhân nó để tạo nên các vecto chuẩn của miền.
Các hệ số của mỗi phép nhân tạo ra một cột của ma trận.
Nghiên cứu hình học quá trình tạo nên ma trận đại diện, sử dụng hình biểu diễn của hệ thống
noron.

A(s2) -sin(θ) S2

S2

A(x)

cos(θ)

θ

X

A(s1)
sin(θ)

θ

θ
S1

S1

6.2.3.

cos(θ)

Sự thay đổi của vector cơ sở chuẩn

Chú ý rằng ở phần trước ma trận đại diện của một phép biến đổi tuyến tính không phải là duy
nhất. Mỗi ma trận đại diện phụ thuộc vào tập hợp cơ sở được sử dụng cho miền và vùng của
phép biến đổi.
Trong phần này chúng ta sẽ miêu tả chính xác hơn làm thế nào một ma trận đại điện thay đổi khi
mà các tập hợp cơ sở bị thay đổi.
Xem xét một phép biến đổi tuyến tính A: XY. Lấy {v1,v2…, vn} là một cơ sở của không gian
vecto X, và lấy { u1,u2…, un} làm cơ sở cho khơng gian vecto Y. Vì thế mỗi vecto x Є X có thể
viết thành:

Và mỗi vecto y Є Y có thể viết thành:

Vì thế nếu:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 7


Linear Transformations for Neural Networks

Thì ma trận đại diện sẽ là :

Hoặc

Nếu sử dụng tập hợp cơ sở khác cho X và Y. Lấy {t 1,t2,…, tn} là cơ sở mới cho X, và lấy
{w1,w2…, wm} là cơ sở mới cho Y. Với các cơ sở mới, mỗi vecto x Є X được viết là:

Và vecto y Є Y viết thành

Điều này sẽ tạo ra một ma trận đại diện mới:

Hoặc

Để tìm ra mối liên hệ giữa A và A’, chúng ta cần tìm ra mối liên hệ giữa hai tập hợp cơ sở . Đầu
tiên, vì mỗi t là một phần tử của X, chúng có thể được nhân lên để tạo nên cơ sở ban đầu của X

Sau đó, vì mỗi wi là một phần tử của Y, chúng có thể được nhân lên để tạo nên cơ sơ ban đầu của
Y

Vì thế các vecto ban đầu có thể được biểu diễn bởi cột các số:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 8


Linear Transformations for Neural Networks

Ta có ma trận mà các cột là t:

Sau đó chúng ta viết cơng thức 6.20 ở dạng ma trận:

Phương trình này miêu tả mối liên hệ giữa hai điện diện cho vecto X. ( Chú ý rằng kết quả này
rất giống với phương trình 5.43. Có thể xem lại về vecto cơ sở thuận nghịch ở chương 5).
Ta có ma trận mà các cột của nó là wi

Theo đó có thể viết 6.21 ở dạng ma trận mà biểu diễn mối quan hệ giữa hai ma trận đại diện cho
vecto y như sau:

Bây giờ thay (6.28) và (6.30) vào (6.19) ta có:

Nó nhân cả hai vế của phương trình với thì được:

So sánh (6.32) và (6.23) sẽ được toán tử sau cho một thay đổi cơ bản:

Kết quả quan trọng này thể hiện mối liên hệ giữa bất kỳ 2 ma trận đại diện nào của một phép
biến đổi tuyến tính và được gọi là phép biến đổi đồng dạng. Nó sẽ được sử dụng rất hữu hiện
trong các chương sau. Nó chỉ ra rằng với một lựa chọn chuẩn về vecto cơ sở chúng ta có thể có

Báo cáo Chuyên Đề - Lớp KTTT1

Page 9


Linear Transformations for Neural Networks
được một ma trận đại diện thể hiện các đặc tính căn bản của phép biến đổi tuyến tính mà nó biểu
diễn. Điều này sẽ được thảo luận trong phần tiếp theo.
Lấy một ví dụ về thay đổi tập hợp cơ sở, hãy xem xét lại ví dụ về vecto quay ở phần trước. Trong
phần đó một ma trận đại điện được phát triển nhờ sử dụng tập hợp cơ sở chuẩn {s 1, s2} . Bây giờ
hãy tìm một đại diện mới sử dụng cơ sở { t 1, t2 } , được thể hiện ở hình bên cạnh. ( chú ý rằng
trong ví dụ này tập hợp cơ sở tương tự nhau được sử dụng cho cả vùng và miền).

t2

s2
t1
s1

Bước đầu tiên là nhân t1 và t2 để tạo ra cơ sở chuẩn, như ở phương trình (6.24) và (6.25). Ở hình
bên ta có thể thấy:

Khi đó ta có thể viết thành:

Bây giờ ta có ma trận như sau:

Và vì chúng ta đã sử dụng bộ cơ sở như nhau cho cả vùng và miền của phép biến đổi nền:

Chúng ta có thể có ma trận đại diện mới từ phương trình 6.33
(6.39)

Báo cáo Chuyên Đề - Lớp KTTT1

Page 10


Linear Transformations for Neural Networks
Bây giờ ví dụ như lấy = 30ºthì:

Và

Để kiểm tra những ma trận này đã đúng chưa hãy lấy thử một vecto sau:
x = , tương ứng với x’=
Chú ý rằng các vecto đại diện bởi x và x’ là t1, một phần từ của bộ cơ sở thứ 2). Vecto biến đổi có
được sẽ là :

Tương ứng với

Vậy chúng ta có thể kiểm tra như thế nào để thấy nếu y’ không tương ứng với y? Cả hai có thể
được biểu diễn bởi cùng vecto,y, dù có 2 bộ cơ sở khác nhau; y sử dụng bộ cơ sở {s 1, s2}và y’ sử
dụng bộ cơ sở {t 1, t2}. Trong chương 5 chúng ta đã sử dụng vecto cơ sở nghịch đảo để biến đổi
từ một ma trận đại diện thành ma trận đại diện khác( xem 5.43) . Sử dụng lý thuyết này ta có

Qua đó giúp ta xác nhận được các kết quả trước đó. Các vecto được biểu diễn ở hình bên trái.
Kiểm tra bằng đồ thị hai đại diện, y và y’ ở công thức 6.43 và 6.44 thấy rất hợp lý.

t2

s2

y=A(x)

t1
s1

Báo cáo Chuyên Đề - Lớp KTTT1

Page 11


Linear Transformations for Neural Networks
6.2.4.

Giá trị đặc trưng và vector đặc trưng

Trong phần cuối cùng này sẽ thảo luận hai đại lượng quan trọng của phép biến đổi tuyến tính là
giá trị đặc trưng và vecto đặc trưng. Các kiến thức về hai đại lượng này sẽ cho phép trả lời một
vài câu hỏi về biểu diễn mạng lưới nơron, ví dụ như câu hỏi ở đầu chương này, liên quan đến sự
ổn định của mạng kưới Hopfield.
Xem xét khái niệm đầu tiên về giá trị đặc trưng và vecto đặc trưng. Xem một phép biến đổi tuyến
tính A: X X ( Vùng và miền như nhau). Các vecto z X không bằng 0 và lượng vô hướng λ thỏa
mãn:

Khi đó sẽ lần lượt có vecto đặc trưng (z) và giá trị đặc trưng ( λ)
Chú ý rằng vecto đặc trưng thì có khả năng bị sai lệch vì nó không hẳn là một vecto mà là một
không gian vecto, vì nếu z thỏa mãn 6.46 thì az cũng thỏa mãn.
Vì vậy một vecto đặc trưng của một phép biến đổi biểu diễn một hướng, như bất kỳ vecto nào
theo hướng đó, khi được biến đổi, sẽ tiếp tục chỉ theo hướng đó, nhưng sẽ bị chia ra bởi giá trị
đặc trưng. Như ví dụ trước đó, xem xét lại ví dụ về sự quay sử dụng ở phần trước. Liệu có vecto
nào mà khi được quay 30º , tiếp tục chỉ theo cùng hướng không? Không, đây là một trường hợp
mà khơng có giá trị đặc trưng. (Trong trường hợp các lượng vơ hướng phức tạp và có hai giá trị
đặc trưng tồn tại, chúng ta sẽ xem xét sau).

S2

A(x)
θ

X
S1

Vậy phương pháp tính tốn giá trị riêng và vector riêng như thế nào? Giả sử một vector cơ sở
được chọn cho không gian vector X, n chiều. Ma trận biểu diễn cho cơng thức 6.46 có thể được
viết thành:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 12


Linear Transformations for Neural Networks
(6.47)
Hoặc

(6.48)

Nghĩa là các cột của ma trận là phụ thuộc và định thức của ma trận phải bằng không:
(6.49)
Định thức này là một đa thức bậc n. Vì thế cơng thức (6.49) ln có n nghiệm, chúng có thể là
nghiệm phức hoặc nghiệm kép.
Xem xét lại ví dụ sau. Nếu sử dụng nhóm vector cơ bản chuẩn, thì ma trận chuyển đổi là:
(6.50)

Có thể viết lại cơng thức (6.49) thành:
(6.51)
Hoặc
(6.52)
Nghiệm của phương trình này:
(6.53)
Vì thế, như đã dự đốn, phép biến đổi này khơng có giá trị riêng thực (nếu sinθ≠0). Nghĩa là, với
bất kỳ vector thực nào được biến đổi, nó sẽ hướng theo một hướng mới.
Vì thế, như đã dự đốn, phép chuyển này khơng có giá trị riêng thực (nếu sinθ≠0). Nghĩa là khi
chuyển đổi một vector bất kỳ, nó sẽ có một hướng mới.
Vì thế, như đã dự đốn, phép chuyển này khơng có giá trị riêng thực (nếu sinθ≠0). Nghĩa là khi
chuyển đổi một vector bất kỳ, nó sẽ có một hướng mới.
Xem xét với một ma trận khác:
;

Báo cáo Chuyên Đề - Lớp KTTT1

(6.54)

Page 13


Linear Transformations for Neural Networks
Để tìm giá trị riêng cần giải phương trình sau:
=0;

(6.55)

Hoặc
;

(6.56)

;

(6.57)

Thu được các giá trị riêng:

Để tìm các vector riêng, chúng giải phương trình (6.48), trong ví dụ này là:
(6.58)
Giải phương trình trên với lần lượt các giá trị λ1 và λ2. Với λ1 ta có:
(6.59)
Hoặc z21≈0, không phụ thuộc vào z11. (6.60)
Như thế ta thu được vector riêng thứ nhất là:
;

(6.61)

hoặc bất kỳ tích vơ hướng nào khác. Với λ2 ta có:

Hoặc: z22 = -z12;

;

(6.62)

;

(6.64)

(6.63)

Giá trị vector riêng thứ 2 thu được:

hoặc bất kỳ tích vơ hướng nào khác. Để kiểm tra lại kết quả, ta xem xét các phương trình sau:
;

Báo cáo Chuyên Đề - Lớp KTTT1

(6.65)

Page 14


Linear Transformations for Neural Networks
;

6.2.5.

(6.66)

Phép chuyển ma trận đơn vị (DIAGONALIZATION)

Với n giá trị riêng độc lập, đảm bảo chúng ta có thể tìm được n vector riêng độc lập [Brog91]. Vì
thế các vector riêng này tạo thành một khơng gian vector cơ bản của phép biến đổi. Để tìm ma
trận tiền biến đổi (công thức 6.54) chúng ta sử dụng các vector riêng làm các vector cơ bản. Từ
công thức 6.33 ta có:
;

(6.67)

Chú ý rằng đây là một ma trận chéo với các giá trị riêng nằm trên đường chéo. Với các giá trị
riêng độc lập, bất kỳ, ta đều có thể chuyển thành ma trận đơn vị bằng cách sử dụng các vector
riêng. Quá trình chuyển đổi này được tổng hợp lại như sau.
Coi ;

(6.68)

Với là các vector riêng của ma trận A. Ta có:
;

(6.69)

Với là các giá riêng riêng của ma trận A.
Kết quả này sẽ giúp ta phân tích hiệu suất của mạng neural.

6.3.

Tổng hợp kết quả

* Phép biến đổi (transformations)
Một phép chuyển đổi bao gồm 3 thành phần:
1. một nhóm các thành phần X={xi} gọi là miền (domain)
2. một nhóm các thành phần Y={yi} gọi là dải (range)
3. một quy luật ánh xạ vào thành phần .
* Phép biến đổi tuyến tính

Báo cáo Chuyên Đề - Lớp KTTT1

Page 15


Linear Transformations for Neural Networks
Một phép biến đổi A là tuyến tính nếu:
1. Với tất cả .
2. Với tất cả .
* Ma trận biểu diễn (matrix Representation)
Không gian vector X là , không gian vector Y là . A là phép biến đổi tuyến tính trong miền X và
dải Y, ta có: .
Hệ số của ma trận biểu diễn là nghiệm của phương trình:

* Các thơng số cơ bản

* Các giá trị riêng và vector riêng

* Phép biến đổi ma trận đơn vị

Với là các vector riêng của ma trận vuông A

6.4.

Các vấn đề cần giải quyết

P6.1. Xem xét mạng đơn lớp như trong hình 6.1, với một hàm biến đổi tuyến tính. Vậy phép biến
đổi vector đầu vào thành vector đầu ra có phải là một phép biến đổi tuyến tính hay khơng ?

Báo cáo Chun Đề - Lớp KTTT1

Page 16

Linear Transformations for Neural Networks
Inputs

Linear Layer
p

Rx1

W

1
R

n

a

Sx1

Sx1

SxR
b
Sx1

S
A=purelin(Wp+b)

Hình 6.1 Mạng đơn Neuron
Phương trình mơ tả mạng là:
Để cho phép biến đổi này là tuyến tính, cần thỏa mãn các điều kiện sau:

Với điều kiện thứ 1:
Đem so sánh với:
Rõ ràng 2 cách biểu diễn này là tương đương nhau nếu b=0. Vì thế mạng này thực hiện phép
biến đổi phi tuyến, mặc dù có sử dụng hàm tuyến tính. Kiểu mạng phi tuyến đặc biệt này được
gọi là phép biến đổi mô phỏng (affine).
P6.2. Xem xét lại phép chiếu trong chương 5, xem đó có phải là một phép biến đổi tuyến tính
hay khơng ?

S2
X

S1
A(X)

Báo cáo Chun Đề - Lớp KTTT1

Page 17


Linear Transformations for Neural Networks
Hình 6.2 Phép biến đổi phản xạ
Phép chiếu vector x vào một vector v được tính tốn như sau:

Với (x,v) là tích số nội của x và v.
Kiểm tra xem phép biến đổi này với 2 điều kiện tuyến tính, ta có với điều kiện thứ nhất:

(Ở đây sử dụng các đặc điểm tuyến tính của các tích số nội). Xét với điều kiện thứ 2:

Như vậy, phép chiếu trong ví dụ này là tuyến tính.
P6.3. Xét phép biến đổi A được tạo bằng cách ánh xạ vector x trong miền R2 về đường thẳng
x1+x2=0, như trong hình 6.2. Xác định ma trận biến đổi liên quan đến chuẩn cơ bản trong miền
R2.
Phương pháp để tìm ma trận biến đổi được thực hiện như phương trình 6.6

Cần phải biến đổi mỗi vector cơ bản của miền, sau đó mở rộng kết quả trong nhóm các vector cơ
bản của dải. Môi lần mở rộng, ta lấy một cột của ma trận biểu diễn. Trong trường hợp này, nhóm
cơ bản của cả 2 miền và dải là {s1, s2}. Vậy ta biến đổi s1 trước. Nếu ánh xạ s1 về đường thẳng
x1+x2=0, ta thu được kết quả:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 18


Linear Transformations for Neural Networks

S1
A(s1)=-s2

Từ đây cho ta cột đầu tiên của ma trận. Tiếp theo ta biến đổi s2:

S2

A(s2)= -s1

Ta thu được cột thứ 2 của ma trận. Và kết quả cuối cùng là:

Kiểm tra lại kết quả với vector

Kết quả thực sự thể hiện sự ánh xạ của vector x về đường thẳng x1+x2=0 như hình 6.3.

S2

S1

A(x)

Báo cáo Chuyên Đề - Lớp KTTT1

X

Page 19


Linear Transformations for Neural Networks
Hình 6.3 Kiểm tra lại phép ánh xạ
P6.4. Xét không gian các số phức, và xem đây là không gian vector X, và lấy vector cơ bản của
X là {1+j, 1-j}. Phép biến đổi A: X->X là liên hợp (ví dụ: A(x)=x*).
Các bước thực hiện
1. Trước tiên ta tìm ma trận của phép biến đổi A liên quan đến nhóm cơ bản đã chọn.
2. Tìm các giá trị riêng và vector riêng của phép biến đổi.
3. Tìm phép biểu diễn ma trận cho A liên quan đến các vector riêng như các vector cơ bản.
Bước 1: để tìm ma trận cho phép biến đổi, ta biến đổi mỗi vector cơ bản bằng cách tìm liên hợp
phức của nó:

Ta thu được phép biểu diễn ma trận:
Bước 2: để tìm các giá trị riêng, cần phải sử dụng cơng thức 6.49

Vậy các giá trị riêng là:
Để tìm các vector riêng, dùng công thức 6.48:

Với cho ra:

Hoặc
Vậy vector riêng đầu tiên thu được sẽ là: hoặc bất kỳ tích vô hướng nào khác. Với vector riêng
thứ 2 ta sử dụng và thu được:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 20


Linear Transformations for Neural Networks

Hoặc
Vậy vector riêng thứ 2 là: hoặc bất kỳ tích vơ hướng nào khác.
Chú ý rằng, các vector riêng này có thể được biểu diễn thành cột các chữ số thực, nhưng trong
thực tế chúng là các số phức, ví dụ:

Kiểm tra lại kết quả:

Bước 3: thực hiện thay đổi vector cơ bản, chúng ta sử dụng cơng thức 6.33 (sử dụng cùng một
nhóm vector cơ bản cho cả miền và dải).
với
Thu được
Theo công thức 6.69 thì chúng ta đã biến đổi chéo ma trận biểu diễn.
P6.5. Biến đổi chéo một ma trận.

Bước đầu tiên là tìm các giá trị riêng:

Vậy các giá trị riêng là:
Để tìm các vector riêng:
Với ta có:

Hoặc

Báo cáo Chun Đề - Lớp KTTT1

Page 21


Linear Transformations for Neural Networks
Vậy vector riêng đầu tiên là: hoặc bất kỳ tích vơ hướng nào khác.
Với λ = λ2 = 4 thì:
z1 = =
Hoặc :
z12 = -z22
Do đó, vector đặc trưng thứ hai sẽ phải là:
z2 = ,
Hoặc bất kỳ một bội số vơ hướng nào.
Để chéo hóa ma trận ta dùng công thức (6.69):
A’ = [B-1 AB],
Trong đó
B = [z1 z2] =
Do đó ta có:
A= = =
P6.6. Giả sử có một biến đổi A:R3  R2 trong đó ma trận liên hệ của nó tới tập hợp cơ sở chuẩn

là:
A=
Tìm ma trận liên hệ của biến đổi này với tập hợp cơ sở:
T=
W=
Giải:
Bước đầu tiên là tìm các ma trận:
Bt =
Bw =
Bây giờ chúng ta sẽ sử dụng cơng thức (6.33) để tìm cách biểu diễn ma trận mới:
A’ = [B ABt]
A’ = =
Do đó đây là ma trận biến đổi ánh xạ tới tập hợp cơ bản T và W.
P6.7. Giả sử có một biến đổi A: R2  R2. Một tập hợp cơ bản của R2 là V = {v1,v2}.
i.
Tìm ma trận biến đổi A với tập hợp cơ bản V được cho như sau:

ii.

A(v1) = v1 + 2v2
A(v2) = v1 + v2
Giả sử có một tổ hợp mới W = {w1,w2}. Tìm ma trận biến đổi A với tập W được cho như
sau:
w1 = v1 + v2,
w2 = v1 – v2

Giải:
Mỗi câu hỏi đều cho ta một cột của ma trận, được định nghĩa trong cơng thức (6.6). Do đó ma
trận có dạng:
A=

Ta có thể biển diễn các vector cơ bản như các cột của số trong tập các vector cơ bản V:
w1 =
w2 = .
Ta có thể tìm ma trận cơ bản bằng cách thực hiện biến đổi tương đương:
Bw =

Báo cáo Chuyên Đề - Lớp KTTT1

Page 22


Linear Transformations for Neural Networks
Cách biểu diễn ma trận mới được nêu trong công thức (6.33):
A’ = [B ABw]
A’ = = .
P6.8. Giả sử không gian vector P2 của tất cả các đa thức nhỏ hơn hoặc bằng 2. Tập hợp cơ bản
cho không gian vector này là V = { 1,t,t2}. Giả sử có vi phân biến đổi D.
i.
Tìm ma trận liên hệ đối với tập hợp cơ bản V của phép biến đổi này.
ii.
Tìm giá trị đặc trưng và vector đặc trưng của phép biến đổi này.
Giải:
Bước đầu tiên là biến đổi từng vector cơ bản:
D(1) = 0 = (0)1 + (0)t + (0)t2,
D(t) = 1 = (1)1 + (0)t + (0)t2,
D(t2) = 2t = (0)1 + (2)t + (0)t2.
Do đó ma trận biến đổi là:
D=.
Để tìm giá trị đặc trưng ta phải giải:
[D – λI] = = -λ3 = 0.

Do đó tất cả giá trị đặc trưng đều bằng 0. Để tìm vector đặc trưng ta cần phải giải:
[D – λI]z = z = .
Với λ = 0 ta có:
=
Có nghĩa là:
z2 = z3 = 0.
Do vậy ta có một vector đặc trưng đơn:
z=.
Do đó chỉ có đa thức được suy ra từ phiên bản mở rộng của bản thân nó là hằng số.
P6.9. Giả sử có một biến đổi A: R2  R2. Hai ví dụ về các vector biến đổi như trong hình P6.4.
Tìm ma trận liên hệ với tập hợp cơ bản chuẩn.

Hình P6.4. Biến đổi của bài toán P6.9
Giải:

Báo cáo Chuyên Đề - Lớp KTTT1

Page 23


Linear Transformations for Neural Networks
Đối với bài toán này, chúng ta khơng biết các vector cơ sở có thể được biến đổi như thế nào, do
đó chúng ta khơng thể sử dụng cơng thức (6.6) để tìm ma trận biểu diễn. Tuy nhiên, chungsta
không biết hai vector được biến đổi như thế nào, và những vector này được biểu diễn trong tập
hợp cơ bản chuẩn như thế nào. Từ hình P6.4 chúng ta có thể viết lại phương trình như sau:
A =,
A =.
Ghép 2 phương trình lại với nhau ta có:
A =
Do đó:

A= = =.
Đây là cách biểu diễn ma trận biến đổi với tập hợp cơ bản đặc biệt.
Hàm này được sử dụng trong “Biến đổi tuyến tính mơ phỏng thiết kế mạng Neural”.

6.5.

Tổng kết

Trong chương này chúng ta đã đánh giá các thuộc tính của các biến đổi tuyến tính và các ma
trận, điều này đóng vai trị quan trọng trong việc nghiên cứu của chúng ta đối với mạng neutral.
Các khái niệm về giá trị đặc trưng, các vector đặc trưng, biến đổi cơ bản (biến đổi tương đương)
và chéo hóa ma được sử dụng lặp đi lặp lại trong suốt chương này. Nếu khơng có kiến thức nền
về đại số tuyến tính thì các nghiên cứu về mạng neutral chỉ mang tính chất tìm hiểu bên ngoài.
Trong chương tiếp theo, chúng ta sẽ sử dụng đại số tuyến tính để phân tích hoạt động của một
trong các thuật toán huấn luyện trong mạng neutral đầu tiên – thuật toán Hebb.

6.6.

Tài liệu tham khảo

[Brog91] W.L.Brogan, Modern Control Theory, 3rd Ed., Englewood Cliffs, NJ: Prentice-Hall,
1991.
Đây là một tài liệu viết rất tốt về chủ đề hệ thống tuyến tính. Nửa đầu sách nói về đại số
tuyến tính. Đây là các phần rất quan trọng để giải quyết biến đổi vi phân tuyến tính và
tính ổn định của các hệ thống tuyến tính và phi tuyến.
[Stra76] G. Strang, Linear Algebra and Its Applications, New York: Academic Press, 1980.
Strang đã viết về đại số tuyến tính rất tốt. Rất nhiều ứng dụng của đại số tuyến tính được
viết trong cuốn sách này.

6.7.

Bài tập

E6.1. Biến đổi tuyến tính một ma trận có phải là chuyển vị ma trận khơng?
E6.2. Giả sử có một mạng neutral như trong hình P6.1. Chỉ ra rằng nếu đường chéo vector b
bằng 0 thì mạng có thực hiện biến đổi tuyến tính khơng.
E6.3. Giả sử có một biến đổi tuyến tính được minh họa như trong hình E6.1.
Tìm ma trận liên hệ biểu diễn phép biến đổi trên tập hợp cơ sở chuẩn.
Tìm ma trận liên hệ biểu diễn phép biến đổi trên tập cơ sở {v1,v2}.

Báo cáo Chuyên Đề - Lớp KTTT1

Page 24


Linear Transformations for Neural Networks

Hình E6.1. Ví dụ minh họa phép biến đổi dùng trong bài tập E6.3.
E6.4. Giả sử có một khơng gian các số phức, một khơng gian vector X, và tập cơ sở X là (1+j, 1j). Phép biến đổi A: X  X được thực hiện bằng cách nhân với (1+j) (ví dụ: A(χ) = (1+j)χ).
i.
Tìm ma trận liên hệ của phép biến đổi A với tập hợp cho ở trên.
ii.
Tìm các giá trị đặc trưng và các vector đặc trưng của phép biến đổi.
iii.
Tìm cách biểu diễn ma trận cho miền A sao cho các vector đặc trưng là các vector cơ sở.
iv.
Kiểm tra tính đúng sai các câu trả lời trên bằng MATLAB.
E6.5. Giả sử có phép biến đổi A: P2  P3, từ không gian của các đa thức bậc 2 tới không gian của
các đa thức bậc 3, được định nghĩa như sau:
χ = a0 + a1t + a2t2.

A(χ) = a0(t+1) + a1(t+1)2 + a2(t+1)3.
Tìm cách biểu diễn ma trận liên hệ trên miền V2 = {1,t,t2}, V3 = {1,t,t2,t3}.
E6.6. Giả sử có khơng gian các hàm có dạng αsin(t+ϕ). Tập cơ sở cho không gian này là V =
{sint, cost}. Giả sử có biến đổi vi phân D.
i.
Tìm ma trận của biến đổi D trên miền tập hợp cơ sở V.
ii.
Tìm các giá trị đặc trưng và các vector đặc trưng của phép biến đổi. Chỉ ra các vector đặc
trưng là cột của các số và các hàm của t.
iii.
Tìm cách biểu diễn ma trận liên hệ sao cho các vector đặc trưng là các vector cơ sở.
E6.7. Giả sử có không gian vector P2 và P3 của các đa thức bậc 2 và bậc 3. Tìm cách biểu diễn
ma trận của phép biến đổi tích hợp I:P2  P3 trên miền V2 = {1,t,t2}, V3 = {1,t,t2,t3}.
E6.8. Một phép biến đổi tuyến tính A:R2  R2 có cách biểu diễn ma trận trên miền tập hợp cơ sở
là:
A=.
Tìm biểu diễn ma trận của phép biến đổi với miền mới:
V=.
E6.9. Biết rằng biến đổi tuyến tính A:R2  R2 có các giá trị đặc trưng và các vector đặc trưng như
sau:
=1
z1 =
=2
z2 = .
(Các vector đặc trưng được biểu diễn trên tập hợp cơ sở).
i.
Tìm biểu diễn ma trận của phép biến đổ A trên tập hợp cơ sở.
ii.
Tìm biểu diễn ma trận trong miền:
V=.

Báo cáo Chuyên Đề - Lớp KTTT1

Page 25