Nghiên cứu phương pháp phân lớp bằng mạng RBF

HỌC VIỆN KỸ THUẬT QUÂN SỰ
KHOA CÔNG NGHỆ THÔNG TIN
Nghiên cứu phương pháp phân lớp bằng mạng RBF
Học viên : LÊ ANH TUẤN
MSSV : 11870268
Chương 1: KIẾN THỨC CHUẨN BỊ
1.1 Nội suy dữ liệu rời rạc:
Trong nhiều vấn đề khoa học kỹ thuật cần giải bài toán: Cho tập dữ liệu (gồm các kết
quả đo đạc và vị trí thu được những kết quả đó), yêu cầu tìm một quy tắc cho phép suy
diễn thông tin từ những kết quả đã có. Vì vậy ta mong muốn tìm một hàm “đủ tốt” phù
hợp với tập dữ liệu đã có. Có nhiều cách để quyết định thế nào là tốt và một trong các
tiêu chuẩn là muốn hàm xấp xỉ có giá trị chính xác với những kết quả đo đạc được tại
những vị trí đã cho - Đáp ứng tiêu chuẩn này gọi là bài toán nội suy. Và nếu những vị trí
mà đã cho kết quả đo đạc không nằm trên một lưới chuẩn thì tiến trình trên gọi là nội suy
dữ liệu rời rạc. Chính xác hơn ta có:
Bài toán 1.1 Cho tập dữ liệu (
( )
njyx
jj
, ,1,, =
với
j
x
RyR
j
s
∈∈ ,
. Tìm một hàm (lien
tục) P
j
thỏa mãn :

( )
njyxP
jjf
, ,1, ==
(1.1)
Ý tưởng chung để giải quyết bài toán nội suy là tìm hàm P
f
dưới dạng tổ hợp tuyến
tính của hệ hàm cơ sở {
k
B
}
n
k 1=
, nghĩa là :
( ) ( )
S
n
k
kf
RxxBcxP ∈=
∑
=
,
1
(1.2)
Từ đó , thay điều kiện (1.1) dẫn đến việc giải hệ phương trình đại số tuyến tính để xác
định các hệ số
n
kk

c
1
}{
=
:
Ac = y (1.3)
Trong đó A
T
n
T
njkjk
yyycccnkjxB ), ,(;), ,(:, ,1,);(
11
====
Bài toán 1.1 sẽ được đặt đúng, nghĩa là tồn tại và duy nhất nghiệm, khi và chỉ khi ma
trận A không suy biến.
Trong trường hợp một chiều, ta luôn xây dựng được đa thức nội suy bậc n - 1 cho n
điểm nội suy phân biệt tùy ý. Tuy nhiên khi s > 2, ta có kết quả phủ định sau:
Định lý 1.1 (Mairhuber-Curtis) Nếu
⊂Ω
R
s
, s > 2 chứa một điểm trong thì trong
Ω

không tồn tại không gian Haar các hàm liên tục, trừ trường hợp không gian một chiều.
Trong đó, không gian Haar được định nghĩa như sau:
Định nghĩa 1.1 Cho không gian hàm tuyến tính hữu hạn chiều B
)(Ω⊂ C
. Gọi {B

,,
21
B
,
B
n
} là một cơ sở của B. Khi đó B được gọi là không gian Haar trên
Ω
nếu det(A)
≠
0 với
mọi tập các điểm phân biệt {x, x
2
, , x
n
}
Ω⊂
.
Ở đây ma trận A là ma trận được xây dựng bởi A
Jk
= B
)(
jk
x
; j, k = 1, , n.
Sự tồn tại của không gian Haar đảm bảo tính khả nghịch của ma trận nội suy, nghĩa là
tồn tại duy nhất nghiệm của bài toán nội suy 1.1. Không gian các đa thức một biến bậc n
-1 chính là không gian Haar n chiều với tập dữ liệu (x
j
, y

j
), j = 1, , n, x
j

∈
R, y
j

∈
R. Cơ
sở chính tắc của không gian này là{ B
1
= 1, B
2
= x, B
3
= x
2
, , B
n
= x
n-1
}.
Định lý trên cho thấy, để giải quyết bài toán nội suy dữ liệu rời rạc trong không gian
nhiều chiều chúng ta không thể xây dựng trước tập các hàm cơ sở không phụ thuộc dữ
liệu. Để giải quyết vấn đề không suy biến của ma trận A, ta cần một phương pháp khác để
xây dựng hàm nội suy. Thay vì sử dụng biểu diễn tuyến tính thông qua một hệ hàm cơ sở
không phụ thuộc dữ liệu, ta biểu diễn tuyến tính thông qua một hàm đơn phụ thuộc dữ
liệu đã cho, có tính khoảng cách, đối xứng với tâm nào đó của dữ liệu tương ứng. Phương
pháp này được đề xuất bởi R.L Hardy năm 1971 và được gọi là phương pháp hàm cở sở

bán kính.
1.2. Ma trận và hàm xác định dương:
Định nghĩa 1.2 Ma trận giá trị thực, đối xứng A được gọi là nửa xác định dương nếu
dạng toàn phương tương ứng là không âm:
∑∑
= =
≥
n
j
n
k
jkkj
Acc
1 1
0
(1.4)
Với c = (c
1
, ,c
n
)
T
Nếu dấu bằng chỉ xảy ra khi và chỉ khi c = (0, ,0)
T
thì ma trận A được
gọi là xác định dương.
Tính chất quan trọng của ma trận xác định dương là nó có tất cả các giá trị riêng đều
dương và không suy biến.
Nếu hệ hàm cơ sở {B
k

}
n
k 1=
trong khai triển (1.2) làm cho ma trận nội suy xác định
dương thì bài toán nội suy được đặt đúng. Hàm xác định dương được định nghĩa như sau:
Định nghĩa 1.3 Hàm liên tục
φ
: R
s

→
R là xác định đương khi và chỉ khi nó là hàm
chẵn và thỏa mãn:
∑∑
= =
≥−
n
j
n
k
kjkj
xxcc
1 1
0)(
φ
(1.5)
với mọi n điểm đôi một khác nhau x, , x
n

∈

R
s
và c =
(
c1, , c
n
)
∈
R
n
.
Hàm
φ
gọi là xác định dương chặt nếu dấu bằng của (1.5) xảy ra khi và chỉ khi c =
(0, ,0)
T
.
Từ định nghĩa 1.3 và tính chất của ma trận xác định dương ta thấy, có thể sử dụng các
hàm xác định dương chặt B
k
=
φ
(x - x
k
) làm hệ hàm cơ sở,
và khi đó ta có:
∑
=
−=
n

k
kkf
xxcxp
1
)()(
φ
(1.6)
Ma trận nội suy trở thành:
A
jk
= B
k
(x
j
) =
φ
(x
j
-x
k
); j, k=1,….,n (1.7)
Tuy nhiên giải bài toán nội suy sẽ trở nên khó khăn trong không gian nhiều chiều. Do
đó, thay vì sử dụng hàm đa biến
φ
(x) (độ phức tạp sẽ tăng lên theo số chiều), chỉ làm
việc với hàm một biến
ϕ
cho tất cả số chiều s.
1.3. Hàm bán kính (Radial function): Hàm bán kính là hàm chỉ phụ thuộc vào khoảng
cách từ đối số đến một điểm (gọi là tâm) cho trước

với .
Một số hàm bán kính:
• Hàm Gaussian: .
• Hàm đa thức:
• Khoảng cách:
1.4. Hàm cơ sở bán kính:
Định nghĩa 1.4 Hàm
φ
: R
s

→
R được gọi là hàm bán kính nếu tồn tại hàm một biến
ϕ
: [0,+
→∞+ )
R thỏa mãn:
φ
(x) =
ϕ
(r) (1.8)
Với r =
x
và
.
là một chuẩn nào đó trong R
s
(thường dùng chuẩnEuclidean). Hàm
ϕ

tương ứng gọi là hàm cơ sở bán kính. Ta nói hàm
ϕ
là xác định dương (chặt) khi và chỉ
khi hàm
φ
là xác định dương (chặt).
1.5. Hàm xác định dương và đơn điệu hoàn toàn:
Trong phần này trình bày kết quả quan trọng xây dựng một số hàm bán kính thỏa mãn
tính khả nghịch của ma trận nội suy tương ứng, dựa trên tính chất của hàm đơn điệu hoàn
toàn.
Định nghĩa 1.5 Hàm
ϕ
C
∞
(R
>0
) được gọi là đơn điệu hoàn toàn khi và chỉ khi
(-1)
1

)(t
ϕ
(t)
≥
0 (1.9)
với mọi l = 0,1, , với mọi t.
Việc xây dựng hàm bán kính xác định dương thông qua hàm đơn điệu hoàn toàn dựa
vào kết quả sau, được đưa ra bởi Schoenberg năm 1938.
Định lý 1.2 Cho
ϕ

: R
+

→
R là hàm liên tục đơn điệu hoàn toàn. Khi đó với mọi
tập điểm hữu hạn phân biệt từng đôi một (x
1
, x
2
, , x
n
)
∈
R
s
hàm bán kính
φ
(x) =
ϕ
(r
2
), r
=
x
là hàm xác định dương.
Ví dụ 1.1
Xét hàm
ϕ
(t) = e
t

α
−
với
≥
α
0. Ta có: (- 1)
1

0)()(
1)(
>=
− tl
et
α
αϕ
. Suy ra hàm này là
đơn điệu hoàn toàn. Do đó hàm Gaussian (GA)
ϕ
(r)=e
-
2
r
α

có thể sử dụng làm hàm cơ sở
bán kính đảm bảo tính xác định dương của ma trận nội suy.
Tương tự, hàm
ϕ
(t) = (t +
2

α
)
β
−
,
βα
,
> 0 cũng là hàm đơn điệu hoàn toàn. Hàm cơ
sở bán kính
ϕ
(r) = (r
2
+
2
α
)
β
−
,
βα
,
> 0 được gọi là hàm Inverse Multiquadric (IMQ)
Theo định nghĩa hàm đơn điệu hoàn toàn, ta có
ϕ
(t)
≥
0,
ϕ
‘(t)
≤

0, Tuy nhiên nếu
có
ϕ
' đơn điệu hoàn toàn (
ϕ
' (t)
≥
0,
ϕ
” (t)
≤
0, .) ta vẫn có thể sử dụng được hàm
ϕ

đảm bảo ma trận không suy biến.
Định lý 1.3 Cho
ϕ

∈
C
∞
[0,+

∞
) là hàm thỏa mãn
ϕ
' đơn điệu hoàn toàn, khác
hằng số. Giả sử thêm rằng
ϕ
(0)

≥
0. Khi đó ma trận nội suy không suy biến với
φ
(x) =
ϕ
(
x
) =
ϕ
(r
2
).
Trong trường hợp tổng quát, nếu với giả thiết yếu hơn về tính đơn điệu hoàn toàn của
ϕ
, nghĩa là
ϕ
k
, k > 1 là hàm đơn điệu hoàn toàn thì cần các điều kiện nào để sử dụng
được
ϕ
(theo định nghĩa ma trận nội suy tương ứng không suy biến)?. Vấn đề này đã
được Micchelli (1986) nghiên cứu và đưa ra những kết quả quan trọng về hàm xác định
dương có điều kiện.
1.6. Nội suy với độ chính xác đa thức và hàm xác định dương có điều kiện:
Định nghĩa 1.6 Hàm
φ
: R
s

→

R được gọi là xác định dương có điều kiện
bậc m nếu
∑∑
= =
n
j
n
k1 1
c
j
c
k
φ
(x
j
- x
k
)
≥
0
∀
c
∈
R
n
thỏa mãn:
( )
∑
=
−

∈∀=
n
j
m
sjj
Ppxpc
1
1
,0
(đa thức thuộc không gian các đa thức s biến có bậc
< m - 1). Nếu đẳng thức chỉ xảy ra với c = 0 thì
φ
gọi là xác định dương chặt có điều
kiện.
Điều quan trọng là có thể sử dụng hàm xác định dương có điều kiện bậc m để nội suy
nếu ta cộng vào biểu thức (1.6) một đa thức đa biến bậc (m -l) triệt tiêu trên tập dữ liệu đã
cho. Cụ thể, hàm nội suy với độ chính xác đa thức được cho dưới dạng:
(1.10)
với các ký hiệu đa chỉ số:
∑
=
=∈
8
1
8
0
,
i
i
N

ααα
và
x
α
=
s
s
xxx
α
αα

21
21
Khi thay điều kiện nội suy ta được hệ phương trình Ac = y. Để xác định
hệ số của p(x) ta sử dụng các điều kiện
mxc
n
j
jj
<=
∑
=
α
α
,0
1
(1.11)
Ví dụ 1.2
Xây dựng hàm nội suy trong không gian 2 chiều với tập dữ liệu cho trước
n

jjjjj
yxfyx
1,
)},(),{(
=
, sử dụng hàm xác định dương có điều kiện bậc 2 ta được:
(1.12)
trong đó p(x,y) là đa thức hai biến bậc 1 triệt tiêu tại các điểm nội suy,
p(x, y) = a + a
2
x + a
3
y (1.13)
Cho (1.12) thỏa điều kiện nội suy được hệ:
Để xác định các hệ số a
l
,a
2
,a
3
sử dụng (1.11), được thêm ba điều kiện sau:
Vậy ta được hệ n + 3 phương trình n + 3 ẩn. Từ đó có thể tìm được P
f
(x,y).
Trong trường hợp tổng quát, bài toán (1.10) sẽ dẫn tới hệ đại số tuyến tính sau:
Trong đó:
( )
α
φ
j

n
jkjk
xPxxA =−=
=
;))((
1,
, j = 1, 2, ., n; d là ma trận các hệ số của p(x)
Việc xây dựng cấu trúc cụ thể của các hàm bán kính xác định dương có điều kiện
φ
(x) =
ϕ
(r) dựa trên định lý:
Định lý 1.4 Cho
ϕ
là hàm liên tục và thỏa mãn
( )
r
dr
rd
k
k
k
,
)(
1
ϕ
−
> 0 là hàm
đơn điệu hoàn toàn khác hằng số. Khi đó, hàm
φ

(x) =
ϕ
(||x||) =
ϕ
(r
2
) là hàm xác định
dương chặt bậc k.
Ví dụ 1.3
1. Hàm thỏa mãn:
. Vì vậy:
là hàm đơn điệu hoàn toàn. Hơn
nữa, với mọi m, m
 
β
≥
,(- 1)
m
p
(m)
(r) cũng là hàm đơn điệu hoàn toàn. Vì vậy, hàm bán
kính Multiquadric (MQ) tổng quát là xác định dương chặt có
điều kiện bậc m,
∀
m
 
β
≥
.
2. Hàm thỏa mãn:

vì vậy là hàm đơn điệu hoàn toàn. Hơn nữa, với mọi m,






≥
2
β
m
hàm
(-1)
m
ϕ
m
(r) cũng là hàm đơn điệu hoàn toàn. Vì vậy, hàm Năng lượng
là hàm xác định dương chặt có điều kiện
bậc m,






≥
2
β
m
.

3. Hàm Thin plates spline (TPS)
ϕ
(r) = (- 1)
k+1
r
2k
lnr, k
∈
N
Là các hàm xác định dương chặt có điều kiện bậc m > k+1. Thật vậy: Xét hàm
ϕ
(r) = (-
1)
k
+
l
(r)
k
lnr. Khi đó, đào hàm cấp l, l
≤
k của
ϕ
(r) là:
ϕ
1
(r) = (-1)
k
+
1
k(k - 1) (k - l +1)r

k-l

lnr + p
l
(r), trong đó p
l
(r) là đa thức bậc k - l. Vì vậy, đạo hàm cấp k sẽ là:
ϕ
(k)
(r) = (—
1)
k+1
k! lnr +C, và đạo hàm cấp k + 1 là
ϕ
(k+1)
(r)= (-1)
k+1

r
k!
, là hàm đơn điệu hoàn
toàn trên (0,
∞
). Do đó, hàm
ϕ
(r) = (-1)
k+1
r
2k
lnr =

)(
2
1
2
r
ϕ

là hàm xác định dương chặt có
điều kiện bậc m > k + 1.
1.7. Ví du nôi suy bằng hàm RBF :
Cho hàm mẫu Franke như sau:
Cho trước tập giá trị z
ij
= f(x,y
i
); i, j = 1, ,n, trong đó (x
i
,y
j
)
∈
[0,1]
2
là
tập điểm nội suy. Để đơn giản, chúng tôi chọn tập điểm nội suy là lưới đều trên miền
[0,1]
2
và tập tâm trùng với tập điểm nội suy.
Xây dựng hàm nội suy P
j

=
( )
∑
−
n
j
kk
uuc
ϕ
. Trong đó u
k
= (x,y)
∈
Tập điểm
tâm,
ϕ
được chọn là hàm IMQ.
Cho thỏa mãn điều kiện nội suy ta được hệ n
2
phương trình, n
2
ẩn. Kết quả trong một số
lưới được cho trong bảng 1.1, với các sai số được định nghĩa như sau :
- Sai số tương đối :
- Sai số lớn nhất :
Bảng 1.1 Sai số nội suy hàm Frank với s = 3
Lưới IMQ MQ
Sai số tương đối Sai số lớn nhất Sai số tương đối Sai số lớn nhất
7 x 7 1.211536e-002 8.600572e-002 1.260168e-002 8.722025e-002
10 x 10 1.685702e-003 1.122684e-002 2.241647e-003 1.548224e-002

13 x 13 4.226489e-004 2.856954e-003 4.470312e-004 2.756763e-003
17 x 17 3.761833e-005 3.703740e-004 4.168475e-005 4.447710e-004
20 x 20 4.346574e-006 7.352464e-005 5.739650e-006 6.316986e-005
Chương 2 : ỨNG DỤNG HÀM RBF VÀO BÀI TOÁN KHÔI PHỤC VÀ BIỂU
DIỄN CÁC ĐỐI TƯỢNG 3D
2.1. Mở đầu.
Ngày nay với sự phát triển mạnh mẽ của công nghệ thông tin, con người đã ứng dụng
những thành tựu của nó trong rất nhiều lĩnh vực khác nhau. Máy tính đã trở thành một
công cụ hỗ trợ đắc lực cho con người trong việc xử lý dữ liệu một cách nhanh chóng và
chính xác.
Đồ họa máy tính là một lĩnh vực của khoa học máy tính nghiên cứu các phương pháp
và kỹ thuật biểu diễn và thao tác các dữ liệu số hóa của các vật thể trong thực tế. Lĩnh
vực này được phát triển dựa trên nền tảng của hình học họa hình, hình học tính toán, hình
học vi phân cùng nhiều kiến thức toán học của đại số và giải tích, cũng như các thành tựu
của phần cứng máy tính.
Trong đồ họa máy tính bài toán khôi phục và biểu diễn các đối tượng 3D là một trong
các bài toán cơ bản. Công cụ quan trọng để giải quyết bài toán này là lý thuyết nội suy
hàm số nhiều biến. Để nội suy hàm số từ một tập điểm đã biết thông thường người ta sử
dụng các hàm ghép trơn (spline) và các biến dạng của nó. Từ khoảng hai chục năm nay
người ta đã và đang phát triển một kỹ thuật nội suy mới có độ chính xác cao. Đó là nội
suy bởi hàm cơ sở bán kính (radial basis functions) viết tắt là RBF. Phương pháp nội suy
này đã được sử dụng trong nhiều lĩnh vực của CNTT như xử lý tín hiệu, xử lý ảnh và lý
thuyết điều khiển. Một số phần mềm về hàm RBF và các ứng dụng cũng đã được phát
triển.
2.2. Bài toán khôi phục và biểu diễn các đối tượng 3D
Khôi phục đối tượng 3D đã trở thành một nhu cầu cần thiết trong các lĩnh vực khác
nhau như: Tạo ảnh trong y học, các ứng dụng mỹ thuật, thiết kế sản phẩm, tạo nguyên
mẫu nhanh và trong các phạm vi khác. Việc tạo mô hình 3D bằng phương pháp thủ công
tốn nhiều thời gian và do vậy chi phí sẽ đắt đỏ. Vì lý do đó, các kỹ thuật đã và đang tiếp
tục được nghiên cứu, các kỹ thuật này cho phép khôi phục tự động các đối tượng 3D. Các

kỹ thuật này có thể chia thành 2 phương pháp: phương pháp chủ động và phương pháp bị
động . Nhược điểm của các phương pháp chủ động là quá trình khôi phục có thể trở thành
một công trình ngân sách cao. Vì lý do đó, cách tiếp cận được giới thiệu thuộc về các
phương pháp bị động, nó yêu cầu ít thiết bị hơn và có thể áp dụng một cách tổng quát
hơn.
Các phương pháp khôi phục các đối tượng 3D truyền thống không thực hiện tốt ở hai
hướng:
- Thứ nhất: Chúng không thể xử lý các trường hợp có độ phức tạp cao được tìm thấy
trong tự nhiên (Ví dụ: các bộ phận của con người hay các ảnh cực nhỏ của mô).
- Thứ hai: Chúng không đưa dữ liệu bề mặt vào một định dạng làm cho gọn và thích
hợp để mô phỏng, hiển thị hoặc định vị
Có 5 trường hợp khôi phục các đối tượng 3D. Trường hợp đầu tiên là với các ảnh
được chụp bằng máy ảnh không định cỡ, làm việc với loại ảnh này có thể khôi phục lại
đối tượng so sánh với các phép biến đổi ảnh xạ. Hai là, khôi phục từ các máy ảnh định cỡ
làm việc với loại ảnh này có thể khôi phục lại đối tượng so sánh với các phép biến đổi
đồng dạng. Ba là, các thuộc tính đại số của các hàm đa tuyến tính và các lý tưởng phát
sinh bởi chúng được nghiên cứu. Trường hợp thứ tư sử dụng kỹ thuật khôi phục Ơ-clít
khi một số thông tin của các máy ảnh được đưa ra. Trường hợp cuối cùng là khôi phục
một ảnh của một đối tượng hoặc bản vẽ nét được biết tới là mảnh 2 chiều.