Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài toán bình phương tối thiểu

<span class="text_page_counter">Trang 1</span><div class="page_container" data-page="1">

PHÂN HIỆU - TRƯỜNG ĐẠI HỌC LÂM NGHIỆP KHOA KHOA HỌC CƠ BẢN

BÁO CÁO

SINH HOẠT HỌC THUẬT KHOA HỌC NĂM HOC 2018 - 2019

Tên báo cáo:

ĐỊNH LÝ XẤP XỈ TỐI ƯU TRONG KHÔNG GIAN VECTƠ VÀ ỨNG DỤNG ỨNG DỤNG GIẢI BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU

Đơn vị quản lý: KHOA KHCB Báo cáo viên : LÊ ĐÌNH LƯƠNG

Đồng Nai, tháng 5 năm 2019

</div><span class="text_page_counter">Trang 2</span><div class="page_container" data-page="2">

TÊN BÁO CÁO:

Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài tốn bình phương tối thiểu

ĐẶT VẤN ĐỀ:

Trong toán học, bài tốn bình phương tối thiểu, còn gọi là bình phương nhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựa chọn một đường khớp nhất cho một dải dữ liệu ứng với cực trị của tổng bình phương các sai số giữa đường khớp và dữ liệu. Phương pháp này có nhiều ứng dụng trong toán tối ưu. Đặc biệt, các bài tốn liên quan đến hồi quy tuyến tính. Việc giải bài tốn trên, thơng thường, dựa vào cực trị của hàm nhiều biến. Tuy nhiên, dưới góc độ của đại số tuyến tính, chúng ta hồn tồn có thể giải bài tốn bình phương tối thiểu trên một cách khá nhẹ nhàng thơng qua việc áp dụng định lí xấp xỉ tối ưu.

Tại phân hiệu trường Đại học Lâm nghiệp, việc ứng dụng đại số tuyến tính giải bài toán này cho phép trang bị thêm cho người học một cơng cụ tốn học khá hữu hiệu để giải toán, đặc biệt là trong các bài toán hồi quy tuyến tính nhiều biến.

Với lí do trên, tác giả đề xuất trình bày chuyên đề sinh hoạt học thuật “Định lý xấp xỉ tối ưu trong không gian vectơ và ứng dụng ứng dụng giải bài tốn bình phương tối thiểu”

PHẦN 1: MỤC TIÊU, NỘI DUNG, PHƯƠNG PHÁP NGHIÊN CỨU 1. Mục tiêu của báo cáo:

Phổ biến cho người học và người dạy nội dung về phương pháp ứng dụng đại số tuyến tính (ma trận và hệ phương trình tuyến tính) giải bài tốn bình phương tối thiểu và ứng dụng của nó trong bài tốn bình phương tối thiểu.

2. Nội dung nghiên cứu: Phép chiếu trực giao trong không gian vectơ, bài tốn bình phương tối thiểu, bài tốn hồi quy tuyến tính đơn, hồi quy tuyến tính bội.

3. Đối tượng nghiên cứu: Đại số, giải tích và thống kê toán học. 4. Phương pháp nghiên cứu: Tham khảo tài liệu.

PHẦN 2. KẾT QUẢ NGHIÊN CỨU VÀ THẢO LUẬN 1. Kết quả nghiên cứu theo nội dung:

1.1 Tích trực giao

Để đi đến giải bài tốn bình phương tối thiểu, ta cần trang bị một số khái niệm và tính chất về trực giao trong khơng gian vectơ như sau:

1.1.1 Tích trong của các vectơ trong khơng gian ℝ<small>n</small>

</div><span class="text_page_counter">Trang 3</span><div class="page_container" data-page="3">

Định nghĩa 1: Cho u và v là các vectơ trong ℝ ,ta có thể xem u , v như là các ma trận cỡ nx1 trong trường số thực. Tích trong của chúng, kí hiệu là u . v, là một số thực được định nghĩa như sau : <small> 1</small>

Ta dễ dàng kiểm tra các tính chất sau:

Định lí 1: Cho u, v và w là các vectơ trong ℝⁿ, a là một đại lượng vơ hướng. Khi đó:

(1) u . v=v . u

(2) (u+v). w= u . w+ v . w (3) (au). v= a(u . v)= u .(av) (4) u . u≥0, u .u=0⇔u=0

1.1.2 Độ dài của vectơ, khoảng cách giữa các vectơ

Sử dụng khái niệm tích trong, ta xây dựng độ dài của vectơ như sau:

Định nghĩa 2: Cho u là một vectơ trong ℝⁿ,độ dài của u là một số thực, kí hiệu là ǁuǁ, và được định nghĩa như sau:

ǁuǁ=

√

u .u Từ định nghĩa trên, ta dễ dàng có định lí sau: Định lí 1.2: Cho u và v là hai vectơ trong ℝ<small>n</small>

</div><span class="text_page_counter">Trang 4</span><div class="page_container" data-page="4">

Ngồi ra, để tính ǁu ± vǁ,trước hết ta tính w= u ± vrồi tính ǁwǁ. Định nghĩa 3: Cho uvà u là các vectơ trong ℝ<small>n</small>

.Khoảng cách giữa hai vectơ u và v, khí hiệu là dist(u , v), là độ dài của hiệu hai vectơ đó.

dist(u , v)=ǁu − vǁ 1.1.3 Các vectơ trực giao, các tập trực giao.

Định nghĩa 4: Hai vectơ u và v trong ℝ<small>n</small> được gọi là trực giao với nhau, kí hiệu là u⊥v , nếu tích trong của chúng bằng 0.

Định lí 3: (Định lí Pythagore) u⊥v⇔ǁu+vǁ<small>2</small>

Định lí được suy ra trực tiếp từ định nghĩa 1.4 và định lí 1.2. Định nghĩa 5: Cho W là một không gian vectơ con của ℝ<small>n</small>

.Vec tơ u thuộc ℝ<small>n</small>

được gọi là trực giao với W, kí hiệu là u⊥W , nếu u trực giao với mọi vectơ x thuộc W . Tập hợp các vectơ trong ℝ<small>n</small>trực giao với W được gọi là phần bù trực giao của W trong ℝ<small>n</small>và được kí hiệu là W<small>o</small>

Định nghĩa 6: Một tập các vectơ S ={u_1,u_2,… , u_k} trong ℝ<small>n</small>được gọi là một tập hợp trực giao nếu hai vectơ bất kỳ, phân biệt thuộc S trực giao với nhau. Khi đó:

Nếu S là một cơ sở của khơng gian con W của ℝ<small>n</small>thì S được gọi là mộ cơ sở trực của W.

Nếu S là một cơ sở trực giao của W và

ǁ

u

ǁ

_i=1 với mọi i= 1, k thì S được gọi là một cơ sở trực chuẩn của W. Khi đó mỗi vectơ thuộc S đều gọi là vectơ đơn vị.

Nhận xét 1: Mỗi tập hợp trực giao gồm các vectơ khác khơng của ℝ<small>n</small> là một tập độc lập tuyến tính.

Định lí 4: Cho W là một khơng gian vectơ con của ℝ<small>n</small>và S={u_{1 ,}u<small>2 ,</small>… , u<small>k</small>}là một cơ sở trực giao của W. Khi đó, với mỗi y∈Wcó được biểu diễn tổ hợp tuyến tính duy nhất của S với

</div><span class="text_page_counter">Trang 5</span><div class="page_container" data-page="5">

u<small>1</small>.u<small>2</small>= u<small>1</small>. u<small>3</small>= u<small>2</small>. u<small>3</small>= 0nên tậpS={u_{1 ,}u_{2 ,}u<small>3</small>}là tập trực giao. Hơp nữa, vì các vectơ này đều khác 0 nên chúng tạo nên một cơ sở trực giao của _ℝ<small>3</small>

</div><span class="text_page_counter">Trang 6</span><div class="page_container" data-page="6">

Chứng minh: Đặt u=

∑

y . u_i u<small>i</small>.u<small>i</small>

W . ta chỉ cần chỉ ra v∈ W^0. Thực vậy, với mỗi j=1,2,…,k ta có

Định nghĩa 1.7: Thành phân vectơ u của y được xác định trong định lí 1.5 được gọi là hình chiếu trực giao của y vào W, kí hiệu là proj<small>W</small>y

Ta nhận thấy rằng với mỗi y∈ℝⁿ và khơng gian con W = span (S) thì proj<small>W</small>y là duy nhất. Hơn nữa, nếu y∈W thì proj<small>W</small>y= y .

Cho ma trận A=[ a_ij]<small>mxn</small> trên trường số thực. Nếu ta xem mỗi cột của A là một vectơ trong ℝ<small>m</small> thì A như là một bộ gồm n vectơ trong ℝ<small>m</small> và ta viết

A=

[

u₁ u₂ ... u_n

]

với u_i=

[

a<small>1 i</small>

a_{2 i} ...

a<small>mi</small>

]

, (i= 1,2,... n). Như vậy ta có thể xét tính trực giao của A như sau:

Định nghĩa 8: Ma trận A=[ a_ij]_mxn được gọi là có các cột trực giao nếu {u<small>i</small>}<small>i= 1</small>

<small>n</small> là một cơ sở trực giao trong ℝ<small>n</small>

Định lí 6: Ma trận A được xác định như trong Định nghĩa 1.8 có các cột trực giao khi và chỉ khi A<small>T</small>

thành I_n.

Chứng minh:

</div><span class="text_page_counter">Trang 7</span><div class="page_container" data-page="7">

Vậy nên, nếu A^TA= E<small>n</small> thì u_i.u_j= 0 với mọi i≠ j và u_i.u_i=e_ii≠0

nhiên A<small>T</small>

A= E<small>n</small>.

Từ Định lí 6, ta rút ra tính chất quan trọng sau:

Định lí 7: Cho A=[ a<small>ij</small>]_nxm với các cột trực giao thõa mãn A^TA=I_n thì với mọi vectơ x và y trong ℝ<small>n</small>

ǁ yư uǁ≤ǁ yư vǁ với mọi v∈W . Dấu đẳng thức xãy ra khi và chì khi u= v

Chứng minh: Vì y ư v =( y ư u)+(uư v ) nên ta có uưv ∈W và yưu∈W<small>0</small>

nên theo định lí Pythagore, ta có

ǁ yư vǁ<small>2</small>=ǁ y ư uǁ<small>2</small>+ǁ u ư vǁ<small>2</small>

Từ đó, ta có điều phải chứng minh. Hơn nữa, từ kết quả của phép phân tích trực giao thì u là duy nhất.

1.2.2 Nghiệm bình phương tối thiểu

Định nghĩa 1.9: Nếu A là một ma trện cỡ mxn và b là vectơ trong

</div><span class="text_page_counter">Trang 8</span><div class="page_container" data-page="8">

Ta cần xác định ^x∈ ColA như vậy sao cho A^x là ảnh của phép chiếu trực giao b lên ColA . Đặt ^b= proj<small>ColA</small>b thì ^x là nghiệm của phương trình:

A x=^b (1)

Giả sử (1) có một nghiệm ^x thõa mãn A ^x=^b . Vì b−^b trực giao với ColA nên A ^x=^b khi và chỉ khi b− A ^x trực giao với các cột của A . Điều đó tương đương với được gọi là phương trình chuẩn). Từ đó, ta có định lí sau:

Tập nghiệm bình phương tối thiểu của phương trình

. Kí hiệu dist( y , W ) là khoảng cách giữa y và W thì ta có dist( y , W )=ǁ y− uǁ với u proj= <small>W</small>y

1.2.3.2 Bài tốn bình phương tối thiểu

Giả sử từ các kết quả thực nghiệm về hai đại lượng X và Y cho ta các kết quả như sau:

</div><span class="text_page_counter">Trang 9</span><div class="page_container" data-page="9">

Từ một hệ hàm cơ sở {f<small>1</small>( x), f<small>2</small>(x ), … , f<small>n</small>(x)} ta cần tìm các hệ số {a<small>1</small>, a<small>2</small>, … , a<small>n</small>} sao cho hàm số f(x)=

∑

<small>i=1n</small>

a<small>i</small>f<small>i</small>(x) cực tiểu hóa tổng bình phương các khoảng cách từ y<small>j</small> tới đường cong f( x) . Tức là

∑

<small>i= 1n</small>

(dist { y<small>i</small>, f(x )})<small>2</small> đạt cực tiểu. Để giải bài toán trên, ta đặt A=[ a<small>ij</small>]<small>mxn</small> với a<small>ij</small>=f<small>i</small>(x<small>j</small>). x=[ a<small>i</small>]<small>nx1</small> và

đó, ^x được chọn thõa mãn bài toán khi và chỉ khi A^x là hình chiếu trực giao của b trên f (x ). Vậy x là nghiệm bình phương tối thiểu của hệ phương trình

Ví dụ 1.5: Tìm đường thẳng dạng f(x)= a₀+ a₁x xấp xỉ bình phương tối thiểu các

Ví dụ 1.6: Tìm đường cong dạng f(x)=a<small>0</small>+a<small>1</small>x+a<small>2</small>x² xấp xỉ bình phương tối thiểu các điểm dữ liệu :

</div><span class="text_page_counter">Trang 10</span><div class="page_container" data-page="10">

Đường thẳng trên có hệ hàm cơ sở là {1 , x , x<small>2</small>

1.2.3.3 Mơ hình hồi quy tuyến tính nhiều biến.

Khi nghiên cứu mối quan hệ giữa biến phụ thuộc Y và các biến độc lập X₁, X₂,… , X<small>k−1</small>. Dựa trên n bộ số liệu quan sát {(Y<small>i</small>, X<small>1 i</small>,..., X<small>( k− 1)i</small>)}_{i= 1}<small>n</small> người ta lập hàm hồi quy tuyến tính tổng thể (PRF) dạng ngẫu nhiên ứng với từng số liệu quan sát

</div>