Giá trị tới hạn tại vô hạn của ánh xạ đa thức và ánh xạ hữu tỷ với thớ một chiều

..

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Vũ Tiến Dũng

GIẢI HỆ PHƯƠNG TRÌNH
KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU
TRÊN BĨ MÁY TÍNH

LUẬN ÁN TIẾN SĨ TỐN HỌC

Hà Nội - 2014


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Vũ Tiến Dũng

GIẢI HỆ PHƯƠNG TRÌNH
KÍCH THƯỚC LỚN VÀ ĐIỀU KIỆN XẤU
TRÊN BĨ MÁY TÍNH
Chun ngành: Bảo đảm tốn học cho máy tính và hệ thống tính tốn
Mã số: 62 46 35 01

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Người hướng dẫn khoa học:
GS.TSKH. PHẠM KỲ ANH

Hà Nội - 2014


LỜI CAM ĐOAN

Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi dưới sự
hướng dẫn của GS. Phạm Kỳ Anh. Các số liệu, kết quả trình bày trong luận án
là trung thực và chưa từng được ai cơng bố trong bất kỳ cơng trình nào khác.
Nghiên cứu sinh

Vũ Tiến Dũng

i


LỜI CẢM ƠN
Trước hết tôi xin gửi lời cảm ơn chân thành và sâu sắc tới Thầy hướng dẫn,
GS. TSKH. Phạm Kỳ Anh. Trong suốt quá trình thực hiện luận án, tơi ln nhận
được sự giúp đỡ tận tình, q báu của Thầy. Nhờ những ý tưởng mà Thầy đã gợi
ý, những góp ý, hướng dẫn của Thầy, những tài liệu bổ ích mà Thầy đã cung cấp
cũng như những cuộc trao đổi thú vị cùng Thầy về công việc nghiên cứu, tơi đã
hồn thành đề tài của mình. Và hơn cả, trong suốt quá trình học tập trước đây và
trong q trình thực hiện luận án, tơi ln cảm nhận được tình thương quý, tin
yêu của thầy giành cho tơi, sự động viên khích lệ của thầy khi tơi gặp khó khăn
tạo động lực cho tơi vững tin thực hiện q trình nghiên cứu. Đối với cá nhân
tơi, thầy không chỉ đơn thuần là người hướng dẫn khoa học mà cịn là người cha
thứ hai của tơi.
Tơi xin chân thành cảm ơn các thầy cô và anh chị em trong Bộ mơn Tin học,
Khoa Tốn-Cơ-Tin học, đặc biệt GS TS Đặng Huy Ruận, PGS TS Nguyễn Hữu

Ngự, PGS TS Đỗ Trung Tuấn, PGS TS Lê Trọng Vĩnh, TS Nguyễn Thị Minh
Huyền, đã luôn chia sẻ, động viên, tạo điều kiện thu xếp công việc thuận lợi,
giúp đỡ tôi rất nhiều trong việc hồn thành luận án này.
Tơi xin chân thành cảm ơn các thầy cô, các anh chị và các bạn trong Xemina
"Tốn học tính tốn" về những thảo luận và góp ý trong các buổi Xemina. Đặc
biệt, tơi xin chân thành cảm ơn GS TSKH Nguyễn Hữu Công, PGS TSKH Vũ
Hoàng Linh, PGS TS Nguyễn Hữu Điển, GS TS Đặng Quang Á, PGS TSKH
Phạm Huy Điển, PGS TS Nguyễn Minh Tuấn, TS Nguyễn Trung Hiếu đã giúp
đỡ, góp những ý kiến xác đáng để luận án được hoàn thiện hơn.
Tôi xin chân thành cảm ơn các thầy và anh chị em trong Trung tâm Tính
tốn Hiệu năng cao, ĐHKHTN, ĐHQG Hà Nội. Trong suốt thời gian học tập
trước đây và quá trình nghiên cứu sinh, Trung tâm đã tạo điều kiện cho tơi được
tìm hiểu tiếp cận các phương tiện, máy móc và tạo mơi trường làm việc thuận
lợi để tơi có thể thực hiện đề tài của mình.
Tơi cũng rất biết ơn Trường ĐHKHTN, ĐHQG Hà Nội. Công tác quản lý
đào tạo và môi trường nghiên cứu của Trường đã góp phần khơng nhỏ để cho
luận án này được hoàn thành đúng dự định.
Xin chân thành cảm ơn TS Cao Văn Chung, Lê Trung Kiên, Nguyễn Trung
ii


Kiên, Nguyễn Thị Thanh Lan, Vũ Anh Mỹ, Đặng Văn Hiếu và các bạn khác,
những người đã chia sẻ, giúp đỡ về nhiều mặt, để tơi có thể hồn thành q trình
nghiên cứu của mình.
Tơi xin gửi lời cảm ơn tới Quỹ Phát triển Khoa học Công nghệ Quốc gia Việt
Nam (NAFOSTED). Luận án này được hỗ trợ một phần về mặt tài chính bởi
Quỹ, trong khn khổ Đề tài Nghiên cứu khoa học cơ bản mã số 101.02.4209.
Cuối cùng, tơi muốn bày tỏ lịng biết ơn sâu sắc tới mẹ và những người thân
trong gia đình, những người đã cảm thơng và chia sẻ mọi khó khăn cùng tơi
trong suốt những năm tháng qua để tơi có thể hồn thành luận án. Luận án này,

và những gì tơi đang cố gắng thực hiện, là để gửi tới cha, mẹ, vợ và những người
thân trong gia đình, với tất cả lòng biết ơn sâu sắc nhất.

iii


Mục lục
Lời cam đoan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

i

Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ii

Danh mục các ký hiệu và chữ viết tắt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

viii

Danh mục các bảng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

x

Danh mục các hình vẽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

xi

Mở đầu

1

..............................................................

Chương 1. Kiến thức chuẩn bị . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.1. Ngun lý tính tốn song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.1.1. Kiến trúc máy tính song song . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

1.1.2. Lập trình song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

1.1.3. Đánh giá hiệu quả của tính tốn song song . . . . . . . . . . . . . . . .

23

1.2. Bài tốn kích thước lớn, điều kiện xấu và bài tốn đặt khơng chỉnh

24

1.2.1. Bài tốn kích thước lớn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

1.2.2. Bài tốn đặt khơng chỉnh và bài toán điều kiện xấu . . . . . . . . .

27

1.2.3. Một số phương pháp hiệu chỉnh . . . . . . . . . . . . . . . . . . . . . . . . . .

30

1.2.4. Quy trình giải một bài tốn kích thước lớn và điều kiện xấu trên bó
máy tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

1.2.5. Một số phương pháp tuần tự và song song giải hệ phương trình
tốn tử . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iv

33


Chương 2. Phương pháp song song giải hệ phương trình tốn tử tuyến tính và ứng
dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.1. Phương pháp chỉnh lặp song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.2. Giải hệ phương trình đại số tuyến tính q xác định và ứng dụng trong

bài tốn khơi phục ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

2.2.1. Phương pháp chỉnh lặp hiện song song và chỉnh lặp ẩn song song
cho hệ phương trình đại số tuyến tính quá xác định . . . . . . . . . . . . . . .

39

2.2.2. Ước lượng sai số của phương pháp . . . . . . . . . . . . . . . . . . . . . . . .

43

2.3. Thử nghiệm số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2.3.1. Giải hệ phương trình đại số tuyến tính q xác định . . . . . . . .

46

2.3.2. Bài tốn khơi phục ảnh đa cấp xám . . . . . . . . . . . . . . . . . . . . . . .

52

2.4. Phương pháp song song toàn phần giải một lớp phương trình đạo hàm
riêng đại số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61

2.4.1. Phân rã bài toán biên cho phương trình đạo hàm riêng đại số thành
bài tốn biên cho phương trình elliptic và phương trình parabolic . .

62

2.4.2. Phương pháp phân rã song song giải bài tốn biên cho phương trình
elliptic và parabolic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

2.4.3. Thử nghiệm số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

70

Chương 3. Phương pháp chỉnh lặp Gauss-Newton song song giải hệ phương trình
tốn tử phi tuyến và ứng dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.1. Phương pháp chỉnh lặp Gauss-Newton và phương pháp chỉnh lặp Gauss
-Newton song song . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

76

3.2. Sự hội tụ của phương pháp chỉnh lặp Gauss-Newton song song . . . .

80

3.3. Áp dụng cho hệ phi tuyến dưới xác định . . . . . . . . . . . . . . . . . . . . . . . .

86

3.4. Hệ phương trình có cấu trúc thưa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92

v


3.5. Mối liên hệ giữa phương pháp chỉnh lặp Gauss-Newton song song
và các phương pháp chỉnh lặp song song . . . . . . . . . . . . . . . . . . . . . . . .

95

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

97

Danh mục cơng trình khoa học của tác giả liên quan đến luận án

99

......

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

vi

100


Danh mục các ký hiệu và

chữ viết tắt
·, ·

Tích vơ hướng (hoặc tích đối ngẫu).

x

Chuẩn của véc tơ x.

D

Chuẩn của ma trận D.

F (x)

Đạo hàm Frechet của F tại điểm x.

cond(A)

Số điều kiện của ma trận A.

>>

Ký hiệu lớn hơn nhiều.

AT

Ma trận chuyển vị của ma trận A.

Toeplitz

Ma trận Toeplitz.

vec(F)

Phép dãn ma trận F thành véc tơ.

⊗

Tích Kronecker.

A

Tốn tử liên hợp của tốn tử A.

H

Khơng gian Hilbert.

PIIRM (PEIRM) Phương pháp chỉnh lặp ẩn (hiện) song song.
PEIRMm

Phương pháp PEIRM với m bước lặp trong.

IRGNM

Phương pháp chỉnh lặp Gauss Newton.

PIRGNM

Phương pháp chỉnh lặp song song Gauss Newton.

PSU

Phương pháp phân rã song song.

PFS

Phương pháp song song với bước phân.

LW

Phương pháp lặp Landweber.

TSVD

Phương pháp khai triển kỳ dị chặt cụt.

CGLS

Phương pháp bình phương tối thiểu gradient liên hợp.

x†

Nghiệm của hệ phương trình.

vii


IVP

Bài toán giá trị ban đầu.

BVP

Bài toán biên.

xnδ

Nghiệm xấp xỉ thứ n của x† .

TOL(REN = T OL/ x† ) Sai số (Sai số tương đối).
nmax

Tổng số bước lặp.

nmin

Số n nhỏ nhất khi sai số tương đối (REN) của phương
pháp tương ứng nhỏ hơn một giá trị cho trước.

span(Vk )

Không gian con sinh bởi tập k véc tơ
Vk = {v1 , . . . , vk }.

IBVP

Bài toán biên - ban đầu.

Tp (Ts )

Thời gian (giây) khi chạy song song (tuần tự).

S p = Ts /Tp (E p = S p /N)

Tỷ lệ tăng tốc độ (Hiệu suất trung bình mỗi CPU).

SISD

Đơn lệnh, đơn dòng dữ liệu.

SIMD

Đơn lệnh, đa dòng dữ liệu.

MISD

Đa lệnh, đơn dòng dữ liệu.

MIMD

Đa lệnh, đa dòng dữ liệu.

VPU

Bộ xử lý véc tơ.

SM_MIMD

Kiến trúc máy tính đa lệnh, đa dòng dữ liệu
với bộ nhớ chia sẻ.

DM_MIMD

Kiến trúc máy tính đa lệnh, đa dịng dữ liệu
với bộ nhớ phân tán.

UMA

Kiến trúc máy tính song song với bộ nhớ chia sẻ
truy cập ngang quyền.

SMP

Máy tính đa bộ xử lý đối xứng.

NUMA

Kiến trúc máy tính song song với bộ nhớ chia sẻ
truy cập không ngang quyền.

GPU

Đơn vị xử lý đồ họa.

CUDA

Kiến trúc thiết bị tính tốn hợp nhất.

viii


Danh mục các bảng
Chương 2.

2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
2.14

Sai số tương đối của PIIRM và PEIRM theo số bước lặp . . .
Sai số tương đối của PIIRM và PEIRM theo số bước lặp . . .
Sai số tương đối của PIIRM, PEIRM và LW theo số bước lặp
Sai số tương đối của PIIRM, PEIRM và LW theo số bước lặp
Hệ số tăng tốc và Hiệu suất thực thi các phương pháp. . . . .
Thời gian thực hiện thuận toán cải tiến và PEIRM1 . . . . . .
Hệ số tăng tốc và hiệu suất của phương pháp PEIRM1 . . . .
Kết quả với tỷ lệ hτ2 không đổi . . . . . . . . . . . . . . . . . .
Hệ số tăng tốc và hiệu suất của phương pháp PFS . . . . . . .

Thời gian thực thi phương pháp PSU . . . . . . . . . . . . . .
Tốc độ và hiệu suất trên một node tính tốn . . . . . . . . . .
Tốc độ và hiệu suất trên một node tính toán . . . . . . . . . .
Số các phép lặp . . . . . . . . . . . . . . . . . . . . . . . . . .
Thời gian thực hiện . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.

. 48
. 49
. 51
. 52
. 52
. 60
. 60
. 71
. 72

. 72
. 73
. 73
. 73
. 74

Chương 3.

3.1
3.2
3.3
3.4
3.5
3.6

Sai số tương đối và thời gian thực hiện chương trình tuần tự với
η = 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chỉ số dừng của phương pháp PIRGNM với η = 0.02. . . . . . .
Hiệu suất và tốc độ của phương pháp PIRGNM . . . . . . . . .
Sai số tương đối và thời gian thực hiện chương trình tuần tự với
η = 0.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Chỉ số dừng của phương pháp PIRGNM với η = 0.02. . . . . . .
Kết quả nhận được của hai phương pháp với cùng một số bước
lặp cố định. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ix

. . . 90
. . . 90
. . . 90

. . . 91
. . . 91
. . . 94


3.7

Hiệu suất và tốc độ của phương pháp PIRGNM trên bó máy tính
IBM 1350 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

x


Danh mục các hình vẽ
Chương 1.

1.1
1.2
1.3
1.4
1.5

Kiến trúc của máy tính với bộ xử lý mảng . .
UMA . . . . . . . . . . . . . . . . . . . . . . .
NUMA . . . . . . . . . . . . . . . . . . . . . .
Máy tính với bộ nhớ phân tán . . . . . . . . .
Kiến trúc bó máy tính IBM1350 và IBM1600.

.
.

.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.

.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.

.
.
.

.
.
.
.
.

. 15
. 17
. 18
. 19
. 21

Sai số tương đối của phương pháp PIIRM và PEIRM. . . . . .
Sai số tương đối của PIIRM và PEIRM. . . . . . . . . . . . .
Sai số tương đối của phương pháp PIIRM, PEIRM và LW. . .
Sai số tương đối của các phương pháp PIIRM, PEIRM và LW.
Ảnh nhiễu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh khôi phục . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh khôi phục . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh gốc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh nhiễu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh khôi phục . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh khôi phục . . . . . . . . . . . . . . . . . . . . . . . . . .
Ảnh gốc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.

. 48
. 49
. 50
. 51
. 58
. 58
. 58
. 58
. 59
. 59
. 59
. 59

Chương 2.

2.1
2.2
2.3
2.4
2.5
2.6
2.7

2.8
2.9
2.10
2.11
2.12

xi


Mở đầu
Nhiều vấn đề trong các lĩnh vực khai phá dữ liệu, chuẩn đốn bệnh bằng
hình ảnh, tìm kiếm và bào chế dược phẩm đặc dụng, công nghệ đa phương tiện,
phát triển đồ họa và thực tại ảo, dự báo thời tiết, cảnh báo động đất, sóng thần,
vv..., địi hỏi phải thực hiện một khối lượng tính tốn khổng lồ với lượng dữ liệu
rất lớn trong thời hạn quy định. Những bài tốn này khơng thể giải được trên
những máy tính đơn lẻ, với bộ nhớ hạn chế.
Ví dụ như khi giải bài toán giá trị biên-ban đầu cho phương trình thủy-nhiệtđộng học để dự báo trạng thái của khí quyển cho ngày hơm sau, nhưng do năng
lực máy tính hạn chế, nên tính tốn phải cần 10 ngày thì kết quả thu được sẽ mất
hết ý nghĩa.
Để giải quyết các bài tốn có khối lượng tính tốn rất lớn, người ta thường
sử dụng những thuật toán song song trên các máy tính hiệu năng cao. Tính tốn
song song liên quan đến các vấn đề sau:
1) hệ thống máy tính song song,
2) các cơng cụ phần mềm lập trình song song,
3) các thuật toán song song.
Sau đây chúng ta sẽ đề cập đến ba vấn đề nêu trên.
Tính tốn song song [13] là hình thức tính tốn trong đó nhiều phép tính
được thực hiện đồng thời; nó hoạt động trên nguyên tắc là những vấn đề lớn đều
có thể chia thành nhiều phần nhỏ hơn, sau đó được giải quyết tương tranh. Tính
tốn song song có ưu điểm tiết kiệm thời gian và bộ nhớ, do đó nó có thể giải

quyết thành công các vấn đề rất phức tạp trong thực tế.
Máy tính song song sử dụng đồng thời nhiều bộ xử lý để giải quyết những
thành phần khác nhau của một bài toán. Như vậy thời gian giải bài toán sẽ được
1


giảm đi. Theo lý thuyết, trong trường hợp lý tưởng nếu có n bộ xử lý thì thời
gian giải quyết vấn đề sẽ giảm đi n lần so với dùng một bộ xử lý. Tuy nhiên, thời
gian giải quyết trong thực tế sẽ lớn hơn thời gian lý tưởng tính trên lý thuyết do
nhiều nguyên nhân. Thứ nhất là ngoài thời gian xử lý bài tốn thì cịn thời gian
đồng bộ và giao tiếp giữa các công việc xử lý song song. Thứ hai là khơng phải
bài tốn nào cũng có thể chia thành n phần nhỏ bằng nhau để giao cho các bộ
xử lý. Nguyên nhân thứ hai phải khắc phục bằng cách xây dựng các giải thuật
khả song song hợp lý. Đối với nguyên nhân thứ nhất thì ngoài việc chú ý đến
giải thuật giải quyết vấn đề, ta nên chú ý đến khả năng truyền dữ liệu trong hệ
thống máy tính. Như vậy hiệu quả của việc xây dựng một ứng dụng song song
không chỉ phụ thuộc vào giải thuật giải quyết mà còn phụ thuộc nhiều vào hệ
thống máy tính.
Các hệ thống máy tính song song lần lượt ra đời với nhiều kiến trúc và kỹ
thuật xây dựng khác nhau. Hiện tại, các máy tính song song có thể tạm chia làm
các loại sau [67]:
i. Máy tính song song dùng chung bộ nhớ với bộ xử lý đa lõi (Multicores
computers) hoặc với các bộ xử lý đối xứng.
ii. Hệ thống máy tính song song quy mơ lớn với bộ nhớ phân tán (Massively
parallel systems) dựa trên hệ thống mạng tốc độ cao. Ví dụ như IntelParagon, IBM 6000/SP, Cray T3E, vv. . .
iii. Các trạm làm việc liên kết qua đường mạng (Network of workstation).
Phần quan trọng quyết định xu hướng của tính tốn hiệu năng cao liên quan
đến vấn đề xây dựng các siêu máy tính và các phần mềm chạy trên nó. Ở vào
thời điểm năm 1980, một siêu máy tính phải là máy tính có khả năng tính tốn
trên 100 Mflops (Mflops: triệu phép tốn thực trên giây) nhưng ngày nay một

máy tính cá nhân cũng có khả năng tính tốn mạnh hơn thế.
Vấn đề rất được quan tâm là làm sao xây dựng được các siêu máy tính có
năng lực tính tốn mạnh nhưng giá thành lại thấp. Phương án liên kết các máy
tính cá nhân qua đường mạng theo dạng (iii) đã và đang là giải pháp được lựa
chọn hiện nay, vì có tỉ lệ giữa giá cả và độ hiệu quả tốt hơn so với các máy tính
đa bộ xử lý. Tuy nhiên, trong các ứng dụng song song, thời gian truyền dữ liệu
cũng được quan tâm như thời gian tính tốn. Vì vậy, các hệ thống bó máy tính
được xây dựng dựa trên việc liên kết các đơn vị tính tốn (computing units) qua
2


bộ chuyển mạch tốc độ cao, nhằm bảo đảm tốc độ truyền dữ liệu giữa các nút
tính tốn mà vẫn khơng tăng giá thành tồn hệ thống.
Vì lý do nói trên, hướng nghiên cứu xây dựng bó máy tính và mơ hình tính
tốn cụm được phát triển mạnh từ hơn thập kỷ qua. Một vấn đề quan trọng khi
thiết lập hệ thống này là xây dựng phần mềm quản lý tài nguyên, phân bổ công
việc, quản lý công việc, giám sát, vv. . . Các phần mềm hệ thống này giúp chúng
ta sử dụng dễ dàng và hiệu quả tài nguyên trong hệ thống.
Gần đây, nhu cầu giải quyết các bài toán thật lớn trong thực tế dẫn đến việc
liên kết các trung tâm máy tính mạnh lại với nhau. Sự hợp tác trong công việc,
cùng chia sẻ tài nguyên giữa các cơ quan cũng thúc đẩy ra đời một mơ hình hệ
thống máy tính mạnh mới là lưới tính tốn (Grid Computing) và hướng tính tốn
mạng lưới. Lưới tính toán [14] là một hệ thống cho phép chia sẻ, lựa chọn và
kết hợp các tài nguyên độc lập, rải rác ở nhiều nơi khác nhau để thực thi chương
trình tùy thuộc vào tính sẵn sàng, khả năng đáp ứng, độ hiệu quả, giá cả và các
yêu cầu về dịch vụ của người sử dụng.
Trong thời gian gần đây, tính toán đa năng trên các đơn vị xử lý đồ họa
(GPU) là một hướng nghiên cứu mạnh trong kỹ thuật máy tính. GPUs là các bộ
xử lý đồng bộ được tối ưu hóa mạnh cho việc xử lý đồ họa máy tính.
Tùy thuộc vào các kiến trúc máy tính song song chúng ta có các mơ hình lập

trình song song phù hợp. Một mơ hình lập trình song song sử dụng một tập hợp
các kỹ thuật phần mềm để thể hiện các giải thuật song song và đưa ứng dụng
vào thực hiện trong hệ thống song song. Mơ hình bao gồm các ứng dụng, ngôn
ngữ, bộ biên dịch, thư viện. Trong thực tế, chưa có một máy tính song song nào
cũng như cách phân chia công việc cho các bộ xử lý nào có thể áp dụng có hiệu
quả cho mọi bài tốn. Do đó, người lập trình phải lựa chọn chính xác mơ hình
lập trình song song hoặc pha trộn các mơ hình đó để phát triển các ứng dụng
song song trên một hệ thống riêng biệt. Hiện nay có rất nhiều mơ hình lập trình
song song: mơ hình đa luồng (Threads), mơ hình truyền thơng điệp (Message
Passing), mơ hình song song dữ liệu (Data Parallel) và mơ hình lai (Hybird)
được phát triển phù hợp với các kiến trúc của máy tính song song.
Đối với các kiến trúc máy tính song song có bộ nhớ chia sẻ, mơ hình lập trình
song song đa luồng thường được lựa chọn dựa trên chuẩn đang được sử dụng
rộng rãi nhất để phát triển các chương trình song song là OpenMP (Open MultiProcessing). Q trình song song hóa chương trình với OpenMP được thực hiện
bằng cách chèn vào trong mã nguồn các định hướng biên dịch (directive hoặc
3


pragmas). OpenMP có thể hỗ trợ các ngơn ngữ thuộc dòng Fortran (Fortran
77/90/95) và C, C++.
Với các kiến trúc máy tính song song có bộ nhớ phân tán, mơ hình lập trình
truyền thơng điệp (Message Passing) với hai thư viện tiêu biểu: PVM (Parallel
Virtual Machine) và MPI (Message Passing Interface) thường được sử dụng để
phát triển các ứng dụng song song. Mơ hình lập trình truyền thơng điệp cịn được
nghiên cứu áp dụng cho các hệ thống có bộ nhớ dùng chung (ví dụ như các hệ
thống Nec SX-6, Cray SV1ex). Hiện nay, PVM đã khơng cịn được tập trung
phát triển. Trong khi đó, MPI ngày càng nhận được sự chú ý của các nhà cung
cấp với các phiên bản LAM/MPI, MPICH. Trong tương lai không xa, phiên bản
thống nhất OpenMPI của cộng đồng mã nguồn mở (MPI Forum) được xem là
có nhiều triển vọng.

Bộ cơng cụ Globus Toolkit là bộ phần mềm mã nguồn mở, được sử dụng
phổ biến để xây dựng các hệ thống tính tốn lưới và các ứng dụng trên lưới tính
tốn.
Để tính tốn song song trên các đơn vị xử lý đồ họa (GPU), người ta sử dụng
kiến trúc tính tốn song song CUDA (Compute Unified Device Architecture Kiến trúc thiết bị tính tốn hợp nhất) do NVIDIA phát triển. Lập trình viên có
thể sử dụng ngơn ngữ C for CUDA, dùng trình biên dịch PathScale Open64 C,
để cài đặt các thuật toán chạy trên GPU. Kiến trúc CUDA hỗ trợ mọi chức năng
tính tốn thơng qua ngơn ngữ C. Ngồi ra CUDA cũng hỗ trợ các ngôn ngữ
Python, Fortran, Java và MATLAB. CUDA cho phép các nhà phát triển truy
nhập vào tập các chỉ lệnh ảo và bộ nhớ của các phần tử tính toán song song
trong đơn vị xử lý đồ họa của CUDA (CUDA GPU). Sử dụng CUDA, các GPU
mới nhất do NVIDIA sản xuất có thể dễ dàng thực hiện các tính tốn như những
CPU.
Nói chung, các thuật tốn tuần tự đều khơng khai thác tốt được hiệu năng
của máy tính song song. Cùng với sự phát triển của các kiến trúc máy tính song
song, vấn đề cấp thiết được nhiều nhà khoa học trong nước cũng như trên thế
giới quan tâm là phát triển các thuật toán song song.
Luận án này nghiên cứu một số phương pháp song song giải hệ phương trình
tuyến tính hoặc phi tuyến kích thước lớn và điều kiện xấu. Xét bài toán:
F(x) = y,

4

(1)


trong đó F là ánh xạ đưa khơng gian tuyến tính định chuẩn X vào khơng gian
tuyến tính định chuẩn Y, còn y ∈ Y là dữ liệu đã cho trên bó máy tính.
Một hệ phương trình điều kiện xấu và kích thước lớn được hiểu theo nghĩa
sau:

• Hệ phương trình tuyến tính được gọi là điều kiện xấu nếu một sai số nhỏ

của vế phải hoặc của ma trận hệ số có thể gây nên sai số rất lớn ở nghiệm.
• Hệ phương trình phi tuyến là điều kiện xấu nếu ma trận Jacobi của vế phải

"gần suy biến" tại một số bước lặp nào đó [35].
Ngồi tính chất điều kiện xấu, chúng ta còn quan tâm đến các hệ có kích thước
lớn theo nghĩa số biến và số phương trình, cũng như khối lượng tính tốn và bộ
nhớ lưu trữ lớn.
Ta đã biết, nhiều bài toán của khoa học, công nghệ, kinh tế, sinh thái, vv...
đưa về hệ phương trình vi phân thường, phương trình đạo hàm riêng và tích
phân. Việc giải các bài tốn bằng phương pháp rời rạc hóa thường dẫn đến giải
hệ phương trình đại số tuyến tính hoặc phi tuyến kích thước lớn và điều kiện
xấu. Hơn nữa, một số hệ phương trình đại số lại có tính chất tính điều kiện xấu
tăng tỷ lệ thuận với số chiều.
Ví dụ trong lĩnh vực xử lý ảnh của tin học người ta cần khôi phục hình ảnh
ban đầu của đối tượng bị nhiễu (làm mờ) trong q trình xử lý. Bài tốn khơi
phục ảnh dẫn đến giải hệ phương trình đại số tuyến tính kích thước lớn và điều
kiện xấu (1).
Một số mơ hình trong kinh tế như mơ hình thương mại quốc tế [57] cũng
đưa đến bài toán (1).
Bài toán xác định cấu trúc bên trong của một hệ thống dựa trên các thông
số độ đo bên ngồi, ví dụ như xác định cấu trúc bên trong của mặt trời dựa trên
các độ đo từ trái đất cũng dẫn đến bài tốn (1). Khơng những thế bài toán (1)
xuất hiện trong y học liên quan đến các bài toán chụp cắt lớp và bài toán ngược
trong điện từ.
Mặc dù các bài toán điều kiện xấu là những bài toán đặt chỉnh, song trên
thực tế chúng có thể coi như những bài tốn đặt khơng chỉnh và phải được xử lý
bằng các phương pháp hiệu chỉnh.
Bài tốn (1) được gọi là đặt khơng chỉnh theo nghĩa J. Hadamard nếu nó

khơng giải được duy nhất với một số vế phải hoặc nghiệm không phụ thuộc liên
tục vào các dữ kiện.
5


Để giải số bài tốn đặt khơng chỉnh một cách ổn định, người ta phải sử dụng
q trình chỉnh hóa, hay hiệu chỉnh bài toán, tức là thay bài toán đặt khơng
chỉnh bằng một họ bài tốn đặt chỉnh phụ thuộc vào tham số, sao cho nghiệm
của những bài toán đặt chỉnh hội tụ đến nghiệm của bài toán đặt không chỉnh,
khi tham số hiệu chỉnh dần tới không.
Năm 1963, trong [88,89], A. N. Tikhnov đã đề xuất phương pháp hiệu chỉnh
nổi tiếng mang tên ông. Trong phương pháp hiệu chỉnh này, tác giả đã thay bài
tốn đặt khơng chỉnh (1) bằng một họ bài toán đặt chỉnh
Tα,δ (x) := F(x) − yδ

2

+ α x − x0

2

−→ minx∈X ,

(2)

trong đó α > 0 là tham số hiệu chỉnh, x0 ∈ X là phần tử cho trước cố định, còn
yδ là dữ liệu có nhiễu của vế phải (1), sao cho y − yδ ≤ δ .
Trong trường hợp hệ (1) là kích thước lớn và điều kiện xấu, người ta hay sử
dụng các phương pháp lặp Landweber [59] hoặc ν -methods (M. Hanke [49]).
Tuy nhiên các phương pháp lặp nói trên thường hội tụ chậm. Vì vậy trong thực

tế người ta thường sử dụng các phương pháp lặp hiệu chỉnh không gian con bằng
cách định nghĩa một không gian con Sk với số chiều k, k < N và giải bài toán cực
trị sau
Tα,δ (x) := F(x) − yδ

2

−→ minx∈Sk .

(3)

Nếu ta giả thiết Sk = span(Vk ) thì x = Vk z và khi đó bài tốn (3) tương đương với
bài tốn bình phương tối thiểu cho hệ
FVk z = y.

Một số phương pháp hiệu chỉnh dựa trên ý tưởng này, như khai triển kỳ dị chặt
cụt (TSVD: Truncated Singular Value Decomposition [80,81]), bình phương tối
thiểu gradient liên hợp (CGLS: Conjugate gradient least-squares [45]), QR bình
phương tối thiểu (Least-squares QR [74]). Tuy nhiên trong các phương pháp
không gian con Krylov, nếu vế phải có nhiễu và một số giá trị kỳ dị nhỏ có thể
dẫn đến sự sai lệch lớn của nghiệm thu được so với nghiệm thực tế. Để khắc
phục nhược điểm này, người ta sử dụng các phương pháp lai.
Ý tưởng chính của các phương pháp này là, trước hết chúng ta sử dụng một
không gian con để giảm số chiều của bài toán trong khi vẫn bảo đảm các véctơ
tương ứng với giá trị kỳ dị lớn. Tiếp theo ta sử dụng phương pháp hiệu chỉnh
Tikhonov trên các khơng gian con này. Nhìn chung nghiệm của phương pháp
6


lai là nghiệm của bài toán

Tα,δ (x) := F(x) − yδ

2

+ α x − x0

2

−→ minx∈Sk .

(4)

Các phương pháp lai Krylov(Hybrid Krylov methods), các phương pháp lai lặp
Krylov (Iterated Hybrid Krylov methods), các phương pháp lai dựa trên Gradients (Hybrid methods based on Gradients) được đề xuất bởi Oldenburf [72, 73],
Kennet and Williamson [55] đều dựa trên ý tưởng này.
Khi F là tốn tử phi tuyến thì việc giải bài tốn cực tiểu nói trên nói chung
khơng đơn giản, thậm chí khơng giải được. Phương pháp lặp Landweber phi
tuyến là một trong những đề xuất cho trường hợp này ( [18, 25, 40] và các tài
liệu tham chiếu). Phương pháp này áp dụng cho toán tử F khả vi liên tục Frechet,
trong đó việc cực tiểu hóa phiếm hàm làm trơn Tikhonov ở trên sẽ được thực
hiện bằng một quá trình lặp. Tuy nhiên do tốc độ hội tụ chậm nên trong thực
tế phương pháp lặp Landweber ít được sử dụng hơn các phương pháp lặp kiểu
Newton.
Ý tưởng chính của bất kỳ phương pháp kiểu Newton là, thực hiện một số lần
tuyến tính hóa phương trình tốn tử F(x) = y xung quanh một xấp xỉ nghiệm xkδ
và sau đó giải bài tốn tuyến tính hóa
δ
F (xkδ )(xk+1
− xkδ ) = yδ − F(xkδ )

(5)

δ
để tìm xấp xỉ nghiệm xk+1
tiếp theo.
Tuy vậy, nếu F là liên tục và compact thì F (xkδ ) là compact và do đó bài tốn
(5) đặt khơng chỉnh, dẫn đến nghiệm của bài tốn tuyến tính hóa có thể khơng
tồn tại (ngay cả theo nghĩa bình phương tối thiểu). Trong các trường hợp này,
hai phương pháp được sử dụng phổ biến là phương pháp Levenberg-Marquardt
và phương pháp chỉnh lặp Gauss-Newton [18].
Năm 1967, trong [58], M. M. Lavrentiev đã đề xuất một phương pháp hiệu
chỉnh sử dụng phương trình xấp xỉ. Trong trường hợp X = Y = H là khơng gian
Hilbert, F là tốn tử tuyến tính xác định khơng âm, thì thay cho (5) ta giải
phương trình hiệu chỉnh

Fx + α(x − x0 ) = yδ ,

trong đó α > 0 là tham số. Với cách chọn α thích hợp, nghiệm phương trình trên
sẽ hội tụ tới nghiệm của bài toán ban đầu, khi α → 0. Các kỹ thuật hiệu chỉnh do
Lavrentiev đề xuất đã được phát triển để giải bài toán đặt khơng chỉnh với tốn
7


tử đơn điệu.
Từ những năm 1980, một số phương pháp chỉnh lặp kết hợp giữa kỹ thuật
hiệu chỉnh của Lavrentiev với các phương pháp giải số truyền thống đã được
A. B. Bakushinskii đề xuất (tham khảo [17, 87] và các tài liệu tham chiếu trong
đó). Tác giả nghiên cứu phương pháp lặp bậc khơng và lặp bậc một, hay cịn gọi
là chỉnh lặp đơn và phương pháp Newton-Kantorovich hiệu chỉnh, trong khơng
gian Hilbert.

Quay trở lại việc giải hệ phương trình đại số (1). Thơng thường các bài tốn
này có kích thước rất lớn. Vì vậy, yêu cầu phân rã bài tốn ban đầu để có thể xử
lý riêng các bài tốn thành phần, với kích thước bé hơn, được đặt ra một cách
tự nhiên. Chính vì thế các phương pháp phân rã đã được nghiên cứu từ rất sớm.
Chẳng hạn như các phương pháp dạng Kaczmarz. Ý tưởng chung của phương
pháp Kaczmarz là phân rã bài toán lớn thành nhiều bài toán nhỏ và luân phiên
thực hiện phép lặp cho từng bài tốn nhỏ.
Các phương pháp Kaczmarz khơng hiệu quả trên máy tính song song, bởi tại
mỗi thời điểm, chỉ có một bài tốn con được giải quyết. Trên thực tế, để sử dụng
hiệu quả các phương pháp tuần tự trên máy tính song song, người ta đã thực
hiện song song hóa trên từng bước tính tốn. Đến nay, các kết quả song song
trên mức tính tốn tại mỗi bước như vậy đã phát triển khá mạnh. Có rất nhiều gói
phần mềm hỗ trợ song song hóa khi giải hệ đại số tuyến tính đặt chỉnh, tính tốn
ma trận với véctơ, như gói phần mềm LAPACK ( />ScaLAPACK ( Thậm chí các cơng cụ song
song hóa khi tính tốn ma trận với véctơ đã được nhúng cứng vào các vi mạch
xử lý, ví dụ kiến trúc hỗ trợ tính tốn song song trên các card đồ họa CUDA
(Compute Unified Device Architecture). Cùng với kiến trúc này, các nghiên
cứu để véctơ hóa dữ liệu xử lý đã và đang phát triển mạnh.
Năm 1938, nhà toán học Ý G. Cimmino đã đề xuất một phương pháp độc
đáo giải hệ quá xác định. Trong đó, các bài tốn thành phần được xử lý đồng
thời tại mỗi bước. Xấp xỉ tiếp theo được lấy bằng trung bình cộng của các kết
quả thành phần. Rõ ràng đề xuất này là một phương pháp song song.
Tiếp thu ý tưởng của Cimmino, nhiều nhà toán học đã đề xuất các thuật tốn
song song giải hệ phương trình đại số tuyến tính, bài tốn chấp nhận lồi (convex
feasibility problem) cũng như giải hệ phương trình phi tuyến.
Vào những năm 1990, các tác giả M. A. Dinz-Ehrhardt, J. M. Martinez, S. A.
Santos, G. Zlilli và L. Bergamaschi đã đề xuất một số phương pháp dạng Cimino
8

giải các hệ phương trình phi tuyến trong khơng gian hữu hạn chiều [37, 38, 86].
Nhưng các kết quả quả này đều dựa trên giả thiết bài toán (1) là t chnh.
Cựng thi gian ny, T. Lu, P. Neittaanmăaki v X-C. Tai [64] đã nghiên cứu
phương trình dạng (1) và đề xuất phương pháp phân rã song song [64] tìm dãy
xấp xỉ qua bước trung gian theo công thức
τ Fi (xki ) − yi + xki = xk
xk+1 =

(τ > 0 − đủ bé),

1 N i
∑ xk .
N i=1

Dễ thấy bước trung gian tìm xki có thể tính tốn một cách đồng thời trên N bộ
xử lý. Nhưng để phương pháp này hội tụ, các toán tử Fi cần liên tục Lipschitz và
đơn điệu mạnh, tức là phương trình Fi (x) = yi phải đặt chỉnh. Do đó khơng thể
áp dụng trực tiếp phương pháp này cho các bài toán đặt không chỉnh.
Năm 2001, Y. Censor, D. Gordon và R. Gordon [29–31] đề xuất phương
pháp giải hệ đại số tuyến tính kích thước lớn và thưa dạng Cimmino, cịn được
gọi là phương pháp trung bình thành phần (component averaging method - CAV).
Một biến thể của phương pháp trên, trong đó việc giải đồng thời được thực hiện
theo từng nhóm kết hợp với lấy trung bình giữa các nhóm, gọi là lặp theo khối
(block-iterative component averaging - BICAV) cũng được đề xuất trong các tài liệu
này. Các phương pháp cải biên này được chứng minh là hiệu quả hơn phương
pháp Cimmino nguyên thủy. Tuy nhiên các tác giả trên chưa xét đến trường hợp
phương trình tốn tử phi tuyến đặt khơng chỉnh.
P. L. Combettes, H. Attouch, L. M. Brice˜no-Arias [12, 32] cũng đã đề xuất
một số phương pháp song song cho phương trình dạng (1). Ở đó, các tác giả sử
dụng một cơng cụ gọi là tốn tử điểm gần kề (proximal operator). Để xác định

được toán tử này, ta cần giải một bài tốn tối ưu lồi, nên khơng phải mọi trường
hợp đều có thể thực hiện hiệu quả.
Cho đến nay hầu hết các bài tốn đặt khơng chỉnh được giải trên máy tính
song song theo nguyên tắc sau: Trước hết người ta sử dụng kỹ thuật hiệu chỉnh
để thay bài tốn đặt khơng chỉnh ban đầu bằng các bài tốn đặt chỉnh. Sau đó
giải bài tốn đặt chỉnh thu được bằng những giải thuật song song cho đến khi
đạt độ chính xác cần thiết, hoặc sử dụng một phương pháp tuần tự đã có và chỉ
tính tốn song song cho một số cơng đoạn, như giải hệ phương trình đại số tuyến
tính, tính tích phân, tìm cực trị phiếm hàm. Tức là cách xử lý song song ở mức
tính toán tại mỗi bước đã đề cập đến trong phần trên. Như vậy, trong các phương
9


pháp song song đã có, các thao tác hiệu chỉnh và phân rã song song cũng như
quá trình giải thuộc các mức khác nhau và không gắn kết với nhau.
Các nhà tin học cũng như toán học Việt Nam đã có nhiều kết quả thú vị liên
quan đến tính tốn song song. Tác giả Nguyễn Thanh Thủy cùng các cộng sự
đã nghiên cứu kết nối các cụm máy tính để tạo thành lưới tính tốn để giải một
số bài tốn thực tế, như dự báo thời tiết trên lưới tính tốn. Các tác giả Nguyễn
Hữu Cơng, Nguyễn Thị Hồng Minh, Đặng Quang Á, vv... đã nghiên cứu một số
phương pháp song song giải phương trình vi phân, phương trình đạo hàm riêng.
Thời gian gần đây, các tác giả Phạm Kỳ Anh và Cao Văn Chung đã đề xuất
một số phương pháp dạng Cimmino để giải bài tốn đặt khơng chỉnh với toán tử
đơn điệu, như phương pháp chỉnh lặp song song [7], phương pháp Newton hiệu
chỉnh song song [8], phương pháp chiếu-điểm gần kề song song [9] và phương
pháp lai ghép song song [10].
Điểm đặc biệt của những phương pháp này là các thao tác hiệu chỉnh và
phân rã song song, cũng như chiếu-lặp, được gắn kết với nhau trong một quá
trình lặp thống nhất. Nghĩa là, các thao tác đó được thực hiện trong mỗi bước
lặp, một cách đồng thời cho các bài tốn thành phần. Do đó, những thuật tốn

này có thể áp dụng trực tiếp trên máy tính song song cho các bài tốn đặt khơng
chỉnh.
Luận án này phát triển ý tưởng kết hợp giữa hiệu chỉnh và phân rã song song
nói trên, sau đó áp dụng để giải một số bài tốn kích thước lớn, điều kiện xấu.
Ngoài phần mở đầu, kết luận và tài liệu tham khảo, luận án được chia thành
3 chương
• Trong Chương 1 chúng tơi trình bày một số kiến thức chuẩn bị như ngun

lý chung của tính tốn song song, bài tốn kích thước lớn, điều kiện xấu
và bài tốn đặt không chỉnh, một số phương pháp hiệu chỉnh, phương pháp
tuần tự và song song giải hệ phương trình đặt khơng chỉnh.
• Chương 2 trình bày phương pháp song song giải hệ phương trình tốn tử

tuyến tính và một số ứng dụng. Chương này tập trung trình bày ứng dụng
của phương pháp chỉnh lặp song song trong việc giải hệ phương trình tuyến
tính q xác định và trong bài tốn khơi phục ảnh. Cuối Chương 2, chúng
tôi giới thiệu một phương pháp song song tồn phần giải hệ phương trình
đại số nhận được sau khi sai phân hóa bài tốn biên-ban đầu cho một lớp
phương trình đạo hàm riêng đại số.
10


• Chương 3 đề xuất phương pháp chỉnh lặp song song Gauss-Newton giải hệ

phương trình tốn tử phi tuyến. Tiếp theo, chúng tôi áp dụng phương pháp
này để giải hệ phương trình phi tuyến dưới xác định và hệ phương trình phi
tuyến thưa. Với một số giả thiết thích hợp về điều kiện nguồn, chúng tôi đã
đánh giá được tốc độ hội tụ của phương pháp.
Tương ứng với mỗi phương pháp và các ứng dụng, chúng tôi đã thực hiện thử
nghiệm số trên máy tính song song. Tất cả các kết quả tính tốn đều được chạy

ở chế độ song song, trên bó máy tính IBM1350 với 8 node tính toán - 16 bộ xử
lý lõi kép tại Trung tâm Tính tốn hiệu năng cao - ĐHKHTN - ĐHQG Hà Nội.

11


Chương 1

Kiến thức chuẩn bị
Trong chương này chúng tôi sẽ trình bày kỹ những vấn đề liệt kê trong
phần mở đầu của luận án bao gồm ba vấn đề chính sau đây:
i. Các ngun lý của tính tốn song song, bao gồm kiến trúc máy tính song

song, lập trình song song và bảo đảm tốn học cho các bó máy tính bằng
các thuật tốn song song. Luận án cũng giới thiệu chi tiết về hai bó máy
tính IBM 1350 và IBM 1600 tại Trung tâm tính tốn hiệu năng cao, Trường
ĐHKHTN, ĐHQGHN.
ii. Khái niệm về bài toán điều kiện xấu, bài tốn đặt khơng chỉnh. Những bài

tốn dẫn đến việc giải hệ phương trình tuyến tính hoặc phi tuyến kích thước
lớn và điều kiện xấu.
iii. Quy trình giải một bài tốn kích thước lớn và điều kiện xấu trên bó máy

tính. Một số phương pháp tuần tự và song song giải bài tốn kích thước lớn,
điều kiện xấu và bài tốn đặt khơng chỉnh.
Các khái niệm được trình bày dưới đây chủ yếu được tham khảo từ [1,2,4,13]
và các tài liệu tham chiếu trong đó.

1.1

Ngun lý tính tốn song song

Tính tốn song song là q trình tính tốn trong đó nhiều phép tính được
thực hiện đồng thời. Tính tốn song song hoạt động dựa trên nguyên tắc phân rã
12