Bài giảng môn học phân tích và thiết kế thuật toán

Bài Giảng Môn Học Phân Tích Và Thiết
Kế Thuật Toán
Biên tập bởi:
Đại Học Phương Đông
Bài Giảng Môn Học Phân Tích Và Thiết
Kế Thuật Toán
Biên tập bởi:
Đại Học Phương Đông
Các tác giả:
Đại Học Phương Đông
Phiên bản trực tuyến:
/>MỤC LỤC
1. Độ phức tạp tính toán và tính hiệu quả của thuật toán
2. Mở đầu về thiết kế, đánh giá thuật toán và kiến thức bổ trợ
3. Phương pháp tham lam
4. Phương pháp “chia để trị”
5. Quy hoạch động
6. Thuật toán đồ thị cơ bản
Tham gia đóng góp
1/129
Độ phức tạp tính toán và tính hiệu quả của
thuật toán
Sự cần thiết phải phân tích thuật toán
Trong khi giải một bài toán chúng ta có thể có một số giải thuật khác nhau, vấn đề là
cần phải đánh giá các giải thuật đó để lựa chọn một giải thuật tốt (nhất). Thông thường
thì ta sẽ căn cứ vào các tiêu chuẩn sau:
1. Giải thuật đúng đắn.
2. Giải thuật đơn giản.
3. Giải thuật thực hiện nhanh.
Với yêu cầu (1), để kiểm tra tính đúng đắn của giải thuật chúng ta có thể cài đặt giải
thuật đó và cho thực hiện trên máy với một số bộ dữ liệu mẫu rồi lấy kết quả thu

được so sánh với kết quả đã biết. Thực ra thì cách làm này không chắc chắn bởi vì có
thể giải thuật đúng với tất cả các bộ dữ liệu chúng ta đã thử nhưng lại sai với một bộ
dữ liệu nào đó. Vả lại cách làm này chỉ phát hiện ra giải thuật sai chứ chưa chứng minh
được là nó đúng. Tính đúng đắn của giải thuật cần phải được chứng minh bằng toán học.
Tất nhiên điều này không đơn giản và do vậy chúng ta sẽ không đề cập đến ở đây.
Khi chúng ta viết một chương trình để sử dụng một vài lần thì y ê u cầu (2) là quan trọng
nhất. Chúng ta cần một giải thuật dễ viết chương trình để nhanh chóng có được kết quả,
thời gian thực hiện chương trình không được đề cao vì dù sao thì chương trình đó cũng
chỉ sử dụng một vài lần mà thôi.
Tuy nhiên khi một chương trình được sử dụng nhiều lần thì thì yêu cầu tiết kiệm thời
gian thực hiện chương trình lại rất quan trọng đặc biệt đối với những chương trình mà
khi thực hiện cần dữ liệu nhập lớn do đó yêu cầu (3) sẽ được xem xét một cách kĩ càng.
Ta gọi nó là hiệu quả thời gian thực hiện của giải thuật.
Thời gian thực hiện của chương trình
Một phương pháp để xác định hiệu quả thời gian thực hiện của một giải thuật là lập trình
nó và đo lường thời gian thực hiện của hoạt động trên một máy tính xác định
2/129
đối với tập hợp được chọn lọc các dữ liệu vào.
Thời gian thực hiện không chỉ phụ thuộc vào giải thuật mà còn phụ thuộc vào tập
các chỉ thị của máy tính, chất lượng của máy tính và kĩ xảo của người lập trình. Sự
thi hành cũng có thể điều chỉnh để thực hiện tốt trên tập đặc biệt các dữ liệu vào được
chọn. Ðể vượt qua các trở ngại này, các nhà khoa học máy tính đã chấp nhận tính phức
tạp của thời gian được tiếp cận như một sự đo lường cơ bản sự thực thi của giải thuật.
Thuật ngữ tính hiệu quả sẽ đề cập đến sự đo lường này và đặc biệt
đối với sự phức tạp thời gian trong trường hợp xấu nhất.
Thời gian thực hiện chương trình.
Thời gian thực hiện m ộ t chương t r ì n h là một hàm của kích thước dữ liệu vào, ký
hiệu T(n) trong đó n là kích thước (độ lớn) của dữ liệu vào.
Chương trình tính tổng của n số có thời gian thực hiện là T(n) = cn trong đó c là một
hằng số.

Thời gian thực hiện chương trình là một hàm không âm, tức là T(n) ≥ 0 với mọi n ≥ 0.
Ðơn vị đo thời gian thực hiện.
Ðơn vị của T(n) không phải là đơn vị đo thời gian bình thường như giờ, phút giây
mà thường được xác định bởi số các lệnh được thực hiện trong một máy tính lý tưởng.
Khi ta nói thời gian thực hiện của một chương trình là T(n) = Cn thì có nghĩa là chương
trình ấy cần Cn chỉ thị thực thi.
Thời gian thực hiện trong trường hợp xấu nhất.
Nói chung thì thời gian thực hiện chương trình không chỉ phụ thuộc vào kích thước mà
còn phụ thuộc vào tính chất của dữ liệu vào. Nghĩa là dữ liệu vào có cùng kích thước
nhưng thời gian thực hiện chương trình có thể khác nhau. Chẳng hạn chương trình sắp
xếp dãy số nguyên tăng dần, khi ta cho vào dãy có thứ tự thì thời gian thực hiện khác
với khi ta cho vào dãy chưa có thứ tự, hoặc khi ta cho vào một dãy đã có thứ tự tăng thì
thời gian thực hiện cũng khác so với khi ta cho vào một dãy đã có thứ tự giảm.
Vì vậy thường ta coi T(n) là thời gian thực hiện chương trình trong trường hợp xấu nhất
trên dữ liệu vào có kích thước n, tức là: T(n) là thời gian lớn nhất để thực hiện chương
trình đối với mọi dữ liệu vào có cùng kích thước n.
3/129
Tỷ suất tăng và Ðộ phức tạp của giải thuật
Tỷ suất tăng
Ta nói rằng hàm không âm T(n) có tỷ suất tăng (growth rate) f(n) nếu tồn tại các hằng
số C và N0 sao cho T(n) ≤ Cf(n) với mọi n ≥ N0.
Ta có thể c h ứ ng minh đư ợ c rằng “Cho m ộ t hàm không âm T(n) b ấ t kỳ, ta luôn tìm
đư ợ c t ỷ s u ất tăng f (n) c ủa nó”.
Giả sử T(0) = 1, T(1) = 4 và tổng quát T(n) = (n+1)
2
. Ðặt N0 = 1 và C = 4 thì với mọi n
≥1 chúng ta dễ dàng chứng minh được rằng T(n) = (n+1)
2
≤ 4n
2

với mọi n ≥ 1, tức là tỷ
suất tăng của T(n) là n
2
.
Tỷ suất tăng của hàm T(n) = 3n
3
+ 2n
2
là n
3
. Thực vậy, cho N0 = 0 và C = 5 ta dễ dàng
chứng minh rằng với mọi n ≥ 0 thì 3n
2
+ 2n
2
≤ 5n
3
Khái niệm độ phức tạp của giải thuật
Giả sử ta có hai giải thuật P1 và P2 với thời gian thực hiện tương ứng là T1(n) = 100n
2
(với tỷ suất tăng là n
2
) và T2(n) = 5n
3
(với tỷ suất tăng là n
3
). Giải thuật nào sẽ thực
hiện nhanh hơn? Câu trả lời phụ thuộc vào kích thước dữ liệu vào. Với n < 20 thì P2 sẽ
nhanh hơn P1 (T2<T1), do hệ số của 5n
3

nhỏ hơn hệ số của 100n
2
(5<100). Nhưng khi
n > 20 thì ngươc lại do số mũ của 100n
2
nhỏ hơn số mũ của 5n
3
(2<3). Ở đây chúng ta
chỉ nên quan tâm đến trường hợp n>20 vì khi n<20 thì thời gian thực hiện của cả P1 và
P2 đều không lớn và sự khác biệt giữa T1 và T2 là không đáng kể.
Như vậy một cách hợp lý là ta xét tỷ suất tăng của hàm thời gian thực hiện chương trình
thay vì xét chính bản thân thời gian thực hiện.
Cho mộ t hàm T(n), T(n) g ọ i là có độ phức t ạ p f(n) n ế u t ồn t ạ i các hằng C, N 0 sao
cho T(n) ≤ Cf(n) v ớ i m ọ i n ≥ N 0 (tức là T(n) có t ỷ suấ t t ăng là f(n)) và kí h i ệu T(n)
là O(f(n)) ( đọc là “ô c ủ a f(n)”)
T(n)= (n+1)
2
có tỷ suất tăng là n
2
nên T(n)= (n+1)
2
là O(n
2
)
Chú ý: O(C.f(n))=O(f(n)) với C là hằng số. Ðặc biệt O(C) = O(1)
Nói cách khác độ phức tạp tính toán của giải thuật là một hàm chặn trên của hàm thời
gian. Vì hằng nhân tử C trong hàm chặn trên không có ý nghĩa nên ta có thể bỏ qua vì
vậy hàm thể hiện độ phức tạp có các dạng thường gặp sau: log2n, n, nlog2n, n
2
, n

3
, 2
n
,
n!, n
n
. Ba hàm cuối cùng ta gọi là dạng hàm mũ, các hàm khác gọi là hàm đa thức. Một
giải thuật mà thời gian thực hiện có độ phức tạp là một hàm đa thức thì chấp nhận được
4/129
tức là có thể cài đặt để thực hiện, còn các giải thuật có độ phức tạp hàm mũ thì phải tìm
cách cải tiến giải thuật.
Vì ký hiệu log2n thường có mặt trong độ phức tạp nên trong khuôn khổ tài liệu này, ta
sẽ dùng logn thay thế cho log2n với mục đích duy nhất là để cho gọn trong cách viết.
Khi nói đến độ phức tạp của giải thuật là ta muốn nói đến hiệu quả của thời gian thực
hiện của chương trình nên ta có thể xem việc xác định thời gian thực hiên của chương
trình chính là xác định độ phức tạp của giải thuật.
Cách tính Ðộ phức tạp
Cách tính độ phức tạp của một giải thuật bất kỳ là một vấn đề không đơn giản. Tuy
nhiên ta có thể tuân theo một số nguyên tắc sau:
Qui tắc cộng
Nếu T1(n) và T2(n) là thời gian thực hiện của hai đoạn chương trình P1 và P2; và
T1(n)=O(f(n)), T2(n)=O(g(n)) thì thời gian thực hiện của đoạn hai chương trình đó
nối tiếpnhaulà T(n)=O(max(f(n),g(n)))
Lệnh gán x:=15 tốn một hằng thời gian hay O(1), Lệnh đọc dữ liệu
READ(x) tốn một hằng thời gian hay O(1). Vậy thời gian thực hiện cả hai lệnh trên nối
tiếp nhau là O(max(1,1))=O(1)
Qui tắc nhân
Nếu T1(n) và T2(n) là thời gian thực hiện của hai đoạn chương trình P1và P2 và T1(n)
= O(f(n)), T2(n) = O(g(n)) thì thời gian thực hiện của đoạn hai đoạn chương trình đó
lồngnhaulà T(n) = O(f(n).g(n))

Qui tắc tổng quát để phân tích một chương trình
Thời gian thực hiện của mỗi lệnh gán, READ, WRITE là O(1).
Thời gian thực hiện của một chuỗi tuần tự các lệnh được xác định bằng qui tắc cộng.
Như vậy thời gian này là thời gian thi hành một lệnh nào đó lâu nhất trong chuỗi lệnh.
Thời gian thực hiện cấu trúc IF là thời gian lớn nhất thực hiện lệnh sau THEN hoặc sau
ELSE và thời gian kiểm tra điều kiện. Thường thời gian kiểm tra điều kiện là O(1).
5/129
Thời gian thực hiện vòng lặp là tổng (trên tất cả các lần lặp) thời gian thực hiện thân
vòng lặp. Nếu thời gian thực hiện thân vòng lặp không đổi thì thời gian thực hiện vòng
lặp là tích của số lần lặp với thời gian thực hiện thân vòng lặp.
Tính thời gian thực hiện của thủ tục sắp xếp “nổi bọt”
PROCEDURE Bubble(VAR a: ARRAY[1 n] OF integer); VAR
i,j,temp: Integer; BEGIN {1} FOR i:=1 TO n-1 DO {2} FOR
j:=n DOWNTO i+1 DO {3} IF a[j-1]>a[j]THEN BEGIN{hoán vị
a[i], a[j]} {4} temp := a[j-1]; {5} a[j-1] := a[j]; {6}
a[j] := temp; END; END;
Về giải thuật sắp xếp nổi bọt, chúng ta sẽ bàn kĩ hơn trong chương 2. Ở đây, chúng ta
chỉ quan tâm đến độ phức tạp của giải thuật.
Ta thấy toàn bộ chương trình chỉ gồm một lệnh lặp {1}, lồng trong lệnh {1} là lệnh
{2}, lồng trong lệnh {2} là lệnh {3} và lồng trong lệnh {3} là 3 lệnh nối tiếp nhau
{4}, {5} và {6}. Chúng ta sẽ tiến hành tính độ phức tạp theo thứ tự từ trong ra.
Trước hết, cả ba lệnh gán {4}, {5} và {6} đều tốn O(1) thời gian, việc so sánh a[j-1] >
a[j] cũng tốn O(1) thời gian, do đó lệnh {3} tốn O(1) thời gian.
Vòng lặp {2} thực hiện (n-i) lần, mỗi lần O(1) do đó vòng lặp {2} tốn O((n-i).1) = O(n-
i).Vòng lặp {1} lặp có I chạy từ 1 đến n-1nên thời gian thực hiện của vòng lặp
{1} và cũng là độ phức tạp của giải thuật là:
Chú ý: Trong trường hợp vòng lặp không xác định được số lần lặp thì chúng ta phải lấy
số lần lặp trong trường hợp xấu nhất.
Tìm kiếm tuần tự. Hàm tìm kiếm Search nhận vào một mảng a có n số nguyên và một
số nguyên x, hàm sẽ trả về giá trị logic TRUE nếu tồn tại một phần tử a[i] = x, ngược lại

hàm trả về FALSE.
6/129
Giải thuật tìm kiếm tuần tự là lần lượt so sánh x với các phần tử của mảng a, bắt đầu từ
a[1], nếu tồn tại a[i] = x thì dừng và trả về TRUE, ngược lại nếu tất cả các phần tử của a
đều khác X thì trả về FALSE.
FUNCTION Search(a:ARRAY[1 n] OF
Integer;x:Integer):Boolean; VAR i:Integer; Found:Boolean;
BEGIN {1} i:=1; {2} Found:=FALSE; {3} WHILE(i<=n)AND (not
Found) DO {4} IF A[i]=X THEN Found:=TRUE ELSE i:=i+1; {5}
Search:=Found; END;
Ta thấy các lệnh {1}, {2}, {3} và {5} nối tiếp nhau, do đó độ phức tạp của hàm Search
chính là độ phức tạp lớn nhất trong 4 lệnh này. Dễ dàng thấy rằng ba lệnh {1}, {2} và
{5} đều có độ phức tạp O(1) do đó độ phức tạp của hàm Search chính là độ phức tạp của
lệnh {3}. Lồng trong lệnh {3} là lệnh {4}. Lệnh {4} có độ phức tạp O(1). Trong trường
hợp xấu nhất (tất cả các phần tử của mảng a đều khác x) thì vòng lặp {3} thực hiện n
lần, vậy ta có T(n) = O(n).
Ðộ phức tạp của chương trình có gọi chương trình con không đệ quy
Nếu chúng ta có một chương trình với các chương trình con không đệ quy, để tính thời
gian thực hiện của chương trình, trước hết chúng ta tính thời gian thực hiện của các
chương trình con không gọi các chương trình con khác. Sau đó chúng ta tính thời gian
thực hiện của các chương trình con chỉ gọi các chương trình con mà thời gian thực hiện
của chúng đã được tính. Chúng ta tiếp tục quá trình đánh giá thời gian thực hiện của mỗi
chương trình con sau khi thời gian thực hiện của tất cả các chương trình con mà nó gọi
đã được đánh giá. Cuối cùng ta tính thời gian cho chương trình chính.
Giả sử ta có một hệ thống các chương trình gọi nhau theo sơ đồ sau:
Chương trình A gọi hai chương trình con là B và C, chương trình B gọi hai chương trình
con là B1 và B2, chương trình B1 gọi hai chương trình con là B11 và B12.
Ðể tính thời gian thực hiện của A, ta tính theo các bước sau:
7/129
1. Tính thời gian thực hiện của C, B2, B11 và B12. Vì các chương trình con này không

gọi chương trình con nào cả.
2. Tính thời gian thực hiện của B1. Vì B1 gọi B11 và B12 mà thời gian thực hiện của
B11 và B12 đã được tính ở bước 1.
3. Tính thời gian thực hiện của B. Vì B gọi B1 và B2 mà thời gian thực hiện của B1 đã
được tính ở bước 2 và thời gian thực hiện của B2 đã được tính ở bước 1.
4. Tính thời gian thực hiện của A. Vì A gọi B và C mà thời gian thực hiện của B
đã được tính ở bước 3 và thời gian thực hiện của C đã được tính ở bước 1.
Ta có thể viết lại chương trình sắp xếp bubble như sau: Trước hết chúng ta viết thủ tục
Swap để thực hiện việc hoàn đổi hai phần tử cho nhau, sau đó trong thủ
tục Bubble, khi cần ta sẽ gọi đến thủ tục Swap này.
PROCEDURE Swap (VAR x, y: Integer); VAR temp: Integer;
BEGIN END; temp := x; x := y; y := temp; PROCEDURE Bubble
(VAR a: ARRAY[1 n] OF integer); VAR i,j :Integer; BEGIN
{1} FOR i:=1 TO n-1 DO {2} FOR j:=n DOWNTO i+1 DO {3} IF
a[j-1]>a[j] THEN Swap(a[j-1], a[j]); END;
Trong cách viết trên, chương trình Bubble gọi chương trình con Swap, do đó để tính
thời gian thực hiện của Bubble, trước hết ta cần tính thời gian thực hiện của Swap.
Dễ thấy thời gian thực hiện của Swap là O(1) vì nó chỉ bao gồm 3 lệnh gán. Trong
Bubble, lệnh {3} gọi Swap nên chỉ tốn O(1), lệnh {2} thực hiện n-i lần, mỗi lần tốn
O(1) nên tốn O(n-i). Lệnh {1} thực hiện n-1 lần nên:
Phân tích các chương trình Ðệ quy
Với các chương trình có gọi các chương trình con đệ quy, ta không thể áp dụng cách
tính như vừa trình bày trong mục 1.5.4 bởi vì một chương trình đệ quy sẽ gọi chính bản
thân nó. Có thể thấy hình ảnh chương trình đệ quy A như sau:
8/129
Với phương pháp tính độ phức tạp đã trình bày trong mục 1.5.4 thì không thể thực hiện
được. Bởi vì nếu theo phương pháp đó thì, để tính thời gian thực hiên của chương trình
A, ta phải tính thời gian thực hiện của chương trình A và cái vòng luẩn quẩn ấy không
thể kết thúc được.
Với các chương trình đệ quy, trước hết ta cần thành lập các phương trình đệ quy, sau đó

giải phương trình đệ quy, nghiệm của phương trình đệ quy sẽ là thời gian thực hiện của
chương trình đệ quy.
Thành lập phương trình đệ quy
Phương trình đệ quy là một phương trình biểu diễn mối liên hệ giữa T(n) và T(k), trong
đó T(n) là thời gian thực hiện chương trình với kích thước dữ liệu nhập là n, T(k) thời
gian thực hiện chương trình với kích thước dữ liệu nhập là k, với k < n. Ðể thành lập
được phương trình đệ quy, ta phải căn cứ vào chương trình đệ quy.
Thông thường một chương trình đệ quy để giải bài toán kích thước n, phải có ít nhất một
trường hợp dừng ứng với một n cụ thể và lời gọi đệ quy để giải bài toán kích thước k
(k<n).
Để thành lập phương trình đệ quy, ta gọi T(n) là thời gian để giải bài toán kích thước n,
ta có T(k) là thời gian để giải bài toán kích thước k. Khi đệ quy dừng, ta phải xem xét
khi đó chương trình làm gì và tốn hết bao nhiêu thời gian, chẳng hạn thời gian này là
c(n). Khi đệ quy chưa dừng thì phải xét xem có bao nhiêu lời gọi đệ quy với kích thước
k ta sẽ có bấy nhiêu T(k). Ngoài ra ta còn phải xem xét đến thời gian để phân chia bài
toán và tổng hợp các lời giải, chẳng hạn thời gian này là d(n).
Dạng tổng quát của một phương trình đệ quy sẽ là:
9/129
Trong đó C(n) là thời gian thực hiện chương trình ứng với trường hợp đệ quy dừng.
F(T(k)) là một đa thức của các T(k). d(n) là thời gian để phân chia bài toán và tổng hợp
các kết quả.
Xét hàm tính giai thừa viết bằng giải thuật đệ quy như sau:
FUNCTION Giai_thua(n:Integer): Integer; BEGIN END; IF n=0
then Giai_thua :=1 ELSE Giai_thua := n* Giai_thua(n-1);
Gọi T(n) là thời gian thực hiện việc tính n giai thừa, thì T(n-1) là thời gian thực hiện
việc tính n-1 giai thừa. Trong trường hợp n = 0 thì chương trình chỉ thực hiện một lệnh
gán Giai_thua:=1, nên tốn O(1), do đó ta có T(0) = C1. Trong trường hợp n>0 chương
trình phải gọi đệ quy Giai_thua(n-1), việc gọi đệ quy này tốn T(n-1), sau khi có kết quả
của việc gọi đệ quy, chương trình phải nhân kết quả đó với n và gán cho Giai_thua. Thời
gian để thực hiện phép nhân và phép gán là một hằng C

2
. Vậy ta có
Ðây là phương trình đệ quy để tính thời gian thực hiện của chương trình đệ quy
Giai_thua.
Chúng ta xét thủ tục MergeSort một cách phác thảo như sau:
FUNCTION MergeSort (L:List; n:Integer):List; VAR
L1,L2:List; BEGIN IF n=1 THEN RETURN(L) ELSE BEGIN Chia
đôi L thành L1 và L2, với độ dài n/2;
RETURN(Merge(MergeSort(L1,n/2),MergeSort(L2,n/2))); END;
END;
10/129
Chẳng hạn để sắp
xếp danh sách L gồm 8 phần tử 7, 4, 8, 9, 3, 1, 6, 2 ta có mô hình minh họa của
MergeSort như sau:
Hàm MergeSort nhận một danh sách có độ dài n và trả về một danh sách đã được sắp
xếp. Thủ tục Merge nhận hai danh sách đã được sắp L1 và L2 mỗi danh sách có độ dài
n/2 trộn chúng lại với nhau để được một danh sách gồm n phần tử có thứ tự. Giải thuật
chi tiết của Merge ta sẽ bàn sau, chúng ta chỉ để ý rằng thời gian để Merge các danh sách
có độ dài n/2 là O(n). Gọi T(n) là thời gian thực hiện MergeSort một danh sách n phần
tử thì T(n/2) là thời gian thực hiện MergeSort một danh sách n/2 phần tử. Khi L có độ
dài 1 (n = 1) thì chương trình chỉ làm một việc duy nhất là return(L), việc này tốn O(1)
= C1 thời gian. Trong trường hợp n > 1, chương trình phải thực hiện gọi đệ quy MerSort
hai lần cho L1 và L2 với độ dài n/2 do đó thời gian để gọi hai lần đệ quy này là 2T(n/2).
Ngoài ra còn phải tốn thời gian cho việc chia danh sách L thành hai nửa bằng nhau và
trộn hai danh sách kết quả (Merge). Người ta xác đinh được thời gian để chia danh sách
và Merge là O(n) = C
2
n. Vậy ta có phương trình đệ quy như sau:
11/129
Các hàm tiến triển khác

Trong trường hợp hàm tiến triển không phải là một hàm nhân thì chúng ta không
thể áp dụng các công thức ứng với ba trường hợp nói trên mà chúng ta phải tính trực
tiếp nghiệm riêng, sau đó so sánh với nghiệm thuần nhất để lấy nghiệm lớn nhất trong
hai nghiệm đó làm nghiệm của phương trình.
Vídụ2-17:Giải phương trình đệ quy sau: T(1) = 1
T(n) = 2T(n/2) + nlogn
Phương trình đã cho thuộc dạng phương trình tổng quát nhưng d(n) = nlogn không phải
là một hàm nhân.
b Ta có nghiệm thuần nhất = nlog a = nlog2 = n
Do d(n) = nlogn không phải là hàm nhân nên ta phải tính nghiệm riêng bằng cách xét
trực tiếp
Theo giả thiết trong phương trình tổng quát thì n = bk nên k = logbn, ở đây do b=2
nên 2
k
=n và k=logn, chúng ta có nghiệm riêng là O(nlog2n), nghiệm này lớn hơn
nghiệm thuần nhất do đó T(n) = O(nlog2n).
Bài tập chương
Tính thời gian thực hiện của các đoạn chương trình sau:
a) Tính tổng của các số
{1} Sum := 0;
12/129
{2} for i:=1 to n do begin
{3} readln(x);
{4} Sum := Sum + x;
end;
b) Tính tích hai ma trận vuông cấp n C = A*B:
{1} for i := 1 to n do
{2} for j := 1 to n do begin
{3} c[i,j] := 0;
{4} for k := 1 to n do

{5} c[i,j] := c[i,j] + a[i,k] * b[k,j];
end;
Dành cho độc giả
Giải các phương trình đệ quy sau với T(1) = 1 và
a) T(n) = 3T(n/2) + n b) T(n) = 3T(n/2) + n
2
c) T(n) = 8T(n/2) + n
3
Dành cho độc giả
Giải các phương trình đệ quy sau với T(1) = 1 và a) T(n) = 4T(n/3) + n
b) T(n) = 4T(n/3) + n
2
.
c) T(n) = 9T(n/3) + n
2
.
Dành cho độc giả
Giải các phương trình đệ quy sau với T(1) = 1 và a) T(n) = T(n/2) + 1
b) T(n) = 2T(n/2) + logn c) T(n) = 2T(n/2) + n
d) T(n) = 2T(n/2) + n
2
13/129
Dành cho độc giả
Giải các phương trình đệ quy sau bằng phương pháp đoán nghiệm:
a) T(1) = 2 và T(n) = 2T(n-1) + 1 với n > 1
b) T(1) = 1 và T(n) = 2T(n-1) + n với n > 1
Dành cho độc giả
Cho một mảng n số nguyên được sắp thứ tự tăng. Viết hàm tìm một số nguyên trong
mảng đó theo phương pháp tìmkiếmnhị phân, nếu tìm thấy thì trả về TRUE, ngược lại
trả về FALSE. Sử dụng hai kĩ thuật là đệ quy và vòng lặp. Với mỗi kĩ thuật hãy viết một

hàm tìm và tính thời gian thực hiện của hàm đó.
Dành cho độc giả
Tính thời gian thực hiện của giải thuật đệ quy giải bài toán Tháp Hà nội với n tầng?
Dành cho độc giả
Xét công thức truy toán để tính số tổ hợp chập k của n như sau:
a) Viết một hàm đệ quy để tính số tổ hợp chập k của n.
b) Tính thời gian thực hiện của giải thuật nói trên.
Dành cho độc giả
14/129
Mở đầu về thiết kế, đánh giá thuật toán và
kiến thức bổ trợ
Khái niệm thuật toán
Khái niệm về thuật toán
Thuật toán (algorithm) là một trong những khái niệm quan trọng trong lĩnh vực tin học.
Thuật ngữ thuật toán được xuất phát từ nhà toán học Arập Abu Ja’far Mohammedibn
Musa al Khowarizmi (khoảng năm 825).
Tuy nhiên lúc bấy giờ và trong nhiều thế kỷ sau, nó không mang nội dung như ngày nay
chúng ta quan niệm. Thuật toán nổi tiếng nhất có từ thời cổ Hy lạp là thuật toán Euclid,
thuật toán tìm ước chung lớn nhất của hai số nguyên. Có thể mô tả thuật toán đó như
sau:
ThuậttoánEuclid.
Input: m, n nguyên dương
Output: g (ước chung lớn nhất của m và n)
Phương pháp:
Bước 1: Tìm r, phần dư của m cho n
Bước 2: Nếu r = 0, thì g:=n (gán giá trị của n cho g),và dừng lại. Trong trường
hợp ngược lại (r≠0), thì m:=n; n:=r và quay lại bước 1.
Chúng ta có thể quan niệm các bước cần thực hiện để làm một món ăn, được mô tả trong
các sách dạy chế biến món ăn, là một thuật toán. Cũng có thể xem các bước cần tiến
hành để gấp đồ chơi bằng giấy ,được trình bày trong sách dạy gấp đồ chơi bằng giấy là

một thuật toán. Phương pháp cộng nhân các số nguuyên, chúng ta đã được học
ở cấp I cũng là các thuật toán.
Vì vậy ta có định nghĩa không hình thức về thuật toán như sau:
Thuật toán là một dãy hữu hạn các bước, mỗi bước mô tả chính xác các phép toán,
15/129
hoặc hành động cần thực hiện để cho ta lời giải của bài toán.
Các yêu cầu về thuật toán
Định nghĩa trên về thuật toán tất nhiên còn chứa nhiều điều chưa rõ ràng. Để hiểu đầy
đủ ý nghĩa của khái niệm thuật toán, chúng ta đưa ra 5 đặc trưng sau đây của thuật toán.
Input
Mỗi thuật toán đều có một số (có thể bằng không) các dữ liệu vào (input). Đó là các giá
trị cần đưa vào khi thuật toán bắt đầu làm việc. Các dữ liệu này cần được lấy từ các tập
hợp giá trị cụ thể nào đó. Chẳng hạn, trong thuật toán Euclid ở trên, các số m và n là các
dữ liệu lấy từ tập các số nguyên dương.
Output
Mỗi thuật toán cần có một hoặc nhiều dữ liệu ra (output). Đó là các giá trị có quan hệ
hoàn toàn xác định với các dữ liệu vào, và là kết quả của sự thực hiện thuật toán. Trong
thuật toán Euclid, có một dữ liệu ra đó là ƯSCLN g, khi thuật toán dừng lại (trường hợp
r=0) thì giá trị của g là ước chung lớn nhất của m và n.
Tính xác định
Ở mỗi bước, các bước thao tác phải hết sức rõ ràng, không gây nên sự nhập nhằng. Nói
rõ hơn là trong cùng một điều kiện hai bộ xử lý cùng thực hiện một thuật toán phải cho
cùng một kết quả như nhau. Nếu biểu diễn thuật toán bằng phương pháp thông thường
không có gì đảm bảo được người đọc hiểu đúng ý của người viết thuật toán. Để đảm bảo
đòi hỏi này, thuật toán cần được mô tả trong các ngôn ngữ lập trình (ngôn ngữ máy, hợp
ngữ hoặc ngôn ngữ bậc cao như Pascal ). Trong các ngôn ngữ này các mệnh đề được
tạo theo các qui tắc cú pháp nghiêm ngặt và chỉ có một nghĩa duy nhất.
Tính khả thi/đa năng
Tất cả các phép toán có mặt trong thuật toán phải đủ đơn giản . Điều đó có nghĩa là, các
phép toán phải sao cho, ít nhất về nguyên tắc có thể thực hiện bởi con người chỉ bằng

giấy trắng và bút chì trong một khoảng thời gian hữu hạn. Chẳng hạn, trong thuật toán
Euclid ta chỉ cần thực hiện các phép chia các số nguyên, các phép gán và các phép so
sánh r=0 hay r ≠ 0. Điều quan trọng nữa là thuật toán phải có tính đa năng làm việc được
với tất cả các tập hợp dữ liệu có thể của đầu vào.
Tính dừng
Với mọi bộ dữ liệu vào thoả mãn các điều kiện của dữ liệu vào (tức là được lấy ra từ các
tập của dữ liệu vào), thuật toán phải dừng lại sau một số hữu hạn bước thực hiện.
16/129
Thuật toán Euclid thoả mãn điều kiện này. Bởi vì giá trị của r luôn nhỏ hơn n (khi thực
hiện bước 1), nếu r <>0 thì giá trị của n ở bước i (ký hiệu là ni) sẽ là giá trị của ri-1 ở
bước i-1, ta phải có bất đẳng thức n>r =n1>r1 = n2 > r2. Dãy số nguyên dương này giảm
dần và cần phải kết thúc ở 0, do đó sau một số hữu hạn bước nào đó giá trị của r phải =
0 và thuật toán phải dừng lại.
Với một vấn đề đặt ra, có thể có một hoặc nhiều thuật toán giải. Một vấn đề có thuật toán
giải gọi là vấn đề giải được (bằng thuật toán). Chẳng hạn, tìm nghiệm của hệ phương
trình tuyến tính là vấn đề giải được. Một vấn đề không tồn tại thuật toán gọi là vấn đề
không giải được (bằng thuật toán). Một trong những thành tựu suất xắc nhất của toán
học thế kỷ 20 là đã tìm ra những vấn đề không giải được bằng thuật toán. Chẳng hạn
thuật toán chắc thắng cho người thứ hai của cờ ca rô hoặc thuật toán xác định xem một
máy Turing có dừng lại sau n bước không, đềulà những vấn đề không tồn tại thuật toán
giải được.
Thiết kế thuật toán
Để giải một bài toán trên máy tính điện tử (MTĐT), điều trước tiên là chúng ta phải có
thuật toán. Một câu hỏi đặt ra là làm thế nào để tìm ra được thuật toán cho một bài toán
đã đặt ra- Lớp các bài toán được đặt ra từ các ngành khoa học kỹ thuật, từ các lĩnh vực
hoạt động của con người là hết sức phong phú và đa dạng. Các thuật toán giải các lớp
bài toán khác nhau cũng rất khác nhau. Tuy nhiên, có một số kỹ thuật thiết kế thuật toán
chung như: Chia để trị (divide-and-conque), phương pháp tham ăn (greedy method), qui
hoạch động (dynamic programming) Việc nắm được các chiến lược thiết kế thuật toán
này là hết sức quan trọng và cần thiết vì nó giúp cho ta dễ tìm ra các thuật toán mới cho

các bài toán mới được đưa ra.
Tính đúng đắn của thuật toán
Khi một thuật toán được làm ra, ta cần phải chứng minh rằng, thuật toán khi được thực
hiện sẽ cho ta kết quả đúng với mọi dữ liệu vào hợp lệ. Điều này gọi là chứng minh tính
đúng đắn của thuật toán. Việc chứng minh tính đúng đắn của thuật toán là một công việc
không dễ dàng. Trong nhiều trường hợp, nó đòi hỏi ta phải có trình độ và khả năng tư
duy toán học tốt.
Sau đây ta sẽ chỉ ra rằng, khi thực hiện thuật toán Euclid, g sẽ là ước chung lớn nhất
của hai số nguyên dương bất kỳ m, n. Thật vậy, khi thực hiện bước 1, ta có m = qn + r,
trong đó q là số nguyên nào đó. Nếu r = 0 thì n là ước của m và hiển nhiên n (do đó g)
là ước chung lớn nhất của m và n. Nếu r 0 thì một ước chung bất kỳ của m và n cũng là
ước chung của n và r (vì r=m-qn). Ngược lại một ước chung bất kỳ của n và r cũng là
ước chung của m và n (vì m = qn + r). Do đó ước chung lớn nhất của n và r cũng là ước
chung lớn nhất của ma và n. Vì vậy, khi thực hiện lặp lại bước 1, với sự thay đổi giá trị
17/129
của m bởi n, và sự thay đổi giá trị của n bởi r, cho tới khi r=0 ta nhận được giá trị của g
là ước chung lớn nhất của các giá trị m và n ban đầu.
Phân tích thuật toán
Giả sử, với một số bài toán nào đó chúng ta có một số thuật toán giải. Một câu hỏi mới
xuất hiện là, chúng ta cần chọn thuật toán nào trong số các thuật toán đó để áp dụng.
Việc phân tích thuật toán, đánh giá độ phức tạp của thuật toán là nội dung của phần dưới
đây sẽ giải quyết vấn đề này.
Đánh giá hiệu quả của thuật toán
Khi giải một vấn đề, chúng ta cần chọn trong số các thuật toán, một thuật toán mà chúng
ta cho là “tốt” nhất .Vậy ta cần lựa chọn thuật toán dựa trên cơ sở nào- Thông thường ta
dựa trên hai tiêu chuẩn sau đây:
• Thuật toán đơn giản, dễ hiểu, dễ cài đặt (dễ viết chương trình)
• Thuật toán sử dụng tiết kiệm nhất các nguồn tài nguyên của máy tính, và đặc
biệt chạy nhanh nhất có thể được.
Khi ta viết một chương trình chỉ để sử dụng một số ít lần, và cái giá của thời gian viết

chương trình vượt xa cái giá của chạy chương trình thì tiêu chuẩn (1) là quan trọng nhất.
Nhưng có trường hợp ta cần viết các chương trình (hoặc thủ tục, hàm) để sử dụng nhiều
lần, cho nhiều người sử dụng, khi đó giá của thời gian chạy chương trình sẽ vượt xa giá
viết nó. Chẳng hạn, các thủ tục sắp xếp, tìm kiếm được sử dụng rất nhiều lần, bởi rất
nhiều người trong các bài toán khác nhau. Trong trường hợp này ta cần dựa trên tiêu
chuẩn 2. Ta sẽ cài đặt thuật táon có thể sẽ rất phức tạp, miễn là chương trình nhận được
chạy nhanh hơn so với các chương trình khác.
Tiêu chuẩn 2 được xem là tínhhiệuquảcủa thuật toán. Tính hiệu quả của thuật toán bao
gồm hai nhân tố cơ bản:
Dung lượng không gian nhớ cần thiết để lưu giữ các giữ liệu vào, các kết quả tính toán
trung gian và các kết quả của thuật toán.
Thời gian cần thiết để thực hiện thuật toán (ta gọi là thời gian chạy). Chúng ta chỉ quan
tâm đến thời gian thực hiện thuậ toán, có nghĩa là ta nói đến đánh giá thời gian thực
hiện. Một thuật toán có hiệu quả được xem là thuật toán có thời gian chạy ít hơn so với
các thuật toán khác.
18/129
Các phương pháp biểu diễn thuật toán
Có nhiều phương pháp biểu diễn thuật toán .Có thể biểu diễn thuật toán bằng danh sách
các bước, các bước được diễn đạt bằng ngôn ngữ thông thường và các ký hiệu toán học.
Có thể biểu diễn thuật toán bằng sơ đồ khối. Tuy nhiên, để đảm bảo tính xác định của
thuật toán như đã trình bày trên, thuật toán cần được viết trên các ngôn ngữ lập trình.
Một chương trình là sự biểu diễn của một thuật toán trong ngôn ngữ lập trình đã chọn.
Thông thường ta dùng ngôn ngữ lập trình Pascal, một ngôn ngữ thường được chọn để
trình bày các thuật toán trong sách báo.
Ngôn ngữ thuật toán là ngôn ngữ dùng để miêu tả thuật toán .Thông thường ngôn ngữ
thuật toán bao gồm ba loại:
+ Ngôn ngữ liệt kê từng bước;
+ Sơ đồ khối;
+ Ngôn ngữ lập trình;
Phương pháp liệt kê từng bước

Ngôn ngữ liệt kê từng bước nội dung như sau:
Thuật toán: Tên thuật toán và chức năng.
Vào: Dữ liệu vào với tên kiểu.
Ra: Các dữ liệu ra với tên kiểu.
Biến phụ (nếu có) gồm tên kiểu.
Hành động là các thao tác với các lệnh có nhãn là các số tự nhiên.
Để giải phương trình bậc hai ax2 + bx +c = 0, ta có thể mô tả thuật toán bằng
ngôn ngữ liệt kê như sau:
Bước 1: Xác định các hệ số a, b, c.
Bước 2: Kiểm tra xem các hệ số a, b, c có khác 0 hay không- Nếu a=0 quay lại thực hiện
bước 1.
Bước 3: Tính biểu thức Δ= b2 – 4*a*c.
19/129
Bước 4: Nếu Δ <0 thông báo phương trình vô nghiệm và chuyển sang bước 8. Bước 5:
Nếu Δ=0, tính x1=x2=
− b
2 ∗ a
và chuyển sang bước 7.
Bước 6: Tính x1=
− b +
√
Δ
2a
, x2=
− b −
√
Δ
2a
và chuyển sang bước 7. Bước 7: Thông báo các
nghiệm x1, x2.

Bước 8: Kết thúc thuật toán.
Phương pháp sơ đồ
Phương pháp dùng sơ đồ khối mô tả thuật toán là dùng mô tả theo sơ đồ trên mặt
phẳng các bước của thuật toán. Sơ đồ khối có ưu điểm là rất trực giác dễ bao quát.
Để mô tả thuật toán bằng sơ đồ khối ta cần dựa vào các nút sau đây:
Nútthaotác:Biểu diễn bằng hình chữ nhật,
Nútđiềukhiển:Được biểu diễn bằng hình thoi, trong đó ghi điều kiện cần kiểm tra trong
quá trình tính toán.
Nútkhởiđầu,kếtthúc:Thường được biểu diễn bằng hình
tròn thể hiện sự bắt đầu hay kết thúc quá trình.
Cung:Đoạnnối từ nút này đến nút khác và có mũi tên chỉ hướng.
20/129
Một số cấu trúc dữ liệu cơ bản
Danh sách
Danh sách là một tập sắp thứ tự các phần tử cùng một kiểu. Đối với danh sách, người ta
có một số thao tác: Tìm một phần tử trong danh sách, chèn một phần tử vào danh sách,
xoá một phần tử khỏi danh sách, sắp xếp lại các phần tử trong danh sách theo một trật
tự nào đó v.v
Các phương pháp biểu diễn danh sách trong máy tính:
- Mảng một chiều
- Danh sách nối đơn
21/129
- Danh sách nối kép
- Danh sách nối vòng một hướng
- Danh sách nối vòng hai hướng
Các phép toán cơ bản trên danh sách
Để thiết lập kiểu dữ liệu trừu tượng danh sách (hay ngắn gọn là danh sách) ta phải định
nghĩa các phép toán trên danh sách. Và như chúng ta sẽ thấy trong toàn bộ giáo trình,
khôngc ó một tập hợp các phép toán nào thích hợp cho mọi ứng dụng (application). Vì
vậy ở đây ta sẽ định nghĩa một số phép toán cơ bản nhất trên danh sách. Để thuận tiện

cho việc định nghĩa ta giả sử rằng danh sách gồm các phần tử có kiểu là kiểu phần tử
(elementType); vị trí của các phần tử trong danh sách có kiểu là kiểu vị trí và vị trí sau
phần tử cuối cùng trong danh sách L là ENDLIST(L). Cần nhấn mạnh rằng khái niệm
vị trí (position) là do ta định nghĩa, nó không phải là giá trị của các phần tử trong danh
sách. Vị trí có thể là đồng nhất với vị trí lưu trữ phần tử hoặc không.
Các phép toán được định nghĩa trên danh sách là:
INSERT_LIST(x,p,L):xen phần tử x ( kiểu ElementType ) tại vị trí p (kiểu
position) trong danh sách L. Tức là nếu danh sách là a1, a2, . , ap-1, ap, , an thì sau khi
xen ta có kết quả a1, a2. . . ap-1, x, ap, . . . , an. Nếu vị trí p không tồn tại trong danh
sách thì phép toán không được xác định.
LOCATE(x,L):thực hiện việc định vị phần tử có nội dung x đầu tiên trong danh sách
L. Locate trả kết quả là vị trí (kiểu position) của phần tử x trong danh sách. Nếu x không
có trong danh sách thì vị trí sau phần tử cuối cùng của danh sách được trả về, tức là
ENDLIST(L).
- RETRIEVE(p,L):lấy giá trị của phần tử ở vị trí p (kiểu position) của danh sách L; nếu
vị trí p không có trong danh sách thì kết quả không xác định (có thể thông báo lỗi).
- DELETE_LIST(p,L):chương trình con thực hiện việc xoá phần tử ở vị trí p (kiểu
position) của danh sách. Nếu vị trí p không có trong danh sách thì phép toán không được
định nghĩa và danh sách L sẽ không thay đổi
- NEXT(p,L):cho kết quả là vị trí của phần tử (kiểu position) đi sau phần tử p; nếu p là
phần tử cuối cùng trong danh sách L thì NEXT(p,L) cho kết quả là
ENDLIST(L):Next không xác định nếu p không phải là vị trí của một phần tử trong
danh sách.
22/129
- PREVIOUS(p,L):cho kết quả là vị trí của phần tử đứng trước phần tử p trong danh
sách. Nếu p là phần tử đầu tiên trong danh sách thì Previous(p,L) không xác định.
Previous cũng không xác định trong trường hợp p không phải là vị trí của phần tử nào
trong danh sách.
- FIRST(L):cho kết quả là vị trí của phần tử đầu tiên trong danh sách. Nếu danh sách
rỗng thì ENDLIST(L) được trả về.

- EMPTY_LIST(L):cho kết quả TRUE nếu danh sách có rỗng, ngược lại nó cho giá trị
FALSE.
- MAKENULL_LIST(L):khởi tạo một danh sách L rỗng.
- Trong thiết kế các giải thuật sau này chúng ta dùng các phép toán trừu tượng đã được
định nghĩa ở đây như là các phép toán nguyên thủy.
Đồ thị
Các định nghĩa
Một đồ thị G bao gồm một tập hợp V các đỉnh và một tập hợp E các cung, ký hiệu
G=(V,E). Các đỉnh còn được gọi là nút (node) hay điểm (point). Các cung nối giữa
hai đỉnh, hai đỉnh này có thể trùng nhau. Hai đỉnh có cung nối nhau gọi là hai đỉnh kề
(adjacency). Một cung nối giữa hai đỉnh v, w có thể coi như là một cặp điểm (v,w). Nếu
cặp này có thứ tự thì ta có cung có thứ tự, ngược lại thì cung không có thứ tự. Nếu các
cung trong đồ thị G có thứ tự thì G gọi là đồ thị có hướng (directed graph). Nếu các cung
trong đồ thị G không có thứ tự thì đồ thị G là đồ thị vô hướng (undirected graph).
Biểu diễn đồ thị
- Biểu diễn đồ thị bằng ma trận kề
- Biểu diễn đồ thị bằng danh sách các đỉnh kề:
Các phép duyệt đồ thị
- Duyệt theo chiều sâu (depth-first search)
- Duyệt theo chiều rộng (breadth-first search)
23/129