đề cương môn lý thuyết truyền tin (lý thuyết thông tin)

Chương 2: Phân Tích Tín Hiệu Xác Định Và Tín Hiệu Ngẫu
Nhiên
Câu 1: Tín hiệu lowpass và bandpass là gì?
 Tín hiệu lowpass là tín hiệu tần số thấp dạng phức có
phổ tần năm xung quanh tần số 0.
 Tín hiệu bandpass là các tín hiệu tần số thực hẹp và cao.
Là 1 tín hiệu thực có phổ tần xquanh tần số 

xa dần từ
0.
Câu 2: Mục tiêu biểu diễn tín hiệu bandpass về lowpass?
 Giúp đơn giản hóa việc xử lý tín hiệu bandpass do tín
hiệu lowpass có tần số lấy mẫu thấp và các thuật toán
xử lý tín hiệu đơn giản hơn.
Câu 3: Khai triển trực giao tín hiệu là gì? Nó dùng để làm gì?
 Hai tín hiệu f(t) và g(t) gọi là trực giao với nhau nếu
chúng thỏa mãn điều kiện :

(

)

(

)
∗
 =

 ≠0 ℎ 
(


)
=()
0 ℎ 
(

)
≠ 
(

)




 đó ()
∗
là liên hợp phức của g(t)
 Trực giao tín hiệu dùng để phân tích các tín hiệu phức
tạp thành tổng các thành phần của tín hiệu đơn giản
thỏa mãn điều kiện trực giao.
Câu 4: Chuỗi markov là gì ?
 Là quá trình ngẫu nhiên rời rạc theo thời gian trong đó
các giá trị hiện tại phụ thuộc vào các giá trị trước đó
thông qua các tác nhân tác động vào nó.
Câu 5: Sử dụng chuỗi markov để làm gì?
 Mô hình hóa các trạng thái ngẫu nhiên của các biến rời
rạc có điều kiện về dữ liệu quan sát.
Câu 6: Tại sao đưa ra quá trình ngẫu nhiên dừng vòng?
- Để biểu thị tốc độ truyền các kí hiệu mang thông tin
trong 1 chu kỳ T và được xác định bởi trị trung bình và

hàm tự tương quan X(t).
Câu 7: Quá trình ngẫu nhiên dừng là gì?
- Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa
chặt nếu mật độ xác suất n- chiều của nó W
n
(x
1,
x
2,x
X
n
;
t
1,
t
2,
t
n
) với n tùy ý chỉ phụ thuộc vào độ lớn hiệu thời
gian t
i
-t
j
(i khác j); i=1,


; j=1,


; mà không phụ thuộc vào

vị trí các thời điểm t
i
,t
j
trên trục thời gian. Nói cách khác
là mật độ xác suất n chiều của nó phụ thuộc vào việc
chon gốc thời gian.
- Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa
rộng nếu nó thỏa mãn các điều kiện sau:


[

(

)]
=


(


,

)
= 

(



− 

)
= 

()


Câu 8: Không gian tín hiệu k gian vector có tương đương với
nhau không?
 Có tương đương trong trường hợp truyền tín hiệu

1. Trong giới hạn(bất đẳng thức Markov và giới hạn
Chernov) cái nào hay hơn?

2. Muốn chuẩn hóa Gauss khi nó chưa chuẩn hóa thì phải
làm như thế nào?
3. Khai triển cho các quá trình ngẫu nhiên để làm gì?
4. Vùng dưới ngưỡng là gì? Đưa ra vùng dưới ngưỡng để
làm gì?
5. Không gian vectơ và không gian tín hiệu có quan hệ gì
với nhau?
6. Tại sao đưa ra g/hạn trên xác xuất ngưỡng?

Chương 3 : Phương pháp điều chế số
1.Tín hiệu điều chế nhiều chiều là gì? Và gồm những
chiều nào?
*)Ta thấy rằng tín hiệu điều chế số cả về biên độ và pha
tương ứng với vecto trong không gian tín hiệu 2 chiều . Nếu
ta muốn xây dựng các tín hiệu tương ứng với các vecto trong

không gian nhiều chiều hơn , ta có thể sử dụng hoặc miền
thời gian hoặc miền tần số , hoặc cả hai để nâng số chiều của
tín hiệu.
*)gồm có:
- Orthogonal Signaling
- Biorthogonal Signaling
- Simplex Signaling
- Tín hiệu từ mã nhị phân
2.Độ phân cách tần số để làm gì ?
Để ko bị hiện tượng điều chế chéo giữa các tín hiệu trong N
vật mang.
3.Ưu điểm của điều chế nhiều chiều so với các loại điều
chế khác ?
Có thể sủ dụng đồng thời cả miền thời gian và miền tần số để
truyền vecto tín hiệu N chiều.
5.Phổ tín hiệu điều chế không gian nhớ là ntn?
Tín hiệu điều chế có nhớ có phổ hẹp và hầu như không có
thành phần 1 chiều .
6.Phổ tín hiệu dùng làm gì ?
Do dãy thông tin số là ngẫu nhiên , tín hiệu điều chế số là 1
quá trình ngẫu nhiên . Ta cần xđ phổ mật độ công suất của
các quá trình ngẫu nhiên mô tả tín hiêu điều chế số . Từ phổ
mật độ công suất ta có thẻ xđ dải thông cần thiết của kênh
để truyền tín hiệu mang thông tin .
7. Khoảng cách Ơ-clid là gi?
Khoảng cách Ơ-clid là khoảng cách giữa 2 điểm trong không
gian, xác định bằng công thức pitago. Khoảng cách Ơ-clid
giữa 2 điểm tín hiệu là 1 cách để đo lường sự tương quan hay
ko tương quan giữa các tín hiệu hay các vecto tương ứng với
các tín hiệu .

8. Tín hiệu QAM có gì tốt hơn so với tín hiệu PSK và PAM ?
-Tín hiệu QAM thay đổi được cả biên độ và pha của sóng
mang còn PAM và PSK thì chỉ thay đổi được biên độ hoặc pha
sóng mang thông tin > Hiệu năng phổ của QAM cao hơn (
tức tạo thông lượng cao hơn cho dữ liệu ).
9. Khoảng cách dmin giữa các điểm tín hiệu có giống nhau
không?
Dmin là khoảng cách giữa 2 điểm tín hiệu liền nhau. Khoảng
cách dmin là như nhau, vì trong công thức xác định có:
dmin = 

= 2

(

∗ 



)

,chỉ phụ thuộc vào
M và 

.
10.CPM khác gì so với CPFSK?
Khác nhau về phổ trong trường hợp M=4 và L=3, phổ của
CPM trong trường hợp này hẹp hơn do xung g(t) đều đặn
hơn so với xung chữ nhật trong tín hiệu CPFSK.
11. Tín hiệu có băng tần hạn chế, kênh có băng tần hạn chế

là gì?
- Tín hiệu và kênh thỏa mãn điều kiện dải thông nhỏ hơn
nhiều so với tần số của vật mang
12 Mô hình kênh tín hiệu và kênh vecto khác nhau ntn?
13 Có các pp thu nào? MAP và ML khác nhau ntn?
- Các thông tin số được chuyển thành dạng tín hiệu phù
hợp với kênh truyền tin
14 Nhận xét về pp điều chế số ( xét các hậu quả )
- các thông tin số được chuyển đổi thành dạng tín hiệu
phù hợp với kênh truyền tin.
15 tại sao khi truyền CPM thì goi là kênh cs hạn chế?
……………………PSK………băng tần bạn chế?
16.mã GRAY là gì? Tại sao dùng mã Gray?
- Là quá trình biến đổi hay gán K bit thông tin thành M tín
hiệu khác nhau về biên độ , mà các tín hiệu kề nhau khác
nhau một ký hiệu nhị phân. Pp này được sử dụng do phần lớn
sai nhầm gây ra bởi nhiễu sẽ biến 1 tín hiệu thành 1 tín hiệu
liền kề( 2 tín hiệu có biên độ liên tiếp nhau) trong trường hợp
này chỉ có 1 bit bị sai nhầm trong dãy k bit.
17. Tín hiệu PAM gọi là băng tần sơ sở khi nó có thể truyền
trực tiếp qua kênh mà không cần vật mang.
18. nhiễu sóng: khi sóng đến radio yếu, mọi sự thay đổi biến
động xung quanh nó đều có thể làm thay đổi cường độ sóng
thu được đáng kể

Chương 6 : mã hóa nguồn
Câu 1: mã hóa nguồn là gì ?
Mã hóa nguồn là quá trình dùng các ký hiệu mã hóa để biểu
diễn các tin của nguồn .
Câu 2: mã hóa shanon khác mã hóa huffman ntn?
Shanon fanno: đã xây dựng phương pháp lập mã thống kê tối
ưu trên cùng một cơ sở .độ dài của từ mã tỷ lệ nghịch với xác
suất xuất hiện của từ mã.
Huffman : mã hóa từng ký hiệu của nguồn .
Câu 3:ý nghĩa cuả lượng tin ?
Là mức độ bị thủ tiêu của đọ bất định =>độ chênh lệch của
độ bất định trước và ngay sau khi nhận tin.
Lượng tin của nguồn là cơ sở để tính ra số liệu của entropy.
Câu 4 entropy là gì?
Entropy là lượng thông tin trumg bình trên một ký hiệu
nguồn.
Câu 5: ý nghĩa của hàm tạo tốc độ tạo tin sai lệch:
Là giới hạn dưới của tốc độ tạo tin của nguồn với mức sai
lệch đã cho.
Câu 6: các thuật toán nén có tổn hao là:
Huffman và shannon fano.
Câu 7: nguồn rời rạc là gì?
Nguồn rời rác là nguồn tạo ra các tin dưới dạng rời rạc.
Nguồn thông tin rời rạc là nguồn tạo ra các chuỗi biến ngẫu
nhiên rời rạc. x1,x2,x3…
Ký hiệu là phần tử nhỏ nhất chứa thông tin .
Câu 8: nguồn rời rạc không nhớ, nguồn rời rạc có nhớ là gì?
Nguồn rời rạc ko nhớ :Là nguồn mà xác suất xuất hiện một ký
hiệu không phụ thuộc vào các ký hiệu xuất hiện trước.
Nguồn rời rạc có nhớ : là nguồn mà xác suất xuất hiện 1 ký

hiệu phụ thuộc vào 1 hay nhiều các ký hiệu đã xuất hiện
trước nếu khả năng nhớ của nguồn là đủ lớn.
Câu 9: sự khác nhau giữa mã hóa nguồn rời rạc ko nhớ và
nguồn rời rạc có nhớ
Mã hóa nguồn rời rạc ko nhớ

- Không cần mã hóa lần
lượt theo thứ tự các ký
hiệu ko cần thiết mà
lượng tin truyền đi vẫn
đạt yêu cầu
Mã hóa nguồn rời rạc có nhớ

- Phải mã hóa liên tục các
ký hiệu theo thứ tự, ko
được bỏ sót ký tự nào .

Câu 10: ý nghĩa của lượng thông tin kênh
Chính là giới hạn trên để truyền đảm bảo an toàn trên kênh
đó.
Câu 11: lượng tin riêng, lượng tin tương hỗ , lượng tin có
điều kiện:
Lượng tin ban đầu là lượng tin còn lại của x
i
sau khi nhận
được y
i
bằng cách xác định hậu nghiệm I(x
i
|y

i
) = -log p(x
i
|y
i
)
Lượng tin tương hỗ: I(x
i
,y
i
) = I(x
i
) - I(x
i
|y
i
) =log (p(x
i
|y
i
) /
p(x
i
)).
Lượng tin về x
i
chứa trong y
i
có nghĩa là tương hỗ giữa x
i

và y
i

với nhưng dữ kiện đã cho của bài toán truyền tin là xác suất
ban đầu p(x
i
) và xác suất chuyển đổi p(x
i
|y
i
),
I(x
i
,y
i
) là lượng tin còn lại của x
i
sau khi đã nhận của y
i
gọi là
lượng tin có điều kiện .
Câu 12 ý nghĩa của lượng tin riêng
Là lượng tin tương hỗ cực đại giữa x
i
và y
i

Câu 13: lượng tin trung bình
Là lượng tin trung bình chứa trong 1 ký hiệu bất kỳ của
nguồn đã cho :

Câu 14 một số nguồn
Nguồn dừng: là nguồn mà xác suất xuất hiện các ký hiệu ko
phụ thuộc vào gốc thời gian mà chỉ phụ thuộc vào vị trí tương
quan giữa các ký hiệu .
Nguồn có tốc độ thông tin đk đc : là nguồn có thể tạo ra các
tin với tốc độ phụ thuộc vào các yếu tố bên ngoài nguồn và
ko có ràng buộc nội tại về thời gian trang việc tạo ra tin,
Nguồn có tốc độ thông tin ko điều khiển đc: là nguồn tạo ra
các bản tin có tốc độ có định ,ko đk đc từ bên ngoài nguồn
,tốc độ này là 1 tính chất nội tại của nguồn
Câu 15 kênh đầu vào liên tục đầu ra có nhớ : là kênh lượng
tử hóa, kênh rời rạc hóa.
Ý nghĩa cuả việc sử dụng kênh đầu vào rời rạc đầu ra liên tục:
là dùng để mã hóa nguồn rời rạc cho đầu ra là liên tục
Kênh là sự liên hệ giữa nguồn tin và nơi nhận tin
Câu 16: mô hình kênh nhị phân đối xứng
0 0 [
1 −  
 1 − 
]
1 1 ma trận chuyển đổi của kênh nhị phân có
nhiễu đx
Kênh nhị phân đối xứng là kênh có đầu vào là các giá trị 0,1,
tập hợp đầu ra là các giá trị 0 và 1.
Câu 17 : tại sao lại dùng hàm logarit trong công thức tính
thông lượng kênh
Vì xuất phát ban đầu tính toán các kênh nối tiếp vs nhau .
nếu ko dùng hàm logarit sẽ phải gặp nhiều phép toán nhân
chia. Phù hợp vs tính các lượng thông tin dung log để thông

nhất đơn vị vs các lượng tin khác nữa.
Câu 18 : ý nghĩa của hàm sai lệch tốc độ tạo tin
Là tính toán sự tổn hao, mất mát khi nén dữ liệu và truyền tin
đưa ra các giả thiết để tính toán entropy.
Câu 19 hàm an toàn kênh
Đặc trưng cho xác suất sai khi truyền trên kênh AWGN có dải
thông hữu hạn ( có xác suất chặn trên và chặn dưới).
Câu 20 nén ko mất dữ liệu : dữ liệu đc khôi phục chính xác
Nén mất dữ liệu : phân bố đủ số bit cần thiết để khôi
phục dữ liệu , trong mật độ chính xác định trước .
Câu 21 nén tổn hao dữ liệu và nén ko tổn hao dữ liệu khác
nhau :
Nén tổn hao dữ liệu thì sau khi ta giải nén ra dữ liệu sẽ bị mất
mát 1 lượng tin nào đó so vs dữ liệu ban đầu
Nén ko tồn hao dữ liệu là sau khi giải nén thì lượng tin đó ko
sai khác j so vs lượng tin ban đầu
Câu 22 nén dữ liệu
Là việc thực hiện thu gọn kích thước của các tập tin hoặc làm
cho thông tin lưu trữ chiếm trong ko gian ít đi
Câu 23 kênh ko nhớ
Là kênh có những tin nhận đc sau ko phụ thuộc vào những tin
nhận đc trước
Câu 24 mã hiệu
Là 1 tập hợp hữu hạn các dấu riêng biệt hay bằng chữ riêng
(còn gọi là dấu mã hay ký hiệu mã )có phân bố xác suất thỏa
mãn 1 số quy định
Câu 25 : mã ngẫu nhiên dùng để làm gì
Dùng để đưa ra các giới hạn về xác suất sai khi truyền tin trên
kênh

Chương 7: mã khối tuyến tính
Câu 1: đặc điểm chung của mã khối tuyến tính
Mã khối tuyến tính đc xây dựng trên kết quả của đại số tuyến
tính, là 1 lớp mã dùng phổ biến trong việc chống nhiễu. đc
đặc trưng bởi 2 số nguyên n và k và 1 ma trận sinh.
 Định nghĩa: 1 mã khối có chiều dài n gồm 2
k
từ mã đc gọi
là mã khối tuyến tính C(n,k) nếu và chỉ nếu 2
k
từ mã
hình thành 1 không gian vecto k chiều của không gian
vecto n chiều.
* mục đích: mã hóa những khối tin k bit thành những từ
mã n bit
 Việc mã hóa và giải mã hóa thực hiện phép cộng và
phép nhân số học
Câu 2: khoảng cách hamming là gì ?
Giả sử có 2 từ mã C
i
và C
j
trong mã khối (n,k), sự khác nhau
giữa các ký hiệu tương ứng hay vị trí tương ứng gọi là khoảng
cách hamming giữa 2 từ mã.ký hiệu là d
ij
. Giá trị nhỏ nhất
trong tập hợp (d

ij
) gọi là khoảng cách tối thiểu giữa 2 từ mã
(hay là khoảng cách hamming của bộ mã )
 Khoảng cách hamming của mã khối tuyến tính bằng
trọng số khác 0 của bộ mã đó
Câu 3: người ta đưa ra khái niệm không gian vecto để làm
gì?
Để biểu diễn các tín hiệu, các từ mã trong mã khối tuyến tính.
Câu 4: Xác suất lỗi của mã khối tuyến tính là gì?
Là xác suất gặp phải khi tổ hợp tín hiệu nhận đc có phải là từ
mã hay ko,nếu ko là tổ hợp nhận sai Các xác suất lỗi của mã
khối tuyến tính được định nghĩa là tỷ lệ số lượng dự kiến của
các bit nhận được trong lỗi cho tổng số bit truyền
Có 2 loại xác suất lỗi
 Xác suất lỗi khối là xác suất truyền một từ mã 

và phát
hiện một từ mã 

khác.
 Xác suất lỗi bit là khả năng nhận một chút thông tin
được truyền trong lỗi.
Câu 5: ma trận sinh và ma trận kiểm tra paraty
MKTT C(n,k) là 1 ko gian vecto k chiều của ko gain vecto n
chiều nên tồn tại k từ mã độc lập tuyến tính sao cho mỗi từ
mã trong C là 1 tổ hợp tuyến tính của k từ mã này (a
i
∈ {0,1}
với mọi i= 0,1….k-1)
w = a

0
g
0
+ a
1
g
1
+…+ a
k-1
g
k-1

k từ mã này lập thành 1 ma trận cấp kxn . vì các từ mã tương
ứng với các thông báo đc sinh ra bởi G theo cách trên nên G
là ma trận sinh của bộ mã
Ma trận sinh G có thể chuyển về dạng hệ thống như sau:
G=
[


]
.
[

]


là ma trận đvị kxk, p là ma trận kx(n-k)
Ma trận kiểm tra paraty của 1 bộ mã có ma trận sinh là G
kxn

là
ma trận H có kích thước (n-k)xn sao cho Gx H
T
=0
giả thiết mã (n,k) là mã hệ thống và ma trận sinh G ở dạng hệ
thống nên :
H = − 

| 

 dấu – có thể bỏ qua
nếu là mã nhị phân vì trong GF(2) phép trừ hoàn toàn giống
phép cộng
câu 6: giải mã xác định mềm và giải mã xác định cứng
giải mã xác định mềm ko giải mã từng bit một mà giải mã cả
từ mã từ tín hiệu.
giải mã xác định cứng là giải mã từng bit một, xác đinh từng
bit là 1 hay 0
trong cùng 1 điều kiện thì giải mã xác định mềm tốt hơn cứng
vì với cùng 1 xác suất lỗi thì sự chênh lệch tỷ số tín hiệu trên
nhiễu là khoảng 2dB, nhưng giải mã xác định mềm độ dài từ
mã lớn , độ giải mã phức tạp
câu 7 : ý nghĩa về việc chỉnh sửa của các loại mã khối
để phù hợp với nhu cầu truyền đi những thông tin khác nhau
câu 8: mã vòng
 Định nghĩa:
Một mã tuyến tính C(n,k) được gọi là mã cyclic (mã theo chu
kỳ hay nói cách khác là mã vòng) nếu và chỉ nếu dịch chuyển
của một từ mã cũng là một từ mã,nghĩa là nếu
w = a

0
a
1
…a
n-2
a
n-1
là một mã thì v = a
n-1
a
1
a
2
…a
n-2
cũng là một
từ mã.
 Đa thức mã:
nếu w = a
0
a
1
…a
n-2
a
n-1
là một từ mã thì
w (x)= a
0
+ a

1
x + a
2
x
2
+…+a
n-1
x
n-1
là một đa thức mã tương ứng
với từ mã w
 T/c1:Với một mã cyclic chỉ tồn tại duy nhất một đa thức
mã khác 0 có bậc nhỏ nhất,hay nói cách khác không tồn
tại hai đa thức mã khác 0,khác nhau và có cùng bậc nhỏ
nhất.chúng ta ký hiệu đa thức mã có bậc nhỏ nhất của
một mã là g(X) như sau:
g(X)=g
0
+g
1
x +…+g
r-1
.x
r-1
+x
r

 T/c2:hệ số tự do g
0
của g(X) phải bằng 1

 T/c3:Một đa thức v(X) trên trường F2 có bậc ≤ n-1 là đa
thức mã nếu và chỉ nếu nó là một bội số của g(X).tức là
có thể viết v(X)=q(X).g(X)
 T/c4: Đa thức sinh của một mã vòng c(n,k) có bậc r = n-
k.
 T/c5:Đa thức sinh của mã vòng c(n,k) là một ước số của
x
n
+1
• T/c6:Nếu g(X) là một đa thức có bậc (n-k) và là ước số
của X
n
+1

thì g(X) sinh ra mã vòng c(n,k).hay nói cách
khác g(X) là đa thức sinh của một mã vòng c(n,k) nào đó
.
tất cả đa thức mã tương ứng với các từ mã của mã vòng này
là các đa thức có dạng v(X) = a
0
g(X) + a
1
x*g(X) + …+a
k-1
x
k-
1
*g(X)
Như vậy mỗi từ mã là tổ họp tuyến tính của các từ mã có
các đa thức mã tương ứng g(X),x*g(X),…,x

k-1
*g(X)
Nhắc lại g(X)=g
0
+g
1
x +…+g
n-k
.X
n-k

Trong đó g
0
=g
n-1
=1
Khi đã có ma trân sinh,thì mã hóa cyclic là quá trình mã hóa
thông báo u =a
0
a
1
…a
k-1
thành từ mã w =u.G
ma trận sinh dạng hệ thống phải có dạng
G
ht (kxn)
= [ X
kx(n-k)
| I

k
]
Ma trận kiểm tra của mã vòng
 Định lý: Nếu ma trận sinh của mã c(n,k) có dạng chuẩn G
= ( I
k
X) thì H = ( -X
T
I
n – k
) là ma trận kiểm tra của C.

H là ma trận kích thước (n-k).n trong đó cột thứ i ký kiệu là
c
i
chính là từ có độ dài n-k tương ứng với r
i
(x) =x
i
mod
g(x).ta nhận thấy H chính là ma trận kiểm tra của mã vì với:
c(x) = a + a
1
x+…a
n-1
x
n-1
là một đa thức mã.