Đồng bộ dữ liệu audio video, truyền dòng video đảm bảo đồng bộ dữ liệu

Bài BÁO CÁO
Môn: Truyền thông
đa phương tiện
Đề tài 14: Đồng bộ dữ liệu audio – video. Truyền
dòng video đảm bảo đồng bộ dữ liệu.
Nội dung
•
Các kiểu dữ liệu đa phương tiện
•
Tổng quan về đồng bộ đa phương tiện
•
Một số phương pháp đồng bộ audio – video
Đồng bộ dữ liệu audio - video
Truyền dòng video đảm bảo đồng bộ dữ liệu
•
Truyền dòng là gì?
•
Nghiên cứu mô hình truyền dữ liệu đa phương tiện trong hội
nghị
I. Đồng bộ dữ liệu audio – video.
1. Các kiểu dữ liệu đa phương tiện.
Ta có thể chia kiểu phương tiện thành hai loại: Phụ thuộc vào thời
gian (temporal) và không phụ thuộc vào thời gian (nontemporal).
Các kiểu phương tiện phụ thuộc vào thời gian bao gồm: audio,
video, nhạc, ảnh động. Các kiểu dữ liệu không phụ thuộc vào thời
gian bao gồm: văn bản text, ảnh tĩnh và đồ họa. Sau đây ta quan
tâm đến dữ liệu phụ thuộc vào thời gian.
a. Video số.
video là một chuỗi các khung hình (frame), mỗi khung hình là một
ảnh số có thể được nén dưới dạng nào đó. Một số điểm cần quan
tâm của video số:

Định dạng tín hiệu tương tự được lấy mẫu: các khung hình video
số có thể được tạo ra một cách nhân tạo hoặc có được từ lấy mẫu
tương tự.
-
Tần số lấy mẫu: ảnh hưởng đến định dạng số do việc chọn tần số
quyết định yêu cầu về dung lượng, tốc độ truyền thông.
-
Kích thước lấy mẫu và lượng tử hóa
-
Tốc độ dữ liệu (data rate).
-
Tốc độ khung hình (frame rate): số khung hình được biểu diễn trong
một giây.
-
Nén: là quá trình xử lý để giảm tốc độ dòng bit.
-
Hỗ trợ tương tác: trình diễn ở các tốc độ khác nhau: tua, cắt, chỉnh
sửa.
b. Audio số.
Audio số có được bằng cách lấy mẫu tín hiệu tương tự sinh ra bởi
một nguồn âm nào đó. Audio số có một số tính chất sau:
1. Các kiểu dữ liệu đa phương tiện
-
Tần số lấy mẫu: để có thể khôi phục lại tín hiệu Audio 1 cách chính
xác từ các mẫu,tần số lấy mẫu phải lớn hơn 2 lần tần số lớn nhất có
trong tín hiệu Audio.
-
Kích thước mẫu: số bít dùng để mã hóa một mẫu audio sau quá
trình lượng tử hóa.

-
Số lượng kênh: tín hiệu stereo chứa 2 kênh,kênh trái và kênh
phải.1 số thiết bị có thể dùng tới 4 kênh hoặc hơn.
-
Xen(Interleaving): Audio đa kênh có thể được mã hóa bằng cách
xem xét các mẫu của kênh hoặc cung cấp nguồn riêng cho từng
kênh.
-
Mã hóa(encoding):giảm chi phí truyền và lưu trữ.
1. Các kiểu dữ liệu đa phương tiện
-
Đồng bộ đa phương tiện bao gồm việc định ngĩa và thiết lập mối qua
hệ về thời gian các kiểu phương tiện.Nó được áp dụng trong các lĩnh
vực phim ảnh, ghi băng từ,đĩa,trình diễn và đặc biệt trong kho ứng
dụng truyền thống đa phương tiện như truyền hình, đào tạo điện
tử…
-
Người ta phân ra làm 2 kiểu đồng bộ:
+ Đồng bộ liên tục (continuous synchronization): là liên tục theo
nghĩa là ta phải luôn luôn theo dõi, điều chỉnh luồng dòng.
+ Đồng bộ rời rạc:còn gọi là đồng bộ theo sự kiện (event
synchronization).Ở đây các hành động, thao tác được bắt đầu và kết
thúc ở thời điểm xác định.
vd: trong một ứng dụng tương tác, việc ấn một nút, kích hoạt một
menu sẽ hiển thị lên màn hình một ảnh và play một đoạn audio số… ở
đây ta muốn hình ảnh và âm thanh đồng thời được phát.
2. Tổng quan về đồng bộ đa phương tiện
-
Đa phương tiện (multimedia): là sự kết hợp các thành phần nhân tạo
từ nhiều nguồn phương tiện.

-
Dữ liệu đa phương tiện (multimedia data): là biểu diễn của đa
phương tiện dưới dạng máy tính có thể hiểu được.
-
Đồng bộ (in sync): là việc thể hiện các dòng dữ liệu tạo cảm giác tự
nhiên cho người xem.
-
Mất đồng bộ (out of sync): việc trình diễn các dòng dữ liệu tạo cảm
giác không thật, thậm chí gây khó chịu cho người xem.
-
Đồng bộ trong một dòng (intrastream synchronization): thực hiện
trên 1 dòng dữ liệu logic.
-
Đồng bộ giữa các dòng (interstream synchronization): là mối quan
hệ thời gian giữa tất cả các đa phương tiện
-
Độ lệch (skew): Là chênh lệch về thời gian giữa các đơn vị logic
2.1 Một số khái niệm trong đồng bộ đa
phương tiện
Một số nhân tố làm quá trình đồng bộ trở nên phức tạp:
-
Lỗi đồng hồ: các thành phần trong hệ thống có thể không dùng một
đồng hồ chung, dẫn đến có sự sai lệch giữa các tín hiệu tham chiếu
-
Trễ truyền và trễ xử lý.
-
Trễ đáp ứng.
-
Các phạm vi chịu lỗi.
-

Thay đổi tốc độ play và hướng thể hiện: tua nhanh, chậm, quay
chậm….
-
Thay đổi tải của thành phần: mỗi thành phần xác định có thể chịu tải
khác nhau dẫn đến chúng yêu cầu về tài nguyên khác nhau.
2.2 Một số vấn đề trong đồng bộ
3. Một số phương pháp đồng bộ audio - video
3.1. Thuật toán đồng bộ dựa trên việc
xây dựng thời gian tham chiếu tuyệt
đối
3.2. Thuật toán đồng bộ thích nghi
3.3. Khôi phục đồng bộ xảy ra do mất
khung hình bằng nội suy bậc hai song
song.
Giao thức truyền thông thời gian thưc là giao thức nằm ở tâng ứng
dụng và trở thành chuẩn cho tất cả các ứng dụng dựa trên kiến trúc
H323.
-
RTP (Read Tiem Tranpost Protocol): Sử dụng chức năng trộn và
truyền.RTP là hoàn toàn độc lập với kiến trúc mạng.Trong mạng TCP/IP
nó hoạt động trên tầng UDP trong khi trong môi trương ATM nó hoạt động
trên AAL5. Tương tự UDP, RTP không có cơ chế đảm bảo các gói tin
được nhận đúng thời điểm và theo thứ tự gửi. RTP chỉ đơn giản là cho
phép nhận theo thời gian thực, đồng thời thêm vào các thông tin về mặt
thời gian, số thứ tự và xác định nguồn cho phần tử dữ liệu trong gói tin…
cho phép phía nhận sắp xếp lại các gói tin theo đúng thứ tự.
-
RTCP (RTP Control): chủ yếu để dùng cung cấp phản hồi về chất lượng
dịch vụ, vì nó mang thông tin về gói tin nhận được.
3.1 Thuật toán đồng bộ dựa trên việc xây

dựng thời gian tham chiếu tuyệt đối
3.1.1 Truyền thông thời gian thực
-
Ý tưởng: khôi phục thời gian từ phía gửi từ gói tin RTCP và thường
xuyên cập nhật giá trị này bằng thông tin lấy từ các gói tin RTP.Nó
dùng 2 thời gian tham chiếu, 1 là cho đồng hồ tuyệt đối, và 2 là tham
chiếu đến RTP. Để khởi động tiến trình, phía nhận phải chờ gói tin
RTCP Sender Report đầu tiên từ phía gửi. Sau đó sẽ phân tích 2 giá
trị nhãn thời gian NTP được chuyển sang giây và micro giây và
được dùng để khỏi động đồng hồ thời gian tuyệt đối trong khi nhãn
thời gian RTP tương ứng được dùng để khởi động thời gian tham
chiếu RTP. Mỗi khi nhận được gói tin mới,nhãn thời gian của nó sẽ
được lưu vào và đọc ở bộ nhớ. Sau đó nó so sánh với thời gian tham
chiếu RTP mới (thay cho giá trị trước đó).Và trong bước tiếp theo nó
sẽ sử dụng độ lệch mới khi nhận được gói tin tiếp theo. Độ lệch này
được cộng vào giá trị tham chiếu thời gian tuyệt đối.
-
Sơ đồ thuật toán sau đây:
3.1.2 Thuật toán xây dựng lại thời gian
3.1.2 Thuật toán xây dựng lại thời gian
Trong đó:
Ref_ts:Thời gian tham chiếu RTP.
Ts_RTPi :là nhãn thời gian của gói
tin thứ i.
Tc: tgian lấy mẫu
Gọi Ts_NTP là tggian tuyệt đối lấy từ
gói tin RTCP trong khi gtri t/ư ở định
dạng RTP là: media_ts
⇒
Sau qtrinh khởi động: tgian tuyệt

đối là: t0 = Ts_NTP
−
Độ lệch đầu tiên: ∆ts1=ts_RTP1-
media_st
−
Đồng hồ tuyệt đối sau khi gói tin
đầu tiên nhận được: t1 =
t0+∆ts1/Tc
−
Khi nhận đc gói tin thứ 2:
∆ ts2=ts_RTP2 - ts_RTP1
t2= t0+ ∆ ts1/Tc+ ∆ ts2/Tc
−
Thực hiện tương tự với các gói tin
tiếp theo
Mô hình đồng bộ:
-
Mô hình đối xứng: ứng dụng audio và video có độ ưu tiên như nhau
đối với kết quả đồng bộ.
-
Mô hình chủ tớ 1: được điều khiển bởi ứng dụng audio, ứng dụng
audio gửi thông điệp đến ứng dụng video, nó căn cứ vào thông tin
trong thông điệp để điều chỉnh, phục hồi lại sự đồng bộ như ở phía
gửi
-
Mô hình chủ tớ 2: tương tự như mô hình chủ tớ 1 tuy nhiên được
điều khiển bởi ứng dụng video.
3.1.3 Phục hồi đồng bộ
3.2 Thuật toán đồng bộ thích nghi
3.2.1 Đồng bộ cơ bản

Mối quan hệ giữa thời gian bên gửi và bên nhận
Thuật toán tuân theo quy tắc:
B(i,w)=t(i,g) (1)
B(i,d)= B(i,w)+Ema= t(i,g)
+Emax (2)
Thuật toán đồng bộ tuân theo
quy tắc sau:
1.Nếu đối tượng nhãn thời gian
t(i,g) đến trước B(i,d) nó sẽ đợi
2. Nếu đối tượng nhãn thời gian
t(i,g) đến sau B(i,w) nhưng vẫn
đến trước B(i,d) (trong vùng
không đợi) nó sẽ đi ngay.
3.Nếu đối tượng nhãn thời gian
t(i,g) đến sau B(i,d) (trong vùng
huy bỏ) Nó sẽ bị bỏ qua
Thuật toán đồng bộ như sau:
1. Sau khi nhận được đối tượng đầu tiên thiết lập thời gian khởi đầu của
PBC là nhãn tgian của đối tượng đó
2. Sau khi nhận được đối tượng thứ I, so sánh giữa nhãn thời gian t(i,g) của
nó với nhãn tgian t(i,ar): nếu t(i,g)>t(i,ar) tăng bộ đếm đợi lên 1 và không
play đối tượng đó cho đến thời điểm B(w); nếu t(i,g)<t(i,ar)<t(i,g)
+E(max) tăng bộ đếm không đợi lên 1 và play đối tượng; nếu t(i,ar)>t(i,g)
+E(max) tăng bộ đếm hủy bỏ lên 1 và hủy đối tượng.
3. Kiểm tra bộ đếm mới tăng gần nhất; nếu tràn (Cx > Ct (x thuộc {w, nw,
d}) tiếp tục), nếu không quay lại bước 2.
4. Nếu bộ đếm không đợi hoặc bộ đếm hủy bỏ tràn, nếu bộ đếm chưa đầy,
giảm PBC: PBC(t)=PBC(t)-∆; khi bộ đếm đợi tràn tăng PBC:
PBC(t)=PBC(t)+∆ và chuyển tới bước 5
5. Khởi động lại toàn bộ các bộ đếm sự kiện và quay lại bước 2

3.2.1 Đồng bộ cơ bản
Việc áp dụng thuật toán đồng bộ intramedia là khá dễ dàng. Nhãn
thời gian của mỗi đối tượng của 1 phương tiện được sánh với PBC.Sự
sai lệch giữa 2 thời gian này được đưa vào đồng bộ intramedia. Đồng
bộ intramedia bao gồm 3 bộ đếm (Cw,Cnw,Cd) và các bộ đếm cần thiết
để điều khiển thời gian của mỗi đối tượng
3.2.2 Đồng bộ intramedia
Đồng bộ intramedia
-
Độ tin cậy của các mạng là khác nhau,hiện tượng mất mát dữ liệu có
thể xẩy ra trong quá trình truyền,đặc biêt là đối với dữ liệu video.
Việc mất mát các khung hình video có thể xây ra mất mát đồng bộ
giữa tín hiệu audio và khung hình dẫn đến không nhất quán giữa
audio và video và làm giảm chất lượng của đa phương tiện xuống
dưới mức chấp nhận được.
3.3 Khôi phục đồng bộ xảy ra do mất khung
hình bằng nội suy bậc hai song song
Vấn đề xảy ra do mất đồng bộ dữ liệu video
-
Với phương pháp nội suy bậc 2,giá trị tại các điểm ảnh cho 1 giá trị xác
định trong khung hình đã nhận được dùng để xây dựng 1 đường cong
Panabol sát với các điểm đó nhất.Đây là đương cong nội suy bậc 2 với sai
số bình phương bế nhất.Ta có thể sử dụng 3,4 hoặc nhiều hơn các khung
hình xung quanh để sinh ra các đường cong nội suy đó.Mỗi 1 vị trí điểm
ảnh trên khung hình sẽ có 1 đường cong tương ứng nó.
3.3 Khôi phục đồng bộ xảy ra do mất khung
hình bằng nội suy bậc hai song song

Truyền dòng là gì?
- Córấtnhiềuứngdụnghiệnnayđòihỏitínhthờigianthực

(realtime).Trongcácdịchvụtruyềnhìnhquamạng,hội
thảotrựctuyến,chathình,chattiếng…
mỗiứngdụngcónhữngđặcđiểmriêngcủanó,tuynhiêncómộtsốđiều
chungnhấtmàcácdịchvụnàyđềuyêucầuđólàviệctruyềndữ
liệutheodòng(streaming).
- Khái niệm truyền dòng có thể hiểu là khi nội dung của audio
hay video được truyền tới nơi nhận, nơi nhận có thể thể hiện được ngay trong
quá trình truyền mà không cần phải đợi đến khi toàn bộ nội dung video được
truyền xong. Cơ chế này hoàn toàn khác với cơ chế download file của các
giao thức HTTP hay FTP.
II. Truyền dòng video đảm bảo đồng bộ dữ liệu.
Để có thể hình dung một cách đơn giản về cơ chế truyền dòng thời gian thực,
chúng ta lấy một ví dụ như sau: Giả thiết có hai máy
được kết nối với nhau,một máy đóng vai trò là máy truyền và một
máy đóng vai trò là máy nhận. Bên truyền được trang bị camera để
thu hình giảng viên giảng bài và dữ liệu video thu được được truyền
tới máy nhận.
Bên nhận có nhiệm vụ nhận dòng dữ liệu từ bên truyền gửi tới và
thể hiện lên thiết bị ra như TV hay màn hình máy tính. Khi đó với
việc sử dụng cơ chế truyền dòng thời gian thực, các hình ảnh của
giảng viên mà bên nhận thể hiện sẽ phản ánh một cách tức thời
(về mặt lí thuyết) những gì đang xảy ra đối với giảng viên ở bên
truyền
-> Truyền dòng là gì?
Còn với các bài giảng được lưu trữ trước, truyền dòng thời gian
thực sẽ đảm bảo việc thể hiện của video tương đương như khi nó
được thể hiện trên máy truyền. Khi đó, môi trường mạng là trong
suốt đối với người sử dụng, người sử dụng có cảm giác việc thể
hiện đoạn video như là được thực hiện ngay trên máy cục bộ.
-> Truyền dòng là gì?

Hệ thống hội nghị video trực tuyến thời gian thực dựa trên mô hình
client-server. Các thành viên của hội nghị gồm chủ tịch, thành viên hội nghị
và quan sát viên.
1. Nghiên cứu mô hình hội nghị
1.1 Tổ chức hội nghị

Khai mạc hội nghị.

Vào ngày giờ bắt đầu họp các thành viên phải có mặt tại các máy trạm,kết
nối với máy chủ và chờ sự điều khiển của người chủ tịch.

Người chủ tịch khai mạc hội nghị bằng cách gửi hình ảnh và tiếng nói của
mình tới tất cả các thành viên trong hội nghị.

Các thành viên chính thức của hội nghị gửi thông điệp bằng text đến chủ
tịch để yêu cầu được phát biểu.

Tại server sẽ hiện ra danh sách các thành viên được yêu cầu phát biểu. Chủ
tịch chỉ cho phép một thành viên phát biểu tại một thời điểm,và thành viên
đó sẽ được đánh dấu lại đồng thời cũng gửi thông điệp text đến tất cả các
thành viên tham gia.

Thành viên chính thức phát biểu sẽ gửi âm thanh hình ảnh đến tất cả các
thành viên khác và cà người chủ tịch.

Trong khi một thành viên đang phát biểu, các thành viên chính thức khác
cũng vẫn có thể gửi yêu cầu phát biểu đến chủ tịch.

Thành viên sẽ ngừng lại khi phát biểu xong.


Khi kết thuchs hội nghị Chủ tịch gửi dòng video và audio đến tất cả các
thành viên tuyên bố kết thúc buổi họp trực tuyến.
1.2 Hoạt động và công việc của hội nghị
Để có thể tham gia vào hội nghị ở máy trạm của các thành viên chính
thức cũng như chủ tịch đều phải có
+ thiết bị thu nhận video, audio.
+ Webcam, microphone, loa.
+ Các máy trạm của thành viên cũng như người quan sát đều được kết nối
mạng LAN.
2. Mô hình ứng dụng
2.1 Yêu cầu phần cứng

Chương trình hội nghị video trong hệ đào tạo điện tử dựa trên mô hình
client/server nên sẽ có mô hình như sau:

Trong mô hình này dữ liệu đa phương tiện được truyền theo cơ chế
multicast từ một máy trạm đến trực tiếp các máy trạm khác và cả máy chủ
trong hội nghị.Sử dụng cơ chế multicast để truyền dữ liệu audio và video
trực tiếp đến các thành viên sẽ cho phép tăng số lượng các thành viên tham
gia trong một phiên, giảm băng thông đòi hỏi.
2.2 Mô hình phần mềm