Đồng bộ audio, video theo chuẩn MPEG

Đề tài 18:

Đồng bộ Audio, Video theo chuẩn MPEG
GVHD: PGS.TS. Nguyễn Thị Hoàng Lan
Nhóm thực hiện:
Bùi Hồng Nhung
Nomintsetseg.J
Lều Thị Lan
Trần Xuân Quý

20111947
20114660
20111775
20112030


Nội dung trình bày

Người trình bày

Nội dung trình bày

Nomintsetseg.J

Tổng quan về đồng bộ đa phương tiện

Bùi Hồng Nhung

Đồng bộ audio, video theo chuẩn MPEGTS

Lều Thị Lan

Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2

Trần Xuân Quý

Ứng dụng thử nghiệm


Tổng quan về đồng bộ đa phương TIỆN


•
•
•
•
•
•

Outline:
Tổng quan về đồng bộ đa phương tiện
Các kiểu đồng bộ, các nguyên tắc đồng bộ dữ liệu đa phương tiện
Các mô hình đồng bộ.
Các phương pháp đồng bộ giữa các dòng dữ liệu
Tài liệu tham khao


Tài liệu tham khảo

•

Media Synchronization - Edward Chow
Based on the material in the IEEE JSAC Vol 14, No. 1, Jan. 1996


Tổng quan về đồng bộ đa phương tiện
•

Dữ liệu đa phương tiện: Dữ liệu từ nhiều nguồn phương tiện khác nhau cả về thời gian và không gian nên
việc xử lý và truyền khác nhau.

Nguồn dòng dữ liệu đa phương tiện gồm 2 loại là:

•

Nguồn thông tin trực tiếp: Các tín hiệu vật lý được thu nhận, số hóa và truyền đi ngay tới nơi nhận mà
không qua lưu trữ trung gian.

•

Nguồn thông tin được tái tạo hay tổng hợp: Các đối tượng media khác nhau được tổng hợp vốn được lưu
ở các thiết bị lưu trữ.


Tổng quan về đồng bộ đa phương tiện
Các kiểu đồng bộ:

•
•
•
•

Đồng bộ lien tục
Đồng bộ điểm
Đồng bộ trong 1 dòng dữ liệu phương tiện (intramedia synchronization)
Đồng bộ giữa các dòng dữ liệu (intermedia synchronization)

Các nguyên tắc đồng bộ dữ liệu đa phương tiện:
Đồng bộ gồm hai nhiệm vụ chính:

•
•

Xác lập lại các quan hệ thời gian thực trong 1 dòng dữ liệu của 1 dòng dữ liệu (audio, video)
Xác lập lại các quan hệ thời gian thực giữa các dòng dữ liệu đa phương tiện (đồng bộ audio-video)

Hai kỹ thuật chủ yếu:

•
•

Đồng bộ hướng bộ đệm
Đồng bộ hướng thời gian


Đồng bộ hướng bộ đệm
Đồng bộ đa phương tiện là quá trình làm “trơn” các hiệu ứng trễ và điều khiển phối
hợp thời gian trình chiếu đồng thời các dòng dữ liệu đa phương tiện (playout of
data) để thỏa mãn độ cảm thụ audio, video
Bao gồm 2 bước:

•
•

Đệm các đơn vị trình diễn (media unit - MU)
Lập lịch trình diễn (playout scheduler):

Bộ lập lịch hướng đệm (Buffer-oriented scheduler) đánh giá jitter thông qua bộ đệm
trình diễn (playout buffer)


Các mô hình đồng bộ

•
•
•
•

Mô hình dòng thời gian (Timeline)
Mô hình điểm tham chiếu (Reference point)
Mô hình phân cấp (Hierarchic)
Mô hình dựa trên sự kiện (Event based)

•

Kỹ thuật đồng bộ audio-video thời gian thực tại nơi nhận

•

Tích hợp audio-video

Mô hình tích hợp audio-video
•

Sự kết hợp, bổ sung vào hệ thống hiện có các loại dữ liệu, các ứng dụng và trình diễn thể hiện đa phương tiện (tích hợp trong định dạng file,
vào định dạng Web, tích hợp CSDL . . .)

•

Mối quan hệ giữa 2 khoảng: (interval)

A trước B

B

A

A bắt đầu B
B

A

B

A gặp B

A kết thúc B

A

A bằng B

A
B

B

A chồng chéo B

A

A trong B

A
B

A
B


Các phương pháp đồng bộ giữa các dòng dữ liệu

•
•
•

Phương pháp trộn dồn kênh (Multiplexing)
Phương pháp dung kênh riêng chứa các thông tin đồng bô (Out-of-band)
Phương pháp đồng bộ tại nơi nhận dựa trên các nhãn thời gian vào các gói dữ
liệu trước khi truyền đi (Timestamping)

Đồng bộ audio, video theo chuẩn MPEG TS


Outline

•
•
•
•
•

Giới thiệu MPEG2-TS

•

Tài liệu tham khảo:
A Realtime Software Solution for Resynchronizing Filtered MPEG2 Transport
Stream - Bin Yu, Klara Nahrstedt, Department of Computer Science,
University of Illinois at Urbana-Champaign.

Các khái niệm cơ bản
Các phần tử cơ bản của TS
Quá trình hình thành dòng truyền tải
Đồng bộ giữa bộ mã hóa và giải mã

–

– A Guide to MPEG Fundamentals and Protocol Analysis – Tektronix Company.

– The MPEG Representation of Digital Media – Editor Leonardo Chiariglione,
CEDEO, Via Borgionera103, 10040 Villar Dora, Italy.


MPEG2 - TS

•

MPEG2 Transport Stream (MPEG-TS, MTS hay TS) là một container format cho việc truyền và
lưu trữ MPEG video trộn với audio, các dòng khác.

•

TS dùng cho TV số và truyền dòng trên mạng, bao gồm internet. TS được sử dụng trong các hệ
thống quảng bá ví dụ như DVB, ATSC và IPTV.

•

Transport Stream được định nghĩa trong MPEG-2 Part 1, Systems (thường được biết đến như
là chuẩn ISO/IEC 13818-1 hay ITU-T Rec. H.222.0)

•

Tên file mở rộng có dạng: .ts, .tsv, .tsa.


Các khái niệm cơ bản

•

PES : Packetized Elementary Streams, là gói tin sau khi gói hóa dòng cơ sở; được
định danh bởi tiêu đề, bao gồm cả nhãn thời gian cho việc đồng bộ hóa. PES
được sử dụng để tạo PS hoặc TS


Các khái niệm cơ bản (tiếp)

•
•

Time Stamps: Nhãn thời gian được kết hợp chặt chẽ từng giai đoạn trong mỗi
ảnh để giữ audio và video cùng nhau.
Nhãn thời gian là số 33 bit (33 bit cho phần chia 90kHz clock), chia 27MHz cho
300.
PTS/DTS: DTS: nhãn thời gian giải mã xác định thời điểm 1 ảnh được giải mã,
PTS: nhãn thời gian trình chiếu chỉ thời điểm ảnh đấy được trình chiếu.


Các phần tử cơ bản của TS

•

TS Packet:


Các phần tử cơ bản của TS (tiếp)
•

PCR: Program Clock Reference được truyền tại trường adaptation field của gói TS. PCR được sử dụng bởi
bộ giải mã để tái tạo phiên bản điều khiển đồng hồ 27MHz (system_timing_clock ) cho mỗi chương trình.

PID với PCR được định nghĩa bởi giá trị pcr_pid, liên kết với PMT. PCR gồm 42bit, được tái trình diễn bởi
PCR cơ bản 33 bit, 9 bit mở rộng cung cấp cho giải pháp cao hơn.

•

Null packets: là gói tin do bộ dồn kênh thêm vào để đảm bảo dòng duy trì tốc độ bitrate cố định như trong
yêu cầu của một số hệ thống như ATSC hay DVB. PID của gói mặc định là 0x1FFF. Nội dung của gói tin rỗng
không gồm bất kỳ dữ liệu nào.


Các phần tử cơ bản của TS (tiếp)
•

PAT: Program Association Table. Liệt kê tất cả các chương trình có sẵn trong TS. Mỗi chương trình được định danh
bởi 16 bit gọi là program_number. Gói TS gồm PAT thông tin luôn có PID 0x0000.

•

PMT: Program Map Tables chứa thông tin về chương trình. Mỗi chương trình có 1 PMT.


Các phần tử cơ bản của TS (tiếp)

•

Programs: được miêu tả bởi PMT với PID duy nhất, các dòng cơ sở liên kết với chương trình
có PID riêng được liệt kê tại PMT.


Quá trình hình thành dòng truyền tải

Đồng bộ giữa bộ mã hóa và bộ giải mã


Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2


Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2

Outline:

•
•
•

Giới thiệu về phần mềm sử dụng
Ngữ cảnh sử dụng
Trình bày cách đồng bộ audio-video MPEG2 thời gian thực


Giới thiệu phần mềm sử dụng

•

Phần mềm audio - video Synchronizer là
công cụ đồng bộ hóa âm thanh và video
trong bộ phim. Nếu âm thanh/video không
đồng bộ, chương trình có thể giúp bạn khắc
phục vấn đề.

•

Phần mềm đóng