GIẢI PHÁP GIẢM NHIỄU TRONG MIỀN WAVELET ĐỂ NÂNG CAO HIỆU SUẤT NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG

TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

271
GIẢI PHÁP GIẢM NHIỄU TRONG MIỀN WAVELET ĐỂ NÂNG CAO
HIỆU SUẤT NHẬN DẠNG TIẾNG NÓI TỰ ĐỘNG
A WAVELET-BASED NOISE REDUCTION APPROACH FOR ROBUST
AUTOMATIC SPEECH RECOGNITION


Phạm Văn Tuấn, Hoàng Lê Uyên Thục
Trường Đại học Bách khoa, Đại học Đà Nẵng




TÓM TẮT
Công nghệ xử lý tiếng nói hiện đại là chuyên ngành liên quan tới nhiều lĩnh vực khác
nhau, là sự tích hợp của các kỹ thuật phân tích, mã hóa, tổng hợp, nhận dạng và truyền tiếng
nói trong môi trường thực. Tất cả những lĩnh vực trên đòi hỏi các thuật toán phải có sự ổn định
cao đối với môi trường nhiễu âm học, một vấn đề đầy thách thức cho thông tin thoại trong môi
trường thự
c. Bài báo này trình bày nghiên cứu về phương pháp giảm nhiễu (NR) mới trong
miền Wavelet. Bằng cách tích hợp thuật toán NR vào trong các khối front-ends trong hệ thống
nhận dạng tiếng nói tự động (ASR), hiệu suất nhận dạng đã được cải thiện rõ rệt trong môi
trường có nhiễu.

ABSTRACT
Modern speech processing technology is the interdisciplinary subject of dealing with a
complex integrated system consisting of speech analysis, coding, synthesis, recognition and
transmission in realistic environments. All addressed topics make robustness to acoustic
background noise highly challenging in speech communications. In this paper, these challenges

are studied by novel Wavelet-based noise reduction (NR) methods. By integrating the NR
algorithms into front-end units of an Automatic Speech Recognition (ASR) engine, we realize
that recognition performance is significantly improved in noisy environments.


1. Giới thiệu
Như là một phần của hệ thống thông tin người-máy, có thể thấy mục tiêu của hệ
ASR là chuyển nội dung ngôn ngữ của tiếng nói sang từ hay câu. Đề tài được quan tâm
nhiều nhất trong lĩnh vực này trong những năm qua là nâng cao hiệu suất cho hệ thống
ASR trong môi trường có nhiễu. Hệ thống ASR đang thử nghiệm hiện nay có tỷ lệ lỗi
trung bình khoảng 5% đến 10%. Tuy nhiên, khả năng nhận dạng tiếng nói bị giảm đột
ngột trong môi trường có nhiễu mạnh, môi trường này làm tiếng nói bị méo đi nhiều.
Một hệ thống ASR hiệu suất cao phải là một hệ thống có thể nhận dạng tiếng nói chính
xác trong môi trường có nhiều nguồn nhiễu khác nhau và rất phức tạp như ngoài đường,
trong quán ăn, văn phòng, phân xưởng…, ở đó tỷ lệ tín hiệu trên nhiễu rất thấp.
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

272

Hình 1. Giải pháp giảm nhiễu để nâng cao tính ổn định của ASR
Kể từ thập kỷ qua, nhiều phương pháp đã được đề xuất và nghiên cứu để cải
thiện hiệu suất nhận dạng của ASR trong những môi trường nhiễu khắc nghiệt. Có thể
chia ra ba hướng giải pháp: thích nghi mô hình âm học, trích thuộc tính âm học bền
vững đối với nhiễu, giảm nhiễu ở khối tiền xử lý. Có thể xem giảm nhiễu như là phương
pháp hiệu quả đối với các hệ thống ASR. Như chỉ ra trong hình 1, chất lượng của tiếng
nói thu âm phải được tăng cường trong giai đoạn tiền xử lý, để đảm bảo trích ra được
các thông tin đặc trưng, theo đó khả năng nhận dạng trong các hệ thống ASR sẽ được
tăng lên. Hướng nghiên cứu này đã và đang được thực hiện trong dự án AURORA3 [1]
về nhận dạng tiếng nói trong môi trường xe cộ, và dự án European SNOW [2] nghiên
cứu về hệ thống ASR trong môi trường nhiễu trong phân xưởng, kiểm tra nhiễu do máy

bay gây ra. Nguồn nhiễu không trắng và không ổn định là thách thức lớn trong hầu hết
các kỹ thuật nén nhiễu.
Nội dung bài báo được cấu trúc như sau: Phần II trình bày phương pháp nén
nhiễu trong miền Wavelet với thuật toán đề xuất PSWF. Phần tiếp theo mô tả ứng dụng
của thuật toán giảm nhiễu PSWF để tăng hiệu suất nhận dạng của ASR. Các kết quả thí
nghiệm được đánh giá và phân tích. Phần kết luận kết thúc bài báo.
2. Giải thuật nén nhiễu trong miền Wavelet
2.1. Mô hình nhiễu cộng
Tín hiệu sạch x(n) bị gây méo bởi nhiễu cộng d(n) và tạo ra tín hiệu bị nhiễu:
(1)
Do tính tuyến tính của biến đổi Wavelet (WT) nên mô hình nhiễu cộng được duy
trì trong miền Wavelet:
(2)
Trong đó, và mô tả các chuỗi hệ số gói Wavelet của các
tín hiệu bị nhiễu, tín hiệu sạch và tín hiệu nhiễu tương ứng được tính tại tỷ lệ thứ m
th

cho frame thứ i
th
(k = 1, 2, 3, …2
m
). Trong nghiên cứu này, phân tích gói Wavelet nhị
phân (WPD) thực hiện tại tỷ lệ phân tích m = 7 (từ đây về cuối bài báo, chỉ số m được
loại bỏ để đơn giản hóa các biến)
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

273
2.2. Kỹ thuật chọn ngưỡng
Giải pháp khử nhiễu Wavelet được xem như là phương pháp ước lượng thống kê
không có tham số. Nguyên lý thực hiện dựa trên việc định ngưỡng hoặc nén các hệ số

Wavelet mà giá trị của chúng thấp hơn ngưỡng nhiễu. Việc chọn ngưỡng sẽ tác động
đến sự làm trơn hoặc làm cho khớp với tín hiệu được khử nhiễu. Cụ thể là ngưỡng giá
trị nhỏ sẽ dẫn đến sự khử nhiễu nhẹ và hệ quả là nhiễu còn tồn đọng nhiều sau xử lý.
Ngược lại ngưỡng với giá trị lớn hơn sẽ nén nhiều hệ số Wavelet dẫn đến làm trơn tín
hiệu nhưng cũng đồng thời làm suy hao các thành phần unvoiced (ví dụ âm /s/) của
tiếng nói và gây méo tín hiệu tiếng nói sau khi khử nhiễu. Trong công bố [3], Dono đã
đề xuất công thức tính ngưỡng nhiễu Universal Threshold dựa trên nguyên tắc tối thiểu
hóa hàm rủi ro (risk function) giữa tín hiệu sạch mong muốn và tín hiệu được khử
nhiễu:
(3)
Trong đó E{.} là toán tử trung bình thống kê,

là hệ số đã được cải thiện.
Với giả thiết về tính trực giao của biến đổi Wavelet và phân bố nhiễu iid với phương sai
, Universal Threshold tỷ lệ thuận với độ lệch chuẩn và chiều dài N của chuỗi hệ số
Wavelet. Để ước lượng tốt nhiễu màu, UT được tính toán cho mỗi gói Wavelet độc lập
tại mỗi frame i
th
:
(4)
Trong đó là ước lượng bền vững của độ lệch chuẩn
bằng cách tính median absolute deviation (MAD) của chuỗi các hệ số.
3. Hàm nén nhiễu thích nghi
Kỹ thuật khử nhiễu trong miền wavelet xuất phát từ nguyên tắc: mỗi hệ số
wavelet đóng góp vào mức nhiễu với phương sai là , nhưng chỉ có một vài số hệ số
wavelet ảnh hưởng tới tín hiệu [3]. Điều này cho phép thay thế các hệ số nhiễu bằng
zero. Các quyết định cứng và quyết định mềm được đề xuất trong [3] là các hàm khử
nhiễu khá đơn giản nhưng chưa tối ưu. Trong bài báo này, chúng tôi sử dụng một hàm
wavelet nén nhiễu được cải tiến mà về bản chất chính là hàm quyết định cứng được làm
trơn theo cơ sở luật µ. Quy tắc nén được thể hiện bởi hàm ước lượng sau (posteriori

function) của tỷ số tín hiệu trên ngưỡng được phân đoạn trước như sau:
(5)
Ở đây và thông số thích nghi được định nghĩa trong [3] như
sau:
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

274
(6)
Trong đó, phần mũ exp tự thích nghi với chính nó bởi ngưỡng nhiễu được làm
trơn và chuẩn hóa với hằng số độ dốc . Kỹ thuật nén theo luật µ biểu diễn
một sự thỏa hiệp giữa ngưỡng quyết định cứng và ngưỡng quyết định mềm. Trong khi
hàm ngưỡng cứng có phương sai lớn hơn nhưng bias nhỏ hơn thì hàm ngưỡng mềm có
bias lớn hơn và phương sai nhỏ hơn. Nói cách khác, ngưỡng cứng có xu hướng giữ dạng
gốc của tín hiệu, còn ngưỡng mềm có xu hướng làm mịn tín hiệu hơn [4]. Một ưu điểm
lớn của nén luật µ so với các luật khác là nó không thiết lập tất cả hoặc một phần của
các hệ số wavelet, mà trị tuyệt đối của các hệ số này đều thấp dưới ngưỡng, về bằng 0
như được thực hiện bởi ngưỡng quyết định cứng hoặc mềm.
4. Đề xuất thuật toán giảm nhiễu mới
Trong nghiên cứu này, chúng tôi cải tiến phương pháp giảm nhiễu Wavelet đề
xuất trong [5] bởi thuật toán lọc Wavelet thống kê có tính cảm quan (Perceptually
Statistical Wavelet Filtering – PSWF) với sơ đồ khối trong hình 2:

Hình 2. Sơ đồ khối của thuật toán được đề xuất PSWF
Trước hết, ngưỡng được tính từ các hệ số Wavelet tại mỗi gói. Sau đó
ngưỡng nhiễu cảm quan
được tính cho mỗi critical wavelet subband (CWS) thông
qua bộ ánh xạ ngưỡng. Kỹ thuật lọc percentile thống kê được áp dụng tiếp theo để ước
lượng ngưỡng nhiễu percentile
cho mỗi CWS một cách thích nghi. Các ngưỡng đã
được ước lượng này lại tiếp tục được tinh chỉnh bởi sự trọng số hóa trong miền thời gian

và miền tần số. Cuối cùng, sau khi qua bộ ánh xạ ngược ngưỡng từ CWS sang toàn bộ
các băng con tương ứng các gói phân tích Wavelet, các ngưỡng
này được đưa vào
hàm nén nhiễu thích nghi để khử nhiễu các hệ số Wavelet. Các mẫu tiếng nói được khôi
phục bởi phép khôi phục gói Wavelet (WPR).
4.1. Ánh xạ ngưỡng giác quan
Để nâng cao sự chính xác khi ước lượng nhiễu, chúng tôi đề xuất giải pháp ước
lượng ngưỡng nhiễu cảm quan. Thay vì sử dụng tất cả các ngưỡng UT ước lượng từ tất
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

275
cả gói Wavelet, hàm ánh xạ ngưỡng tích hợp 128 giá trị UT thành 17 ngưỡng giác quan
tương ứng với 17 critical subbands của mô hình tâm-âm học (psychoacoustic model).
Tùy theo đặc tính của tần số trung tâm và critical bandwidth tương ứng [6], có xấp xỉ 17
CWS cho băng thông tín hiệu 4kHz (băng thông của tín hiệu tiếng nói được xem xét
trong nghiên cứu này). Ngưỡng nhiễu cảm quan của mỗi critical subband j, tại frame
thứ i
th
được ước lượng:
(7)
Trong đó là thứ tự của các gói Wavelet. Với module ánh xạ này, độ
phức tạp của hệ thống được giảm xuống dáng kể do chỉ phải thực hiện lọc percentile
thích nghi và hàm trọng số miền thời gian-tần số (được trình bày trong phần tiếp theo)
trên 17 critical subbands.
4.2. Kỹ thuật lọc percentile thích nghi
Do các ngưỡng UT tính theo (4) được ước lượng cục bộ tại mỗi gói Wavelet tại
mỗi frame thứ i
th
, đặc điểm động thay đổi theo thời gian của tiếng nói và nhiễu đã
không được xem xét đến. Do đó, chúng tôi đề xuất ứng dụng thuật toán lọc percentile

thống kê [5] để dò tìm mức nhiễu động tại mỗi khung tiếng nói. Cơ sở của kỹ thuật này
dựa trên quan sát thật là thong tin thoại không luôn xuất hiện tại tất cả kênh tần số cùng
một lúc, kể cả trong khoảng chỉ có tín hiệu thoại. Do đó, mức nhiễu tại môi kênh có thể
được ước lượng bởi percentile q
th
trong một khoảng thời gian ngắn (bộ đệm dài 1 giây)
của tín hiệu như sau:
- Sắp xếp các giá trị ngưỡng nhiễu cảm quan từ N
f
frames của bộ đệm p
th

theo giá trị tăng dần để có được với
- Xác định ngưỡng nhiễu thích nghi
bằng cách lấy percentile thứ q
th
như sau:
.
Trong đó, hệ số percentile đã chuẩn hóa được chọn là q = 0.2 cho ra kết quả ước
lượng nhiễu tốt nhất trong nghiên cứu này.
4.3. Trọng số hóa trong miền thời gian và tần số
Với giả thiết rằng nhiễu không thể bị thay đổi quá nhanh so với tín hiệu tiếng nói,
ngưỡng nhiễu lại được tiếp tục làm trơn bởi mô hình đệ quy bậc 1:
(8)
Do ngưỡng UT không xem xét đến sự tương quan giữa các hệ số Wavelet ở các
gói khác nhau nên chúng tôi thiết kế thêm hàm trọng số miền tần số để tăng
cường độ nén cho các ngưỡng lớn và qua đó giam bớt nhiễu. Đồng thời, một hàm
trọng số miền thời gian
được xây dựng để bám chính xác hơn thông tin thoại và
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

276
nhiễu. Các frame với ngưỡng nhỏ hơn có thể là kết quả ước lượng của nhiễu nên sẽ
được nén mạnh hơn và ngược lại:
(9)
Các hằng số và được chọn
lựa để đạt được hiệu suất nhận dạng từ cao nhất (khi tích hợp thuật toán PSWF vào
ASR).
5. Đánh giá kết quả thực nghiệm
Thuật toán PSWF được tích hợp vào tầng tiền xử lý của khối front-end của hệ
thống nhận dạng tiếng nói HTK [7]. Trong nghiên cứu này, khối Standard front-end
(SFE) [8] và khối Advanced front-end (AFE) [9] lần lượt được kết hợp với bộ nhận
dạng HTK. Các mô hình âm học left-to-right với 16 trạng thái cho 1 từ và một tổ hợp 3
phân bố Gaussians cho mỗi trạng thái được huấn luyện cho bộ nhận dạng này. Chúng
tôi thực hiện các bài tests trên cơ sở dữ liệu AURORA3 SpeechDat Car corpus gồm các
chuỗi chữ số được ghi âm với một mic đặt gần (close talking mic) và một mic để ở xa
(hands-free mic) trong xe hơi chạy ở các điều kiện khác nhau. Hiệu quả của thuật toán
PSWF được đánh giá thông qua hiệu suất nhận dạng từ và được so sánh với các giải
pháp khử nhiễu khác như phương pháp WPDe [5], bộ lọc Wiener 2 tầng (2sWF) của
AFE [9] và thuật toán trừ phổ đề xuất bởi Ephraim and Malah (EMSS) [10]. Hai chế độ
kiểm tra khác nhau được thực hiện gồm: có (with – wi.) và không có (without – wo.)
huấn luyện lại mô hình âm học. Bên cạnh đó, để đánh giá tính hiệu quả của việc tích
hợp bộ NR vào trong ASR, 3 điều kiện về phân bố cơ sở dữ liệu training-test đều được
xem xét như: high-mismatch – hm (dữ liệu audio sạch được ùng trong pha training và
dữ liệu audio bị nhiễu được nhận dạng trong pha testing); medium mismatch – mm và
well-match – wm.
Trong lần test thư nhất,
thuật toán PSWF được sử dụng
tại tầng tiền xử lý bộ front-ends
của hệ thống nhận dạng đã được

huấn luyện. Kết quả trong bảng 1
cho thấy tỷ lệ nhận dạng từ
(Word Recognition Rate - WRR)
tăng từ 66.70% lên đến 73.13%
và độ chính xác từ (Word
Accuracy - WAC) tăng từ
63.23% lên đến 70.77% cho bộ
SFE. Tuy nhiên, khi dùng AFE,
WRR và WAC giảm từ 89.78% xuống còn 86.63% và 89.45% xuống còn 68.87%.
Chúng tôi cho rằng sự suy giảm hiệu suất này là do quá trình khử nhiễu kép bởi PSWF
Bảng 1. Hiệu suất nhận dạng trong điều kiện hm
TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

277
và 2sWF. Tuy nhiên, so sánh với các trường hợp không dùng 2sWF NR cho AFE và
dùng EMSS hay WPDe, WRR được tăng lên đáng kế khi triển khai thuật toán PSWF.
Với lần test thứ hai, mô hình âm học của bộ HTK được huấn luyện lại trên cơ sở
dữ liệu audio huấn luyện đã được xử lý bởi thuật toán PSWF. Chúng tôi lập lại các bước
như lần test thứ nhất. Bằng cách thay thế 2sWF bởi PSWF cho AFE trong pha training,
WRR đạt được gần giống nhau (89.45% so với 89.78%) và WAC bị giảm đi chút ít. Tuy
nhiên, khi áp dụng cho SFE, WRR và WAC được tăng lên rất nhiều: từ 66.70% lên
77.71% và từ 63.23% lên đến
76.73%. Ngoài ra, hiệu suất nhận
dạng cũng được tăng lên đáng kể
so với khi dùng các giải thuật
giảm nhiễu khác.
Ở lần test thứ ba, các điều
kiện test mm và wm được thực
hiện với kết quả trình bày trong
bảng 2. Rõ ràng là việc áp dụng

thuật toán giảm nhiễu vào tầng
tiền xử lý chỉ có ý nghĩa trong
điều kiện hm. Chúng tôi quan sát thấy rằng WRR được cải thiện đến 11.01% cho điều
kiện hm trong khi sự gia tăng này là thấp hơn trong các điều kiện mm và wm, 3.44% và
2.43%. Thêm vào đó, chúng tôi nhận thấy việc huấn luyện lại mô hình âm học rất tùy
thuộc vào điều kiện mismatch về dữ liệu giữa pha huấn luyện và pha kiểm thử mà
không phụ thuộc vào front-end.

6. Kết luận
Phương pháp giảm nhiễu mới dựa trên hàm nén wavelet thống kê trong miền
cảm quan PSWF và ứng dụng của nó cho hệ thống nhận dạng được trình bày trong bài
báo. Kết quả chỉ ra rằng, bằng cách tích hợp thuật toán PSWF vào tầng tiền xử lý của
khối front-end của bộ nhận dạng, tính ổn định của hệ thống nhận dạng trong môi trường
nhiễu sẽ được cải thiện đáng kể. Kết quả cho thấy, bằng cách huấn luyện lại mô hình âm
học dùng dữ liệu huấn luyện audio đã được xử lý cải thiện bởi thuật toán PSWF, chúng
ta đạt được tỷ lệ nhận dạng tương tự với tiêu chuẩn AFE ETSI 202 050 và sự cải thiện
đáng kể khi sử dụng tiêu chuẩn SFE ETSI 201 108. Kết quả này cho thấy giải thuật
PSWF được đề xuất có tính hiệu quả ngang với các phương pháp giảm nhiễu đã được
tiêu chuẩn hóa.
Do sự phân bố thông tin thoại tại các kênh tần số khác nhau là không đồng nhất,
bộ lọc percentile với hệ số phần trăm thích nghi cho mỗi kênh tại mỗi thời điểm cần
được nghiên cứu phát triển.
Bảng 2. Hiệu suất nhận dạng cho điều kiện mm, wm

TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 4(39).2010

278

TÀI LIỆU THAM KHẢO

[1] “AURORA Project Database - Subset of SpeechDat-Car German database
(AURORA/CD0003-03),” Evaluations and Language resources Distribution
Agency, Tech. Rep., 2001.
[2] “Services for NOmadic Workers (snow),” Strategic Targeted Research Project in
the 6th Frame Program of the European Union, FP6-511587. [Online]. Available:

[3] D. L. Donoho and I. M. Johnstone, “Adapting to unknown smoothness via wavelet
shrinkage,” Journal of the American Statistical Association, vol. 90, no. 432, pp.
1200–1224, 1995.
[4] A. G. Bruce and H. Gao, “Understanding WaveShrink: Variance and bias
estimation,” Biometrika, vol. 83, pp. 727–745, 1996.
[5] E. Rank, T. V. Pham, and G. Kubin, “Noise suppression based on wavelet packet
decomposition and quantile quantile noise estimation for robust automatic speech
recognition,” in Proc. ICASSP, vol. 1, 2006, pp. 477–480.
[6] E. Zwicker and E. Terhardt, “Analytical expression for critical band rate and
critical bandwidth as a function of frequency,” Journal of the Acoustical Society of
America, vol. 68, pp. 1523–1525, 1980.
[7] S. Young and et. al., The HTK Book (for HTK Version 3.3). Microsoft
Corporation-Cambridge University, Engineering Department, Cambridge
University, 2005.
[8] ETSI ES 201 108 V1.1.1 Speech Processing, Transmission and Quality Aspects
(STQ), Distributed speech recognition, Front-end feature extraction algorithm,
Compression algorithms, ETSI, 2000.
[9] ETSI ES 202 050 V1.1.3 Speech Processing, Transmission and Quality Aspects
(STQ), Distributed speech recognition, Advanced front-end feature extraction
algorithm, Compression algorithms, ETSI, 2003.
[10] Y. Ephraim and D. Malah, “Speech enhancement using a minimum mean-square
error short-time spectral amplitude estimator,” IEEE Trans. Acoustics, Speech, and
Signal Processing, vol. 32, pp. 1109–1121, 1984.