Bài 10 phân tích dữ liệu thông minh

HỌC VIỆN KỸ THUẬT QUÂN SỰ

KỸ THUẬT XỬ LÝ TÍN HIỆU
ĐO LƯỜNG
Mai Quốc Khánh
Nguyễn Hùng An
Học viện KTQS
06/2019

*


Tài liệu tham khảo
1. Xử lý tín hiệu đo lường (Tập bài giảng), Mai Quốc Khánh,
Nguyễn Hùng An, Bộ môn LTM-ĐL / Khoa VTĐT, 2019.
2. Kỹ thuật xử lý tín hiệu đo lường, Nguyễn Hùng An, Mai
Quốc Khánh, Dương Đức Hà, Nhà xuất bản Khoa học kỹ
thuật, năm 2019.

2


Bài 10: Phân tích dữ liệu thông minh
1. Bộ lọc thích nghi
2. Mạng nơ ron nhân tạo
3. Logic mờ

3


Trí thông minh nhân tạo trong đo lường

• Các thiết bị đo thường làm việc trong điều kiện thay đổi (các

tham số của thiết bị đo thay đổi theo sai lệch không mong muốn
của hoàn cảnh)  cần sử dụng các phương pháp đo thích nghi.
 Các phương pháp đo thích nghi được sử dụng khi hiện tượng

phân tích được mô tả không rõ ràng, không đủ thông tin về đối
tượng được khảo sát, khi các điều kiện thay đổi không như mong
đợi (VD nhiễu và tạp âm), khi không biết chính xác thuật toán
nào hoạt động tốt nhất  đòi hỏi xử lý thông minh (hay thông
minh nhân tạo AI).
 Các thiết bị đo hiện đại được hỗ trợ bởi tin học có thể không chỉ

phân tích dữ liệu tới mà còn dự đoán kết quả của một hành động
hoặc thích nghi với những tình huống không mong đợi.
4


1. Bộ lọc thích nghi
• Bộ lọc có thể học và có thể thay đổi các tham số của nó

dưới tác động của các điều kiện thay đổi.
• Các bộ lọc thích nghi thông dụng:

• Bộ lọc Wiener
• Bộ lọc Kalman


Bộ lọc thích nghi
 Trong quá trình học, tín hiệu ra y(n) bị trừ khỏi tín hiệu

tham chiếu u(n) và sai số e(n) được sử dụng để thiết lập các
trọng số h của bộ lọc một cách thích hợp.
 Tính ước lượng E của sai số LMS là tổng bình phương của

các sai số e(n), sau đó tìm cực tiểu của tổng này bằng cách
cho đạo hàm bằng không.
2
 k 2

 k
E   e  n    E   u  n   y  n   
 i 0

 i 0


E e2  n  
h

(10-1)

0

 Thuật toán điều chỉnh các hệ số lọc cho đến khi sai số đạt

cực tiểu.

6

Bộ lọc thích nghi (tt)
 Ví dụ về ứng dụng của lọc thích nghi trong loại trừ tạp âm.
 Tín hiệu có tạp âm bị trừ khỏi tín hiệu đầu ra và sai khác này có

thể được dùng để điều chỉnh các tham số của bộ lọc.
Tín hiệu

Tín hiệu + Tạp âm
Tín hiệu + Tạp âm

Tạp âm
Lọc thích
nghi

Tín hiệu khôi phục

Bộ lọc thích nghi được sử dụng để loại trừ tạp âm

7


Bộ lọc Wiener
 Một trong số các bộ lọc thích nghi thông dụng nhất.
Tạp âm S

Thuật toán
cập nhật

Bộ lọc

Wiener

Ví dụ về bộ lọc Wiener

8


Bộ lọc Wiener (tt)
 Tín hiệu ra của hệ thống y(n) được gửi tới đầu vào của bộ

lọc bậc M và ở đầu ra của bộ lọc là:
M 1

xˆ  n    hk y  n  k 
k 0

 Tín hiệu sai lệch là e  n   x  n   xˆ  n   x  n   hy
x(n) - tín hiệu không bị nhiễu, h-ma trận hệ số lọc và y - ma trận tín
hiệu đầu vào bộ lọc y=[y(n), y(n-1),…,y(n-M-1)].
 Từ (10-1)  ĐK tối ưu cho bộ lọc Wiener

Ryy h  ryx (10-4)

Ryy - ma trận tự tương quan của tín hiệu y(n), còn rxy là ma trận tương
quan giữa tín hiệu đầu vào x(n) và tín hiệu đầu ra y(n).
9


Bộ lọc Wiener (tt)
 Để tối ưu hóa bộ lọc, (10.4) có thể viết lại trên miền tần số:

M 1

 h r  n  k  e
n

k 0

k yy

 j n

  ryx  n e jn
n

 Sau khi biến đổi Fourier, các hệ số lọc là

Pxx  f 
W f 
Pyy  f 

(10-6)

Pxy là phổ công suất ngang (cross power) của Y(f) và X(f), còn Pyy(f) là
phổ công suất của Y(f)

 Ta có thể làm cho (10.6) là cực tiểu của bình phương công

thức F(f)=X(f)-H(f)Y(f)
 Nếu tín hiệu x(n) được cộng tín hiệu tạp âm s(n) thì biểu

thức (10.4) là

h   R xx  R ss  rxy
1

Rss là ma trận tự tương quan của tín hiệu có tạp âm

10


Bộ lọc Wiener (tt)
 Tương ứng, trên miền tần số (cho Y(f)=X(f)+S(f)), biểu thức

(10.6) là:

Pxx  f 
W f 
Pxx  f   Pss  f 

(10-8)

Pxx và Pss là phổ công suất của tín hiệu X(f) và S(f)

 Chia cả tử và mẫu số cho phổ công suất Pss(f) và thay

SNR(f)=Pxx(f)/Pss(f), biểu thức (10.8) thường được biểu diễn:
SNR  f 
W f 
SNR  f   1

 Để xác định các hệ số lọc, cần biết phổ công suất của cả hai tín hiệu

(hoặc tỷ số SNR). Thông thường, ta giả sử đã biết đặc tính của tạp
âm (VD, tạp âm trắng).
 Phổ công suất của tạp âm cũng có thể được xác định bằng thực
11
nghiệm


Bộ lọc Kalman
 Thuật toán xử lý dữ liệu đệ quy tối ưu, sử dụng hiểu biết

tiên nghiệm về hệ thống được khảo sát để đưa ra ước lượng
biến sao cho sai số được cực tiểu hóa.
 Bộ lọc Kalman là một hệ thống học thực do hoạt động theo

biểu thức thích nghi, đệ quy:
Ước lượng tham số kế tiếp = ước lượng tham số trước đó + cập nhật

Mô hình tín hiệu bộ lọc Kalman

12


Bộ lọc Kalman (tt)
 Ví dụ, phương trình trạng thái của tín hiệu có tạp âm có thể

được viết dưới dạng:
x  m   Φ  m, m  1 x  m  1  e  m 

y m  H m x m  n m

x(m) là tín hiệu hoặc tham số trạng thái P chiều
y(m) là tạp âm và véc tơ quan sát bị méo M chiều
n(m) là quá trình tạp âm M chiều
(m) là ma trận chuyển dịch trạng thái kích thước P P, liên
quan đến các trạng thái của quá trình ở các thời điểm m-1 và m
e(m) là véc tơ kích thích đầu vào không tương quan P chiều của
phương trình trạng thái
H(m) là ma trận méo kênh MP

 Thuật toán Kalman đòi hỏi mô tả thống kê về tạp âm và hiểu

biết về độ bất định của phép đo (phức tạp).

13


2. Mạng nơ-ron nhân tạo


Khái niệm mạng nơ-ron nhân tạo
 Mạng này bắt chước não người - truyền dẫn dữ liệu

song song qua một số lượng chuyển tiếp rất lớn, học
bằng cách huấn luyện, học thông qua việc phơi bày cho
các kích thích bên ngoài, lưu giữ kiến thức bằng cách
thay đổi trọng số kết nối giữa các nơ ron, và khả năng
chống nhiễu.
 Mạng nơ ron là một công cụ xử lý tín hiệu rất hiệu quả,

trong đó có một số lượng nơ ron khổng lồ hợp tác với nhau
(não người có khoảng 1015 synapse - so sánh với máy tính
hiện thời sử dụng chỉ khoảng 108 transistor).
15


Khái niệm mạng nơ-ron nhân tạo (tt)
Nơ ron sinh học
 Các nơ ron sinh học được tổ

chức theo mạng.
 Sợi nơ ron tới (sợi nhánh)
nhận tín hiệu điện từ các nơ
ron khác qua khớp thần
kinh synapse (qua quá trình
sinh hóa).
 Nếu tín hiệu tới đạt ngưỡng
thì thế động tác (action
potential) được phát tới nơ
ron khác qua sợi ra (sợi trục
thần kinh, axon).

Nơ ron sinh học và mô hình
toán học của nó

16


Khái niệm mạng nơ-ron nhân tạo (tt)

Mô hình toán học
 Các mạch vào x1, x2, …xn hoạt

động như sợi nhánh (dendrites).
Mạch ra y1, y2, …yn làm việc
giống như axon. Ngưỡng được
mô phỏng bằng đầu vào w0.
 Các hạt nhân (nucleus) điều

hành hai phần tử:
 Bộ cộng để cộng các tín hiệu đầu

vào, mỗi phép cộng có trọng số
thích hợp wij
 Hàm kích hoạt f(ui)

Nơ ron sinh học và mô hình
toán học của nó

17


Khái niệm mạng nơ-ron nhân tạo (tt)
 Tín hiệu ra của mô hình nơ ron:

 N

yi  f  ui   f   wij x j  t   wi 0  (10-12)
 j 1


 Trong mô hình McCulloch -Pitts,

hàm kích hoạt là nhị phân:
1 khi u  0
f u   
0 khi u  0

 Thực tế, các nơ ron sinh học không

phải nhị phân (tín hiệu ra phụ thuộc
vào giá trị của tín hiệu kích thích) 
hàm kích hoạt là dạng hàm sigmoid
f(u)=tanh((u)).

Mô hình toán học của nơron sinh học

 Nếu hệ số  = 1  hàm kích hoạt gần như

Các dạng
hàm kích
hoạt f(u)

tuyến tính. Nếu  >10  hàm kích hoạt gần
như nhị phân.
-4

4

18

Mô hình perception
 Mô hình cơ bản của một mạng nơ rơn có khả năng học
 Phương pháp học (huấn luyện) tương tự như bộ lọc thích

nghi.
 Các tín hiệu đầu ra yi được so sánh với tín hiệu mẫu di. Sai
số  điều chỉnh trọng số wi nhờ hồi tiếp.
 Quá trình huấn luyện thực

hiện liên tục cho đến khi
hàm sai số E đạt cực tiểu.



1 p k 
k
E   yi  di 
2 k 1



2

(10-14)

Thuật toán học

Mô hình của một perception

19


Mạng perception đa lớp không đệ quy
Giá trị vào

Lớp ẩn

Lớp ra

Mô hình của một perception đa lớp không đệ quy, sử
dụng cho phân loại và nhận dạng ký tự quang học.
20


Mạng perception đa lớp đệ quy

Mô hình của một perception đa lớp không đệ quy
(Hopfield net) sử dụng để tối ưu hóa và dự đoán
21


Mô hình perception
 Với mạng đa lớp, vấn đề học khá phức tạp: Khó ước lượng

sai số trong lớp bị ẩn, do ta không biết giá trị tham chiếu cho
các lớp trung gian mà chỉ biết sai số ở lớp ra (nhờ so sánh
với các giá trị huấn luyện)  Khắc phục bằng thuật toán lan
truyền ngược.

 Tín hiệu từ lớp ra tỷ lệ với sai số được gửi quay lại  có thể xác định

sai số của lớp này dựa vào hàm kích hoạt.
 Lan truyền ngược sai số về phía đầu vào  xác định được sai số của
tất cả các lớp và cập nhật trọng số  mạng nơ ron có thể học.
Lan truyền về phía trước
giá trị đầu vào và lan
truyền ngược sai số để
cập nhật giá trị trọng số
22


Mô hình perception
 Với mạng đa lớp, vấn đề học khá phức tạp: Khó ước lượng

sai số trong lớp bị ẩn, do ta không biết giá trị tham chiếu cho
các lớp trung gian mà chỉ biết sai số ở lớp ra (nhờ so sánh
với các giá trị huấn luyện)  Khắc phục bằng thuật toán lan
truyền ngược.
 Tín hiệu từ lớp ra tỷ lệ với sai số được gửi quay lại  có thể xác định

sai số của lớp này dựa vào hàm kích hoạt.
 Lan truyền ngược sai số về phía đầu vào  xác định được sai số của
tất cả các lớp và cập nhật trọng số  mạng nơ ron có thể học.
Lan truyền về phía trước
giá trị đầu vào và lan
truyền ngược sai số để
cập nhật giá trị trọng số
23

Thuật toán lan truyền ngược
 Xét thuật toán giảm độ dốc tối ưu (optimiztion gradient

descent), khi sự thay đổi trọng số được tính sử dụng quy tắc
Delta. Theo quy tắc này, sự thay đổi trọng số là:
E
wik  
wik

(10-15)

 là tham số tốc độ học
 Từ các phương trình (10.12) và (10.14) ta có thể viết
 n

1 p
f   wik xk 
   yi  d i 
E
2 k 1


  yi  d i   k 1
wik
wik
wik
  yi  d i  f   ui  xk   i xk

(10-16)

24


Thuật toán lan truyền ngược (tt)
 Ở đây, sai số delta là:  i   yi  di  f   ui 
 Và gia số của trọng số lớp ra là

wik   i xk

(10-17)
(10-18)

 Đối với lớp ẩn (trước lớp cuối cùng) sai số delta là:
m1

 im  f   uim   lm1wljm1

(10-19)

l 1

 Vì vậy ta có thể tính gia số trọng số trong lớp m khi biết sai

số của lớp kế tiếp m+1. Để tính toán gia số của trọng số
trong lớp ẩn theo lan truyền ngược, cần phải tính toán đạo
hàm của hàm kích hoạt.
25