DỰ ĐOÁN SỰ HÀI LÒNG VỀ CHẤT LƯỢNG DỊCH VỤ TƯỚI TIÊU TẠI ĐỒNG BẰNG SÔNG HỒNG DÙNG PHƯƠNG PHÁP HỌC MÁY

DỰ ĐOÁN SỰ HÀI LÒNG VỀ CHẤT
LƯỢNG DỊCH VỤ TƯỚI TIÊU TẠI
ĐỒNG BẰNG SÔNG HỒNG DÙNG
PHƯƠNG PHÁP HỌC MÁY
Nguyễn Thanh Tùng

Hà Nội
AI4LIFE

15 slides

Thuyloi University www.tlu.edu.vn


Nội dung

•
•
•
•
•

Giới thiệu bài toán dự đoán
Hồi quy tuyến tính nhiều biến
Hồi quy phi tuyến
Kết quả thực nghiệm
Kết luận

2

Giới thiệu bài toán dự đoán
•

Cho tập dữ liệu đầu vào L = {(X1, Y1),.., (XN, YN)}, trong đó N là số
lượng mẫu.
•

Đầu vào là tập biến ngẫu nhiên XM, M số thuộc tính.

•

Đầu ra là biến ngẫu nhiên Y1.

xiX và yi Y nhận các giá trị ngẫu nhiên từ phân bố xác suất PX,Y (1<=i<=N).

•

Mục tiêu của bài toán dự đoán là tìm mô hình fL : X Y cực tiểu hóa
Err (fL) = EX,Y {L(Y , fL(X))},

Trong đó hàm lỗi là
L(Y , fL(X))} = (Y - fL(X))2.

3


5. Đáp ứng (RES)
- Nhân viên thủy lợi cho ông bà biết khi nào thực hiện dịch vụ tưới tiêu
- Nhân viên thủy lợi nhanh chóng thực hiện dịch vụ cho ông bà.
- Tổ chức cung cấp nước thực hiện đúng lịch cấp nước

- Tổ chức cung cấp nước cung cấp tối đa khả năng cấp nước.
- Khối lượng nước cấp đáp ứng tốt nhu cầu theo từng giai đoạn sinh
trưởng, phát triển của cây trồng.
- Nhân viên thủy lợi cung cấp luôn luôn sẵn sàng đáp ứng yêu cầu của
ông bà.
- Chất lượng nước tưới được đảm bảo
- Thời gian khắc phục hư hỏng nhanh chóng
- Ông bà không bao giờ phải lặp lại các khiếu nại trước
(9 biến quan sát)
3. Đảm bảo (ASS)
- Cách cư xử của nhân viên gây niềm tin cho ông bà
- Ông bà cảm thấy rất an toàn khi giao dịch với tổ chức cung cấp nước
- Nhân viên thủy lợi có đủ hiểu biết để trả lời tất cả các câu hỏi của ông
bà liên quan đến hệ thống tưới, tiêu.
- Nhân viên thủy lợi của tổ chức cung cấp nước luôn luôn niềm nở với ông
bà
- Thời gian phân phối nước tới các thửa ruộng luôn luôn đủ nước trong
mỗi đợt tưới.
- Từ năm 2008 đến nay nhân viên thủy lợi trả lời được tất cả các thắc mắc
của ông bà liên quan đến số tiền ông bà trả trong tháng
- Nhân viên thủy lợi rất nhanh khắc phục khi hệ thống tưới, tiêu có sự cố
(7 biến quan sát)

1. Phương tiện hữu hình (TAN)
- Các hệ thống tưới, tiêu có chất lượng tốt, đảm bảo chuyển nước và phân
phối nước đến các diện tích cần tưới, tiêu
- Các đơn vị cung cấp dành đủ kinh phí cho công tác quản lý, vận hành và
bảo dưỡng hệ thống tưới, tiêu.
- Nhân viên thủy lợi mặc đồng phục đơn vị
- Tổ chức cung cấp nước có tài liệu hướng dẫn quản lý vận hành công

trình thủy lợi.
- Hợp đồng cung cấp dịch vụ được trình bày rất dễ hiểu
- Các thiết bị của tổ chức cung cấp nước có chất lượng tốt
- Việc duy tu, bảo dưỡng hệ thống tưới được thực hiện đều đặn và khi
cần.
(7 biến quan sát)

2. Tin cậy (REL)
- Đơn vị cung cấp dịch vụ tưới, tiêu giới thiệu đầy đủ nội dung hợp
đồng với tổ chức cung cấp nước cũng như các kỹ thuật và cách sử
dụng khi ông bà muốn đăng ký sử dụng
- Tổ chức cung cấp nước thực hiện đúng dịch vụ tưới tiêu như hợp
đồng
- Tổ chức cung cấp nước xử lý sự cố ngay khi công trình hư hỏng,
xuống cấp.
- Từ năm 2008 đến nay tổ chức cung cấp nước không để xảy ra bất kỳ
sai sót nào khi tính chi phí hàng tháng
(4 biến quan sát)

Sự hài lòng (SAT)
Ông bà hoàn toàn hài lòng về chất lượng dịch vụ tưới tiêu hiện
đang sử dụng.
(Giá trị từ 0..5, kiểu thập phân).

4. Sự đồng cảm (EMP)
- Nhân viên kỹ thuật thủy lợi luôn làm việc vào những giờ thuận
tiện cho ông bà.
- Không có bất cứ ai ở Tổ chức cung cấp nước quan tâm đến
những bức xúc của ông bà về dịch vụ tưới, tiêu.
- Lịch phân phối nước rất thuận tiện theo giờ sản xuất của gia

đình ông bà.
- Ông bà được quan tâm và chú ý mỗi khi thắc mắc về dịch vụ
tưới, tiêu.
- Tổ chức cung cấp nước điều chỉnh lịch tưới phù hợp với sự
thay đổi của thời tiết.
- Nhân viên của tổ chức cung cấp nước luôn hiểu rõ 4những nhu
cầu của ông bà.
- Đơn vị cung cấp lấy lợi ích của ông bà là mục tiêu phát triển
bền vững của họ
(7 biến quan sát)


Hồi quy tuyến tính nhiều biến
𝑌 = 𝐸 𝑌 𝑋 + ϵ,
• Mô hình:
trong đó ϵ ∼ 𝑁 0, 𝜎 2 , 𝐸 𝑌 𝑋 = 𝛽0 + σ𝑁
𝑖=1 𝑋𝑖 𝛽𝑖 .
• Từ dữ liệu đầu vào của X và Y, ta có thể tính được các hệ số hồi quy
dựa trên phương pháp bình phương nhỏ nhất (RSS):
𝑁

𝑅𝑆𝑆 𝛽 = ෍
𝑖=1

2

𝑀

𝑌𝑖 − 𝛽0 − ෍

𝑗=1

• Giải véc-tơ 𝛽 bằng phương trình sau: 𝛽መ = 𝑋 𝑇 𝑋

𝑋𝑗 𝛽𝑗
−1

.

𝑋 𝑇 𝑌.

• Sau khi biết các hệ số hồi quy, cho mẫu mới X=x ta tính được giá trị
đầu ra tương ứng:
𝑌෡ = 𝑋𝛽መ = 𝑋 𝑇 𝑋 −1 𝑋 𝑇 𝑌.
5


Hồi quy tuyến tính nhiều biến (LASSO)
• Phương pháp này đưa thêm hàm phạt vào hàm lỗi để lỗi hồi quy
đạt nhỏ nhất
𝑁

𝑅𝑆𝑆 𝛽 = ෍
𝑖=1

𝑌𝑖 − 𝐸 𝑌 𝑋

2

𝑀

+𝜆෍
𝑗=1

|𝛽𝑗 | .

Trong đó 𝜆 là hệ số phạt dùng để điều chỉnh mô hình.

6


Hồi quy phi tuyến

Cây hồi quy (CART)
• Mỗi nút là tập con và phân chia đệ quy tập dữ liệu đầu vào.
• Tại mỗi tập dữ liệu con này, ta có thể tính giá trị trung bình của biến
đầu ra Y.
• Dự đoán dữ liệu mới X=x: Tính giá trị trung bình tại nút lá của nhánh
chứa giá trị x.
7


Hồi quy phi tuyến

K

Lấy giá trị trung bình của tất cả dự đoán từ các cây quyết
định (cây hồi quy) trong rừng để dự đoán mẫu mới X=x.

Rừng ngẫu nhiên (RF)

8


Độ đo sự quan trọng của thuộc tính từ RF
• ∆I=
• Đối với 1 cây đơn:
𝐼𝑆𝑘 𝑋𝑗

= ෍ Δ𝐼(𝑋𝑗 , 𝑡)

Độ hỗn tạp của Xj
ở nút t của cây T

𝑡∈𝑇𝑘

• Đối với rừng:

𝐾

𝐼𝑆𝑋𝑗

1
= ෍ 𝐼𝑆𝑘 (𝑋𝑗 )
𝐾
𝑘=1

9


Kết quả thực nghiệm

• Phương pháp đánh giá:

𝑅𝑀𝑆𝐸 =

𝑁

N

𝑖=1

i=1

1
1
2
෠
෡i |
෍(𝑌𝑖 − 𝑌𝑖 ) ; 𝑀𝐴𝐸 = ෍ |Yi − Y
𝑁
N

𝑁
෠
ത
Τ
σ
và 𝑅2 = 1 − σ𝑁
(𝑌
−
𝑌

)
𝑖
𝑖=1 𝑖
𝑖=1(𝑌𝑖 − 𝑌𝑖 ) .

• Dữ liệu: Tập huấn luyện gồm 336 mẫu (70%) và tập dữ liệu kiểm
thử gồm 144 mẫu (30%).
• Khi xây dựng mô hình hồi quy, kỹ thuật kiểm tra chéo 5-folds với 2
lần lặp và dựa trên hàm lỗi RMSE được dùng để tìm tham số tối ưu
của từng mô hình, sau đó lựa chọn mô hình có RMSE nhỏ nhất với
tham số tìm được để dự đoán dữ liệu kiểm thử.
10


Kết quả thực nghiệm
TT

Mô hình hồi quy

Tham số tối ưu

1 Hồi quy tuyến tính Mặc định
(LM)
2 Hồi quy LASSO
l= 0.01
3 K láng giềng (KNN)
k=1

R2

RMSE

MAE

0.839

0.267

0.167

0.844
**0.894

0.263
**0.216

0.163
0.085

4 Cây hồi quy (CART)

Complexity parameter (cp)=0

0.835

0.272

0.156

5 Mạng nơ ron nhân tạo

(ANN)
6 Máy véc-tơ hỗ trợ
(SVR)
7 Rừng ngẫu nhiên (RF)

Trọng số phân rã=0.1 và số
nơ-ron=9
RBF, σ = 0.032, e=0.1 và C =
32
mtry = 9 và K=1000

***0.892

***0.218

**0.106

0.852

0.255

0.143

0.902

0.208

***0.107

8 Boosting

K = 500, interaction.depth =
7 và shrinkage = 0.1

0.873

0.237

0.119

11


Kết quả thực nghiệm
• Mô hình rừng ngẫu nhiên cho kết
quả tốt nhất, giải thích khoảng
93% các khác biệt về độ hài lòng
giữa các hộ dùng nước tưới tiêu,
theo sát là mô hình boosting có
R2=92.445% và SVR đạt
R2=92.444%.
• Xếp cuối là phương pháp cây hồi
quy có R2 thấp nhất, khả năng
giải thích của mô hình cây hồi
quy khoảng 85% kém hơn mô
hình hồi quy tuyến tính nhiều
biến có R2=87.481%.

So sánh các mô hình hồi quy dựa trên kết quả huấn
luyện theo hệ số xác định bội R2

12


Kết quả thực nghiệm
So sánh lỗi huấn luyện RMSE của
các mô hình hồi quy theo từng cặp.

Biểu đồ tương quan giữa các tiêu chí.
13


Kết quả thực nghiệm
• Độ đo sự quan trọng của 34 tiêu chí được
sắp xếp theo chiều giảm dần, các độ đo
này được tính từ rừng ngẫu nhiên.
•

HH1, HH7, STC3 có độ quan trọng cao, trong đó HH1="Các hệ

thống tưới, tiêu có chất lượng tốt, đảm bảo chuyển nước và phân
phối nước đến các diện tích cần tưới, tiêu" có độ quan trọng cao
nhất. Tiêu chí DDU6="Nhân viên thủy lợi cung cấp luôn luôn sẵn
sàng đáp ứng yêu cầu của ông bà" có độ quan trọng thấp nhất.
•

•

Như vậy, trong dịch vụ cung cấp nước tưới tiêu, hộ dùng nước
quan tâm nhất đến các hệ thống tưới tiêu có chất lượng tốt, độ
đáp ứng của đơn vị cung cấp nước, nó bao gồm những yếu tố

như duy tu, bảo dưỡng được thực hiện đầy đủ và đều đặn, sửa
chữa sự cố ngay khi công trình hư hỏng hoặc xuống cấp, thực
hiện đúng lịch cấp nước, cung cấp tối đa khả năng cấp nước, đáp
ứng tốt nhu cầu theo từng giai đoạn sinh trưởng và phát triển
của cây trồng, chất lượng nước được đảm bảo.
Nhân viên thủy lợi có hoặc không đáp ứng những yêu cầu cá
nhân của các hộ dùng nước cũng không ảnh hưởng nhiều đến sự
hài lòng chung về chất lượng dịch vụ tưới tiêu

Độ đo sự quan trọng của các tiêu chí
14


Kết luận
•

Chúng tôi đã trình bày một ứng dụng thực tế áp dụng các mô hình hồi quy dự
đoán mức độ hài lòng của các hộ dùng nước liên quan đến dịch vụ tưới tiêu
tại đồng bằng sông Hồng.

•

Kết quả thực nghiệm cho thấy mô hình hồi quy tuyến tính tuy dễ cài đặt và

dễ sử dụng nhưng lỗi dự đoán cao, các mô hình phi tuyến tỏ ra vượt trội hơn
và khả năng dự đoán chính xác hơn.
•

Mô hình rừng ngẫu nhiên cho kết quả dự đoán chính xác nhất và khả năng
giải thích khác biệt về biến đích giữa các quan sát tốt nhất.

•

Độ đo sự quan trọng của các tiêu chí cũng được tính toán từ rừng ngẫu nhiên
và hiển thị trực quan giúp nhà quản lý nắm bắt thông tin cần thiết để nâng
cấp dịch vụ tưới tiêu.

•

Trong tương lai, chúng tôi sẽ áp dụng kết quả nghiên cứu mở rộng cho các
bài toán kinh tế và những bài toán liên quan đến dự đoán với số chiều cao.
15


XIN CHÂN THÀNH CẢM ƠN!

16