Mô hình tin cậy trong hệ tư vấn lựa chọn (tt)

-1HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG
----------------------------------------

PHẠM PHƯƠNG THANH

MƠ HÌNH TIN CẬY TRONG
HỆ TƯ VẤN LỰA CHỌN

Chuyên ngành: Truyền dữ liệu và Mạng máy tính
Mã số: 60.48.15
Người hướng dẫn khoa học: PGS.TS HUỲNH QUYẾT THẮNG

TÓM TẮT LUẬN VĂN THẠC SỸ

HÀ NỘI – 2010


-2-

PHẦN MỞ ĐẦU
1. Cơ sở khoa học và thực tiễn của đề tài
Khả năng lưu trữ thông tin khổng lồ đã tạo ra những bước ngoặt
lớn trong cuộc sống con người. Nhưng ngược lại, nhờ khả năng lưu
trữ được một lượng thơng tin khổng lồ này nên q trình tìm kiếm
thông tin đáp ứng nhu cầu cho người dùng thường gặp rất nhiều khó
khăn. Để giải quyết vấn đề này các hệ thống thu thập và lọc thông tin
ra đời nhằm giảm đi thời gian tìm kiếm và cung cấp thông tin chất
lượng cao cho người sử dụng. Và một hệ “tư vấn lựa chọn tin cậy” là
mục tiêu hướng tới để nghiên cứu và triển khai trên thực tế.
Các nghiên cứu của các tác giả John O’Donovan, Barry Smyth,
trường Đại học Dublin, Ireland nhóm tác giả Reid Andersen và các

cộng sự thuộc Viện khoa học Weizmann, Rehovot, Israel và một số
nhóm tác giả khác liên quan đến các kỹ thuật xây dựng hệ “tư vấn lựa
chọn tin cậy” được công bố trong các năm 2005-2008 là cơ sở để em
tiến hành nghiên cứu và cải tiến một số kỹ thuật được sử dụng nhằm
nâng cao độ tin cậy cho một hệ tư vấn lựa chọn tin cậy.
2. Mục tiêu của đề tài
Luận văn được hồn thành với mục đích tổng hợp các lý thuyết
liên quan và cung cấp một cái nhìn tổng quan về các kỹ thuật được sử
dụng để xây dựng mơ hình tin cậy trong hệ tư vấn lựa chọn. Đồng
thời tìm hiểu và tổng hợp lại những kết quả chủ yếu về một số kỹ
thuật được công bố trên các bài báo của John O’Donovan, Barry
Smyth, Reid Andersen và các cộng sự và các nhóm tác giả khác. Tiến
hành nghiên cứu thử nghiệm cải tiến các kỹ thuật này. Tiến hành xây


-3dựng một khung (prototype) hệ tư vấn lựa chọn tin cậy để chứng
minh hiệu quả của các cải tiến đề xuất.
CHƯƠNG I
GIỚI THIỆU TỔNG QUAN VỀ HỆ TƯ VẤN LỰA CHỌN
1.1. Hệ tư vấn lựa chọn
Theo Pemberton: “Hệ tư vấn lựa chọn được định nghĩa là một
loại hệ thống lọc có khả năng thích nghi, sử dụng những suy luận rút
ra từ thông tin đã biết về người dùng để tư vấn cho họ lựa chọn
những mục mà họ chưa từng biết.”
1.2. Chức năng của hệ tư vấn lựa chọn
Các hệ tư vấn lựa chọn giải quyết bài toán như sau: một người
dùng muốn tương tác với một loại mục nào đó, chẳng hạn muốn xem
phim. Khi đó người dùng sẽ vào một website về phim, tất nhiên ở đó
sẽ quá nhiều phim, và người dùng sẽ không thể xem thử hết để xem
phim nào là hợp ý (điều này là quá tốn kém thời gian, tiền bạc mà có

khi lại làm người dùng khơng hài lịng). Hệ tư vấn lựa chọn có khả
năng dự đốn mức độ ưa thích của anh ta cho từng phim và tư vấn
cho người dùng lựa chọn một số phim mà nó cho là phù hợp nhất.
Như vậy bài toán của hệ tư vấn lựa chọn là lựa chọn ra một số mục
trong vô số mục sẵn có để tư vấn cho người dùng và có khả năng dự
đốn mức độ ưa thích của người dùng cho mỗi mục đó.
1.3. Phân loại hệ tư vấn lựa chọn
Cách phân loại hệ tư vấn lựa chọn phổ biến nhất là dựa theo
thuật toán mà chúng dùng để sinh ra các tư vấn: hệ thống tư vấn theo


-4-

- 17 -

nội dung (content based), hệ thống tư vấn lọc cộng tác (collaborative

KẾT LUẬN

filtering), và hệ thống tư vấn sử dụng kết hợp cả hai loại thuật toán.
Thuật toán tư vấn theo nội dung được xây dựng trên giả định:
người ta thường muốn tìm cái giống cái trước đây mà người ta đã

Báo cáo đã trình bày các kết quả thực hiện đồ án tốt nghiệp “
Mơ hình tin cậy trong hệ tư vấn lựa chọn”. Kết quả đã đạt được bao

thích. Hệ thống phân tích nội dung của những mục mà người dùng đã
đánh giá cao, chẳng hạn những phim mà người dùng đã xem và thích,

gồm cả tìm hiểu tổng quan về hệ tư vấn lựa chọn và xây dựng một hệ

tư vấn ứng dụng cho sinh viên Đại học Thăng Long trong việc lựa

từ đó tìm ra những đặc trưng của các mục này. Sau đó hệ thống sẽ lựa
chọn những mục mà người dùng chưa đánh giá và có nội dung “gần

chọn chuyên ngành hẹp.

nhất” với các đặc trưng đó để tư vấn cho người dùng.
Thuật toán lọc cộng tác được xây dựng dựa trên giả định là
những người có sở thích giống nhau trong q khứ thì có khả năng
trong hiện tại họ cũng có sở thích giống nhau.
1.4. Kiến trúc hệ tư vấn lựa chọn
Kiến trúc của hệ tư vấn lựa chọn được chỉ ra như sau:

Hệ tư vấn lựa chọn là một lĩnh vực khá mới ở Việt Nam, đặc
biệt vấn đề về độ tin cậy trong mơ hình tư vấn lựa chọn đang được rất
nhiều tác giả quan tâm. Người thực hiện đề tài đã cố gắng tìm hiểu
một cách tồn diện, khái quát nhất về cơ sở, công nghệ của lĩnh vực
này. Trên cơ sở đó, có thể thực hiện mở rộng, tiến hành các nghiên
cứu theo chiều sâu như tìm hiểu cụ thể về các giải thuật mà tác giả
O’donovan đã công bố, đồng thời đề xuất cải tiến giải thuật mới.
Trong khuôn khổ của đề tài này, em đã tiến hành mơ tả chi tiết hai
mơ hình tin cậy trong hệ tư vấn lựa chọn, tiến hành cài đặt kiểm thử
các giải thuật trên bộ dữ liệu chuẩn (MovieLens) và bộ dữ liệu được
thu thập từ Đại học Thăng Long (dlThangLong).
Hướng phát triển tiếp theo của đề tài là tập trung xây dựng một
hệ tư vấn lựa chọn ứng dụng cho sinh viên Đại học Thăng Long, hỗ
trợ sinh viên trong việc đăng ký chuyên ngành hẹp, đồng thời giúp
q trình đào tạo theo tín chỉ hoạt động có hiệu quả.

- 16 -

-5-

nữa có thể là thấy bạn học cùng lớp đăng ký chuyên
ngành nào thì đăng ký cùng bạn với suy nghĩ “ học cùng
cho vui”.
o Một yếu tố khác đó là căn cứ vào kết quả học tập của các
môn chuyên ngành cơ sở. Kết quả của cả quá trình học
phản ánh được khả năng của sinh viên đó sẽ phù hợp với
chuyên ngành hẹp nào nhất. Ta lấy một ví dụ, một sinh
viên có điểm số tốt trong các mơn như: Lập trình Java,
Phân tích thiết kế hướng đối tượng, Cơng nghệ phần
mềm,… thì sinh viên đó nên theo chuyên ngành hẹp là
Công nghệ phần mềm.
Với mong muốn đó, ý tưởng xây dựng một hệ thống có thể hỗ trợ
sinh viên trong việc lựa chọn đăng ký chuyên ngành hẹp sao cho phù
hợp với sở thích cũng như năng lực của sinh viên nhất. Hệ thống có
tên là: “Hệ tư vấn lựa chọn chuyên ngành hẹp cho sinh viên Đại học
Thăng Long”. Đây cũng chính là hướng phát triển tiếp theo của đề
tài!

Theo Zhang 2002 hệ tư vấn lựa chọn được chia làm 3 phần:

 Tương tác với người dùng.
 Tạo tiểu sử người dùng.
 Tạo tư vấn.
1.5. Ứng dụng của hệ tư vấn lựa chọn
Phạm vi ứng dụng của hệ tư vấn lựa chọn là rất rộng. Trong

thương mại điện tử, hầu hết các hệ thống này là các hệ thống bán
sách, giới thiệu phim, tin tức, đĩa CD ca nhạc, các trang Web...
Kangas 2002 đã tổng hợp một số hệ thống tư vấn lựa chọn và phân
loại theo ứng dụng của chúng như sau:


-6-

- 15 -

1. Phim: Firefly, MovieCritic, MovieLens, Mangarate, Morse,
CinemaScreen, Imdb

-

Hệ quản trị cơ sở dữ liệu: Access

Giải thuật cho kết quả như sau:

2. Âm nhạc: Firefly, CdNow
3. Sách: Amazon, Barnes&Noble
4. Web: Webwatcher,
Webdoggie, Gustos

Webfilter,

Webwasher,

Select,

5. Thư viện/Bảo tàng: ScienceIndex, Active Web Museum,
BIRD, ChaffAway
6. Tin tức: Shift, Infoscan, NewsSieve, Borger, RAMA,
GroupLens.
7. Tài liệu: Fab
8. Thương mại điện tử: TripMatcher (du lịch), ShopMatcher
(mua bán), E-Markets
Các ứng dụng khác: Restaurant recommendation system (WAP),
Footprints, Jester (truyện cười), JobMatcher (việc làm), Levis (đồ
jeans), Yenta (mai mối), Trabble (nhà hàng)
1.6. Một số hệ tư vấn lựa chọn thương mại



Tapestry



Fab



Amazon



MovieLens



IMDB (Internet Movie Databasr)

Average

Max

Min

IError

0.938

3.489

0

PError

0.943

1.804

0.679

IOverest

0.865

3.833

0

IUderest

0.745

3.489

0

POverest

0.931

2.217

0.328

PUnderest

0.868

1.865

0.162

3.4. Ý tưởng xây dựng hệ tư vấn lựa chọn chuyên ngành hẹp tại
đại học Thăng Long
Đại học Thăng Long là trường Đại học đầu tiên đào tạo bậc
đại học theo hình thức tín chỉ. Với hình thức đào tạo này, sinh viên có

thể chủ động quyết định thời khóa biều của mình. Tuy nhiên rất nhiều
sinh viên sẽ bị lúng túng trong việc lựa chọn môn học sao cho phù
hợp và có thể rút ngắn thời gian hồn thành chương trình học một
cách nhanh nhất.
Một khó khăn nữa mà sinh viên gặp phải đó là sau khi hồn
thành các mơn chun ngành cơ sở, sinh viên phải đứng trước việc
lựa chọn chuyên ngành hẹp cho mình. Việc lựa chọn chuyên ngành
hẹp phụ thuộc rất nhiều vào các yếu tố:
o Thứ nhất, là sở thích của sinh viên. Sinh viên muốn mình
sau ra trường sẽ làm chuyên sâu về phần nào thì sẽ đăng
ký mơn chun ngành hẹp thuộc phần đó. Hoặc một lý do


- 14 -

-7-

các cải tiến đó có mối tương quan không đáng kể. Ngược lại, CItem

CHƯƠNG II

hơn Resnick 67% trong số các lần thử nghiệm, nhưng điều cơ bản là
sai số tổng thể giảm đáng kể là 22%.

MƠ HÌNH TIN CẬY TRONG HỆ TƯ VẤN LỰA CHỌN

3.3. Thử nghiệm giải thuật cho chức năng tư vấn lựa chọn chuyên
ngành hẹp tại đại học Thăng Long
3.3.1. Thu thập và xây dựng dữ liệu
Dữ liệu được thu thập từ Phòng Đào Tạo 1 trường Đại học Thăng

Long và người viết luận văn tiến hành xây dựng bộ dữ liệu phù hợp
để phục vụ cho việc kiểm thử các giải thuật đã được công bố cũng
như giải thuật đề xuất.
Dữ liệu được xây dựng bằng cách tiến hành thu thập dữ liệu của các
sinh viên đã tốt nghiệp, gồm:
- Mã sinh viên
-

Tên sinh viên
Điểm trung bình các mơn chun ngành cơ sở
Mã mơn chuyên hành hẹp đăng ký
Điểm tốt nghiệp

Với các thông tin đó, hệ tư vấn lựa chọn sẽ thực hiện cơng việc như
sau: khi có một sinh viên cần tư vấn để lựa chọn chuyên ngành hẹp.
Sinh viên đó cần cung cấp thông tin cho hệ thống về mã sinh viên,
tên,… và quan trọng là điểm trung bình các mơn chun ngành cơ sở.
Hệ thống sẽ xử lý và dự đoán điểm tốt nghiệp rồi từ đó tư vấn cho
sinh viên chuyên ngành hẹp phù hợp.
3.3.2. Thử nghiệm với giải thuật Citem
Tiến hành cài đặt thuật toán CItem trên bộ dữ liệu dlThangLong:
-

Ngơn ngữ lập trình: Java

2.1. Tổng quan về mơ hình tin cậy trong hệ tư vấn lựa chọn
Trong hầu hết các nghiên cứu gần đây, định nghĩa về độ tin cậy
được chia thành nhiều loại khác nhau, nên trong nhiều trường hợp thì
khó có thể đưa ra định nghĩa chính xác về độ tin cậy. Trong nghiên
cứu của Marsh có giới thiệu độ tin cậy theo theo hai lĩnh vực làm

việc với nó:


Độ tin cậy giữa các cá nhân trong ngữ cảnh cụ thể (Contextspecific interpersonal trust): là tình trạng người dùng có tin
cậy vào một người nào đó mà khơng cần thiết đối với người
khác trong một hồn cảnh cụ thể.



Độ tin cậy hệ thống/ khách quan (impersonal): diễn tả độ tin
cậy người dùng trong một hệ thống hay một mơi trường nào
đó.

2.2. Các phương pháp tính tốn độ tin cậy
2.2.1. Tính tốn độ tin cậy theo tiểu sử người dùng
Giá trị dự đoán một khoản mục i của người sản xuất p cho
người tiêu dùng c là chính xác nếu giá trị p(i) trong khoảng  giá trị
thực c(i) của c theo công thức

Correct (i, p, c )  p (i )  c(i )  
Tập tồn bộ các tư vấn có liên quan đến người sản xuất cho
trước RecSet(p) được cho bởi công thức:


-8-

- 13 3.2. Xây dựng và đánh giá kết quả thử nghiệm giải thuật CItem
Kết quả biểu diễn trong hình sau:

RecSet ( p)  {(c1 , i1 ),..., (cn, in )}

Và tập các tư vấn chính xác CorrectSet(p) là tập con của
RecSet(p) được xác định bằng công thức, với giá trị i là số các khoản
mục và c là giá trị dự đoán.

CorrectSet( p)  {(ck , ik )  RecSet( p ) : Correct (ik , p, ck )}
Độ tin cậy mức khoản mục TrustP của một nhà sản xuất là tỷ
lệ phần trăm các tư vấn chính xác được phân bố. Ví dụ, nếu một nhà
sản xuất có 100 tư vấn thì họ được coi là người cùng tư vấn 100 lần;
trong đó 40 tư vấn là có khả năng giá trị là chính xác, thì độ tin cậy
mức tiểu sử của người dùng này là 0.4 và được tính theo cơng thức:
Trust P ( p ) 

CorrectSet ( p )
RecSet ( p)

Với hai chiến lược dựa trên trọng số (WProfile và WItem)
phân bố sai số dự đoán được cải tiến hơn so với Resnick, mặc dù cải

2.2.2. Tính tốn độ tin cậy theo khoản mục
Độ tin cậy mức tiểu sử là tiêu chí đo lường độ tin cậy dạng
thơ khi nó coi tiểu sử như tổng thể đánh giá. Trên thực tế, người ta kỳ
vọng tiểu sử người sản xuất cho trước có thể đáng tin cậy khi nó trở
thành giá trị dự đốn cho khoản mục cụ thể hơn so với các khoản
mục khác. Nhờ vậy, người ta có thể định nghĩa hàm hình học độ tin
I

cậy mức khoản mục mịn hơn so với công thức trên, đó là hàm Trust
dùng để tính tỷ lệ các tư vấn chính xáccho khoản mục i.
{( ck , ik )  CorrectSet ( p ) : ik  i}
Trust I ( p , i) 

{(c k , ik )  RecSet ( p ) : ik  i}

tiến ở cận biên, chúng chỉ đạt 31.5% và 45.9% của các dự đốn thử
nghiệm. Nói cách khác, Resnick phân bố một dự đoán tốt hơn trong
phần lớn các lần thử nghiệm. Chiến lược dựa trên lọc (FProfile và
FItem) và chiến lược kết hợp (CProfile và CItem) thực hiện đạt kết
quả tốt hơn nhiều. Tất cả các chiến lược thu được kết quả tốt trong
phần lớn các thử nghiệm với FProfile và CItem đạt 70% và 67%
trong các dự đoán.
Chiến lược FProfile cho thấy sự cải tiến tổng thể đạt kết quả
tốt nhất dựa trên tỷ lệ phần trăm vượt qua Resnick, mặc dù nó chỉ đạt
3% sai số có nghĩa so với Resnick. Thậm chí FProfile phân bố các dự
đốn có sai số thấp hơn Resnick trong 70% số lần thử nghiệm, nhưng


- 12 CHƯƠNG III

-92.3. Một số mơ hình tin cậy và các phương pháp kiểm thử
2.3.1. Mơ hình tin cậy dựa trên trọng số

THỬ NGHIỆM, ĐÁNH GIÁ VÀ ĐỀ XUẤT XÂY DỰNG PHẦN
MỀM TƯ VẤN LỰA CHỌN CHUYÊN NGÀNH HẸP CHO
SINH VIÊN ĐẠI HỌC THĂNG LONG

Cách đơn giản nhất để xem xét độ tin cậy khơng thích hợp với
tiến trình tư vấn là kết hợp độ tin cậy và độ tương tự để sinh ra giá trị
trọng số kết hợp mà có thể sử dụng được trong cơng thức Resnick
như sau

3.1. Đề xuất cải tiến dựa trên giải thuật kết hợp giữa hai mơ hình

 ( p(i)  p ) w(c, p, i)

tin cậy dựa trên trọng số và mô hình tin cậy dựa trên lọc
Khi kết hợp hai mơ hình tin cậy dựa trên lọc và dựa trên trọng

c (i )  c 

pP ( i )

 w (c , p , i )
pP ( i )

số ta có được một mơ hình mới. Thuật tốn sử dụng đối với mơ hình
Trong đó:

này là thuật tốn CItem.
Xuất phát từ công thức của Resnick:

 ( p(i )  p) w(c, p, i )
c(i)  c 

pP (i )

 w(c, p, i )

 ( p(i )  p) sim(c, p)
c (i )  c 

 sim(c, p)

pPi

Với thuật toán này, độ tương tự giữa c, p sẽ được thay thế bởi
trọng số của c, p đối với khoản mục i:

simc, p  wc, p, i 
Từ đó ta có, đánh giá của người dùng c đối với khoản mục i là:

 ( p(i)  p)wc, p, i 

c(i )  c 

pP ( i )

pP ( i )

pP ( i )

 wc, p, i 
pPi

2.3.2. Mơ hình tin cậy dựa trên lọc
Có thể thay thế lược đồ trọng số dựa trên độ tin cậy bằng việc dùng
độ tin cậy. Có nghĩa là việc lọc các tiểu sử có độ ưu tiên để tư vấn, do
đó chỉ hầu hết các tiểu sử có độ tin cậy cao sẽ tham gia vào tiến trình
dự đốn. Cơng thức sau là phiên bản thay đổi của công thức Resnick:

 ( p(i)  p)sim(c, p )

c (i)  c 

pPT ( i )



sim(c, p)

pPT ( i )

Sự thay đổi đó là chỉ cho phép tiểu sử những người tiêu dùng được
tham gia vào tiến trình tư vấn nếu giá trị tin cậy của họ vượt quá một
ngưỡng (threshold) cho trước nào đó.


- 10 PiT  { p  P(i) : Trust I ( p, i )  T }

- 11 Jester tại />
(Trust (p,i)), nhưng có thể dùng thay thế bởi độ tin cậy mức tiểu sử.
Do đó, phương pháp Resnick chuẩn chỉ áp dụng cho hầu hết các tiểu

Đây là tập dữ liệu về truyện cười của Goldberg (Goldberg et al. 1999
Error! Reference source not found.). Tập dữ liệu này bao gồm 100
truyện cười, 73.421 người dùng và khoảng 4,1 triệu đánh giá. Điểm
khác biệt là Jester có mức đánh giá nhận giá trị liên tục trong khoảng

sử có độ tin cậy cao.

từ -10 đến 10.

Ta thấy công thức trên sử dụng độ tin cậy mức khoản mục

I

2.3.3. Các phương pháp thử nghiệm
 Độ đo hiệu năng


Độ đo chất lượng dự đoán



Độ đo chất lượng N khuyến nghị tốt nhất

2.3.4. Bộ dữ liệu kiểm thử
Khi so sánh các thuật toán thì nhất thiết phải cho chúng chạy
trên cùng một tập dữ liệu chuẩn. Những tập dữ liệu này thường do
các dự án nghiên cứu thu thập được. Hiện có một số tập dữ liệu
chuẩn được cung cấp miễn phí sau :
EachMovie tại />Đây là tập dữ liệu chuẩn về phim gồm có 72.916 người dùng, 1.648
phim và 2.811.983 đánh giá. Mỗi người dùng sẽ đánh giá phim theo 5
mức điểm từ 1 tới 5. Trong đó chỉ có 61.263 người dùng có đưa ra
đánh giá và chỉ có 1.623 phim là có đánh giá từ người dùng.
MovieLens tại />Tập dữ liệu của MovieLens cũng là tập dữ liệu chuẩn về phim gồm
có 6.040 người dùng, 3.882 phim và 1.000.209 đánh giá trong đó mỗi
người dùng đánh giá ít nhất 20 phim. Mỗi phim được đánh giá theo 5
mức điểm từ 1 tới 5.