Nghiên cứu, phát triển phương pháp lọc cộng tác dựa vào bộ nhớ

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG







ĐỖ THỊ LIÊN



NGHIÊN CỨU, PHÁT TRIỂN PHƯƠNG PHÁP
LỌC CỘNG TÁC DỰA VÀO BỘ NHỚ


Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.01.04


TÓM TẮT LUẬN VĂN THẠC SĨ



HÀ NỘI - 2013


HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

 



 

 




H

Vào lúc: 


- 

1

MỞ ĐẦU
1. Đặt vấn đề
Information Filtering


quan tâm 

Recommender System






dung (Content-Based Filtering     Collaborative Filtering   



 

 



-Based Collaborative Filtering) và l
(Model-
 




2


   -         -
Based C






Nghiên cứu, phát triển phương pháp lọc cộng tác dựa vào bộ nhớ
T


2. Mục tiêu của luận văn


                

3. Các đóng góp của luận văn


 
- 

- 



- 
          


3

- 7
3000 
- 


4. Bố cục của luận văn

Chương 1 : 
                

 
Chương 2 :  


 
-21/6/2013 [1].
Chương 3 : 


4

CHƯƠNG 1: LỌC CỘNG TÁC DỰA VÀO BỘ NHỚ




1.1. Phát biểu bài toán lọc cộng tác
U = {u
1
, u
2
u
N
N P = {p
1

, p
2
, ,
p
M
M p
x
P 

p
x
P  xP, u
i

U là iU.
U P 
R ={ r
ix
, i = 1 N, x = 1 Mr
ix
 
dùng u
i

U p
x

Pr
ix



r
ix
=  u
i

p
x
u
a

U 
p
x
 P u
a

7].
3 g U
={ u
1
, u
2
, u
3
P = {p
1
, p
2
, p

3
, p
4

r
ix
 {, 1, 2, 3, 4, 5r
ix
= i

U 
x

P
tác.
Bảng 1-1. Ma trận đánh giá của lọc cộng tác.

p
1

p
2

p
3

p
4

u

1

5

4

u
2


3
4

u
3

?
3
?
2
5

r
ix
) là thông tin 

1.1.

Hình 1-1. Các thành phần của hệ thống lọc cộng tác




cho 


 

. 



pháp   N

6

1.2. Phương pháp lọc cộng tác dựa trên sản phẩm
1.2.1. Thuật toán lọc cộng tác dựa trên sản phẩm
  
   
n 
-Based)  3 



1.2.2. Ví dụ lọc cộng tác dựa trên sản phẩm
1.2.3. Hạn chế của phương pháp lọc cộng tác dựa trên sản phẩm
 
 
  
1.3. Phương pháp lọc cộng tác dựa trên người dùng

1.3.1. Thuật toán lọc cộng tác dựa trên người dùng

 . Các

a trên (User-Based) 3 



1.3.2. Ví dụ lọc cộng tác dựa trên người dùng
1.3.3. Hạn chế của phương pháp lọc cộng tác dựa trên người dùng
 
 
 
7

1.4. Mục tiêu nghiên cứu của luận văn
 trên 


. Tuy


 
  
pháp  
 
               

   


1.5. Kết luận chương 1
 trình bày 
  
 













8

CHƯƠNG 2: PHƯƠNG PHÁP USER-BASED VÀ
ITEM-BASED DỰA TRÊN MÔ HÌNH ĐỒ THỊ
bày 
 

Khác 




  




   
(2.6) 
 

2.1. Biểu diễn đồ thị hai phía cho lọc cộng tác
N U và M P 
R=(r
ij
: i=1, 2, N; j =1, 2, ,M
r
ix
= +v i

U x

P  v
v[0, 1].






v
r
ix
(2.1)

2.1

r
ix
{1, 2, , V

V
r
r
ix
ix



Nếu người dùng i chưa biết đến sản phẩm x.
Nếu người dùng i thích sản phẩm x ở mức độ v.
9

trong [22
 (2.1.1r
ix

               

Bảng 2-1. Ma trận đánh giá được chuyển đổi

p
1

p

2

p
3

p
4

u
1

1.0

0.8

u
2


0.6
0.8

u
3

?
0.6
?
0.4
2.1

G
=<V, E>V 
(V=U

PE 2.2e

E 
e = (i, xi

U và x

P

theo (2.3).

 


ix
rPxUixieE |:),(
(2.2)






otherwise
Exiifr
w

ix
ix
0
),(
(2.3)
C=(c
ij
G (i =1, 2, , N+M; j = 1, 2, ,
N+M      C          2.4).
U(N

N
P(M

MW(N

M
theo (2.3W
T
(M

N
W(N

M
U(N

N), P(M

M

   
   











MMPNMW
MNWNNU
C
T
(2.4)
10

.1
  2.    
2.2.

Hình 2-1. Đồ thị hai phía biểu diễn cho lọc cộng tác.

Hình 2-2. Ma trận trọng số biểu diễn đồ thị hai phía.
G =<V,E> C 2.4).


mức độ tương tự giữa các cặp người dùng được tính toán dựa vào trọng số các đường đi
từ đỉnh người dùng đến đỉnh người dùng, mức độ tương tự giữa các cặp sản phẩm được
tính toán dựa vào trọng số các đường đi từ đỉnh sản phẩm đến đến đỉnh sản phẩm, mức
độ phù hợp của người dùng đối với sản phẩm được tính toán dựa vào trọng số các đường
đi từ đỉnh người dùng đến đỉnh sản phẩm
U(N

N
   P(M

M  
       W(N

M) và W
T
(M

N  U(N

N), P(M

M),
W(N

M), W
T
(M

N ). 


0.4
0.6
0.8
0.6
0.8
1.0
p
1

p
2

p
3

p
4

u
1

u
2

u
3

0.0
0.0
0.0

1.0
0.0
0.8
0.0
0.0
0.0
0.0
0.0
0.6
0.8
0.0
0.0
0.0
0.0
0.0
0.6
0.0
0.4
1.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.6
0.6
0.0
0.0

0.0
0.0
0.8
0.8
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.4
0.0
0.0
0.0
0.0

U(NN)
P(MM)
W(NM)
W
T
(MN)
C=
11

2.2. Phương pháp user-based dựa trên mô hình đồ thị hai phía
Thuật toán UserBased-Graph:
Đầu vào:
 Ma trận trọng số C là biểu diễn đồ thị G =<V, E> cho lọc cộng tác .

 i

U là người dùng cần được tư vấn.
 K là số lượng người dùng của tập láng giềng.
Đầu ra:
 Dự đoán x: r
ix
| x

P\P
i
.( quan điểm của người dùng i đối với các sản phẩm
mới x

P).
Các bước tiến hành:
Bước 1. Tính toán mức độ tương tự giữa các cặp người dùng:
L

2
Repeat
 
   
     










, 8,6,4**
2*
2
LifNNUNMWMNW
LifNMWMNW
NNU
LT
T
L
(2.5)

L

L + 2
Until (
0
L
ij
u
với mọi j

(U \ i) );
Bước 2i

U.
 
0

L
ij
u
i

j).
 K j

U i
i

U là K
i
).
Bước 3i xP\P
i
.



i
Kj
jx
i
ix
r
K
r
1
;

Bước4i.
Hình 2-3. Thuật toán UserBased-Graph.
theo (2.5) 

i

U L 
 L 
u
ij
1 
L G =<V,E> liên thông.
12

Định lý 1. G=<V, E> liên thông thì luôn
L 
0
L
ij
u
i, j

U 
L
ij
u


2.3. Phương pháp item-based dựa trên mô hình đồ thị hai phía
Thuật toán ItemBased-Graph:

Đầu vào:
 Ma trận trọng số C là biểu diễn đồ thị G =<V, E> cho lọc cộng tác .
 x

P là sản phẩm cần dự đoán
 K là số lượng sản phẩm của tập láng giềng.
Đầu ra:
 Dự đoán x: r
ix
| i

U\U
x
.( quan điểm của người dùng i đối với phẩm mới x

P).
Các bước tiến hành:
Bước 1. Tính toán mức độ tương tự giữa các cặp sản phẩm
L

2
Repeat
 
   
     










, 8,6,4**
2*
2
LifMMPMNWNMW
LifMNWNMW
MMP
LT
T
L
(2.6)

L

L + 2
Until (
0
L
xy
p
với mọi y

(P \ x) );
Bước 2x

P.
 

L
xy
p
x

y).
 K y

P x (Ký
x

P là K
x
).
Bước 3i xP\P
i
.



Kxx
ix
x
ix
r
K
r
1
;
Bước4K i.

Hình 2-4. Thuật toán ItemBased-Graph.
 (2.6) 
L 
x

P L 2 
L G =<V,E> liên
thông.
13

Định lý 2. G=<V, E> liên thông thì luôn
L 
0
L
xy
p
x, y

P 
L
xy
P


2.4. Điều kiện cần và đủ để các hệ thống lọc cộng tác áp dụng tất cả các
phương pháp trên mô hình đồ thị
Định lý 3
 
NNU
L


),
 
MMP
L


theo (2.6) 

2.5. Kiểm nghiệm và đánh giá
2.5.1. Dữ liệu thử nghiệm

(1) 



2.6.

Hình 2-5. Mô phỏng tập dữ liệu Movilens
(2)  , 3441 
8885  

14

(20%) 80 

(3)  1114 dùng  , 4418  
13476  

(20%) 222 ùng


2.5.2. Phương pháp thử nghiệm
U
tr

U
te


dùng u U
te
r
u,p
 O
u
và P
u
. O
u

P
u
 O
u
(hình 2.6). 
P
u
là P’
u


P
u
là P’
u
.

trong 



u 



.













 






 (2.7)
 


.
 








 (2.8)
MAE 

2.5.3. Kết quả thử nghiệm
2.5.3.1. Với bộ dữ liệu Movielens

15

Bảng 2-2. Độ đo MAE với các đánh giá biết trước của tập dữ liệu Movielens


1

2
5
10
15
20
Top-N-ItemBased
0.4347
0.38
0.4536
0.4576
0.4128
0.3869
KNN-UserBased
0.7171
0.5519
0.4894
0.5554
0.6
0.6334
ItemBased-Graph
0.3819
0.3021
0.3269
0.2253
0.2024
0.1755
UserBased-Graph
0.3657
0.3584
0.3486

0.3475
0.3465
0.3336

2.5.3.2. Với bộ dữ liệu vật giá 402 người dùng
Bảng 2-3. Độ đo MAE với các đánh giá biết trước của tập dữ liệu vật giá 402 người dùng


1
2
5
Top-N-ItemBased
0.7877
0.77215
0.7412
KNN-UserBased
0.8046
0.7978
0.7804
ItemBased-Graph
0.7503
0.7576
0.5788
UserBased-Graph
0.6549
0.6428
0.6596

2.5.3.3. Với bộ dữ liệu vật giá 1114 người dùng
Bảng 2-4. Độ đo MAE với các đánh giá biết trước của tập dữ liệu vật giá 1114 người dùng



1
2
5
Top-N-ItemBased
0.7804
0.7638
0.7327
KNN-UserBased
0.8042
0.798
0.7722
ItemBased-Graph
0.7444
0.7032
0.3248
UserBased-Graph
0.6593
0.6574
0.4891


              


16

 
 

          

2.6. Kết luận chương 2
 trình bày 

  
 

          


 
 v






      
   
túy.







17

CHƯƠNG 3: XÂY DỰNG HỆ TƯ VẤN SẢN PHẨM
ĐIỆN THOẠI DI ĐỘNG


 
thành
 Windows P

3.1. Yêu cầu hoạt động của hệ thống
         
P


 
3.2. Mô hình tổng quát của hệ thống

1. Phone
 


2. 
- 
-  

 -


              



18

-

3.3. Phân tích thiết kế hệ thống
3.3.1. Phân tích hệ thống
3.3.1.1. Xây dựng biểu đồ use case và scenario của các use case
3.3.1.2. Xây dựng biểu đồ lớp phân tích
3.3.2. Thiết kế hệ thống
3.3.2.1. Xây dựng biểu đồ tuần tự
3.3.2.2. Xây dựng biểu đồ lớp thiết kế
3.4. Mô hình dữ liệu hệ thống
3.4.1. Mô tả dữ liệu
       


3.4.2. Mô hình dữ liệu hệ thống

Hình 3-1. Mô hình dữ liệu hệ thống tư vấn sản phẩm điện thoại
3.5. Kết luận chương 3
 trình bày 

            
Windows P

19

KẾT LUẬN
1. Kết quả đạt được :

 
quan tâm. 





  userbased-graph và itembased-graph 

 
  


 



2. Hướng phát triển :
 

 








20

TÀI LIỆU THAM KHẢO


2013.

Comm. ACM, vol. 35, N
o
. 12, pp. 29-37.
[3] 
Researc-Adapted Interaction, vol 11, N
o
.3,
pp.203-209.
 

and Web Technologies (EC--315.
[5] J.B.        -Commerce Recommendation
-153.

Marketing Research, pp. 363-375.
[7] 
Advances in Artificial Intelligence, vol 2009, pp.1-20.
[8] K. Yu, A. Schwaighofer, V. Tresp, X. Xu, and H P. 
Memory-        
vol. 16, No. 1, pp. 56-69.
[9] K. Yu, X. Xu, J. Tao, M. Ester, and H     
Techniques for Memory-Based Collaborat     

[10] M.-Based, Collaborative


o
. 3, pp. 66-72.
[11] R. Baeza-Yates and B. Ribeiro-Neto (19
Addison-Wesley.

           
Systems, vol. 22, N
o
. 1, pp. 5-53.
21

[13] G.Adomavicius, A.            
Recommender Systems: A Survey of the State-of-the-Art and Possible

o
.
6, 2005.
[14] A Lazanas, N. Karacapilidis          
recommendation techniques into an agent-based transportation transactions
manage   International Journal of Information and Decision
Sciences 2010, Vol. 2, No.2 pp. 170  187.
[15] -Based Collaborative Filtering
-295 (2001).
[16]    -Based Top-  
ACM Transactions on Information Systems. Volume 22, Issue 1, pp. 143 - 177
(2004).
[17]            
           
Artificial Intelligence, pp. 43-52 (1998).

[18]          
Information Systems, vol. 22, No. 1, pp. 89-115 (2004).

Graph-Theoretic Approach to Collabor    

[20]        -Based Graphic Models for Collaborative
03).
-based and item-
                

       -product Graphs: Empirical

1146-1164 (2007).
22

[23]           
        ons on
Information Systems, vol. 22(1) pp. 116142 (2004).
[24] GroupLens,
[25] B.                  
Dimensionality Reduction in Recommender Systems 
ACM WebKDD Workshop.
[26]         

[27]          Overview of
-Adapted Interaction,
vol 11, No.3, pp.203-209.
[28]
n+tho%E1%BA%A1i


