performance_vn
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (830.17 KB, 27 trang )
Làm thế nào để đánh giá năng lực của
hội đồng và thành viên hội đồng?
Sébastien Lê
Agrocampus Rennes
Nội dung chính
•
•
•
•
Bảng số liệu
Đánh giá năng lực hội đồng
Đánh giá năng lực thành viên hội đồng
Hiệu ứng và tương tác có khả năng ảnh hưởng đến
kết quả
Đánh giá năng lực hội đồng
2
Trình bày số liệu
• 6 sản phẩm sơcơla đen (Excellence, Amère, Mi-doux,
Amazonie, Pâtissier, Supérieur)
• 29 người thử (sinh viên)
• 2 buổi thử
• 14 thuật ngữ : cocoa aroma, milk aroma, sweet, acid,
bitter, cocoa, milk, caramel, astringent, crunchy, melt,
sticky, granular
• Cho điểm từ 0 đến 10
Đánh giá năng lực hội đồng
3
Trình bày số liệu
Đánh giá năng lực hội đồng
4
Trình bày số liệu
2
4
6
8
10
MilkA
0
0
2
4
6
8
10
CocoaA
CocoaF
MilkF
8
6
4
2
0
0
2
4
6
8
10
choc1 choc2 choc3 choc4 choc5 choc6
10
choc1 choc2 choc3 choc4 choc5 choc6
choc1 choc2 choc3 choc4 choc5 choc6
Đánh giá năng lực hội đồng
choc1 choc2 choc3 choc4 choc5 choc6
5
Trình bày số liệu
0.00
2
4
6
8
10
0
2
4
6
8
MilkA
Histogram of CocoaF
Histogram of MilkF
10
0.10
0.00
0.00
0.10
Density
0.20
CocoaA
0.20
0
Density
0.10
Density
0.00
Phân bố chuẩn
với trung bình và
phương sai của
tập số liệu thực
nghiệm
0.10
Density
Mật độ ước lượng
0.20
Histogram of MilkA
0.20
Histogram of CocoaA
0
2
4
6
8
CocoaF
Đánh giá năng lực hội đồng
10
0
2
4
6
8
10
MilkF
6
Nhắc lại về Phân tích phương sai
Định nghĩa :
(i, j , k )
Yijk i j k ij ik jk ijk
L( ijk ) N (0, ) et cov( ijk , 'ij 'k ' ) 0 (i, j , k ) (i ' , j ' , k ' )
Hiệu ứng của giá trị trung bình
Hiệu ứng sản phẩm i
Trong đó :
Hiệu ứng người thử j
Hiệu ứng buổi thử k
Hiệu ứng tương tác sản phẩm – người thử
Hiệu ứng tương tác sản phẩm – buổi thử
Hiệu ứng người thử – buổi thử
Đánh giá năng lực hội đồng
7
Ý nghĩa của các hiệu ứng khác nhau
• Hiệu ứng sản phẩm: các sản phẩm được phân biệt
với nhau (rất thú vị)
• Hiệu ứng người thử: người thử khác nhau trong việc
sử dụng thang điểm đánh giá (không thực sự quá
quan trọng)
• Hiệu ứng buổi thử: việc sử dụng thang điểm là khác
nhau từ buổi thử này sang buổi thử khác (không thực
sự quá quan trọng)
Đánh giá năng lực hội đồng
8
Ý nghĩa của các hiệu ứng khác nhau
• Tương tác Sản phẩm - Buổi thử : tồn hội đồng
khơng có khả năng lập lại cho một thuật ngữ nào đó
(nghiêm trọng)
• Tương tác Sản phẩm - Người thử : khơng có sự
đồng thuận giữa các người thử cho một thuật ngữ nào
đó (nghiêm trọng)
• Tương tác Người thử - Buổi thử : đối với một vài
người thử, việc sử dụng thang đo thay đổi từ buổi thử
này sang buổi thử khác (không quá quan trọng)
Đánh giá năng lực hội đồng
9
Cố định hay ngẫu nhiên?
•
Hiệu ứng cố định (Fixed effect): hiệu ứng mong đợi liên quan đến
các nhóm yếu tố (người ta quan tâm đến các kết quả của hội đồng)
•
Hiệu ứng ngẫu nhiên (Random effect): hiệu ứng mong đợi
khơng thể được xem là liên quan đến các nhóm yếu tố (người ta
muốn hiểu “hội đồng đánh giá nói chung” nghĩa là gì chỉ trên một
tập hợp mẫu người thử; trong trường hợp này, chúng ta nói về
“suy diễn” the effect of interest is not strictly speaking linked to the
categories of the factor (people want to understand what “panelists in
general” are saying from a sample of panelists; in that case we talk
about “inference”)
Đánh giá năng lực hội đồng
1
Năng lực là gì?
Một hội đồng hoặc một thành viên hội đồng có năng lực
tốt nếu:
• Hội đồng đó hoặc thành viên đó đưa ra được các khác biệt
giữa các sản phẩm (đây là trường hợp mà hiệu ứng sản
phẩm có ý nghĩa)
• Hội đồng đó hoặc thành viên đó có khả năng lập lại các
đánh giá (nghĩa là đưa ra được các khác biệt giữa các sản
phẩm một cách tương tự nhau từ buổi thử này đến buổi
thử khác)
Đánh giá năng lực hội đồng
1
Đánh giá năng lực lặp lại?
• Để đánh giá khả năng lập lại của các thành viên hội đồng
(toàn bộ thành viên), xem xét tương tác Sản phẩm - Buổi
thử của mơ hình:
Điểm = P + J + S + J*P + J*S + P*S,
trong đó, P là sản phẩm, J thành viên hội đồng, S buổi thử
• Nếu tương tác Sản phẩm - Buổi thử có ý nghĩa thống kê:
người thử nói chung đã khơng đánh giá các sản phẩm
theo cùng một cách giống nhau trong các buổi đánh giá
khác nhau, đây thật sự là vấn đề
Đánh giá năng lực hội đồng
1
Năng lực lặp lại thông qua tương tác Sản phẩm Buổi thử
Sản phẩm:Buổi thử
Sticky
Caramel
Astringency
MilkF
Sweetness
Bitterness
Granular
Melting
Vanilla
CocoaF
Crunchy
CocoaA
MilkA
Acidity
0.009964
0.07315
0.08183
0.1182
0.1188
0.1897
0.283
0.3041
0.3183
0.4487
0.6869
0.8011
0.8287
0.9835
Tất cả các sản phẩm đã không
được đánh giá một cách giống
nhau trong suốt hai buổi đánh
giá đối với thuật ngữ “sticky”
(dính):
Các thành viên khơng có khả năng
lặp lại
hoặc
Các sản phẩm đã bị thay đổi (nhiệt
độ khác nhau, …)
Đối với các thuật ngữ
khác thì hội đồng có tính
lặp lại
Đánh giá năng lực hội đồng
1
Tương tác nào tham gia vào tương tác chung giữa
Sản phẩm – Buổi thử
Sticky
Buổi1
choc1
choc2
choc3
choc4
choc5
choc6
0.325
-0.261
-0.193
0.704
-0.417
-0.158
Buổi 2
-0.325
0.261
0.193
-0.704
0.417
0.158
choc4 ít “dính” hơn ở
buổi thử thứ hai so với
buổi thứ nhất
Các điểm số của Choc6 là
giống nhau cho cả hai
buổi thử
Các hệ số của tương tác Sản phẩm - Buổi thử
Đánh giá năng lực hội đồng
1
Tương tác Sản phẩm - Buổi thử
5.0
choc3
choc4
Buổi 1
Các sản phẩm được
xếp theo thứ tự tăng
dần của giá trị trung
bình
4.5
4.0
choc1
Buổi 2
choc6
choc2
3.5
Mỗi đường thẳng biểu
diễn cho một buổi thử
3.0
Trung bình trong từng buổi thử
Session 1
Session 2
choc5
2.5
3.0
Sticky
3.5
4.0
4.5
5.0
Khơng song song = có
tương tác
5.5
Giá trị trung bình trên tồn bộ các buổi thử
Đánh giá năng lực hội đồng
1
Tương tác Sản phẩm - Buổi thử
Sticky
choc6
choc5
choc4
choc3
choc2
choc1
0.0
0.2
0.4
Chocolate 4 đóng góp nhiều hơn 50%
của tương tác Sản phẩm - Buổi thử được
xác định theo cách sau:
Đánh giá năng lực hội đồng
1
Năng lực lặp lại của Hội đồng và Thành viên hội
đồng
•
Đánh giá thơng qua tương tác P*J*S của mơ hình :
Điểm = P + J + S + J*P + J*S + P*S + P*J*S
Khơng thể nào nếu khơng có lặp (nghĩa là chỉ có một điểm số cho
bộ ba P*J*S)
•
Đánh giá (bởi thành viên hội đồng) của tương tác P*S trong mơ
hình:
Điểm = P + S + P*S (bởi thành viên)
Khơng thể nào nếu khơng có lặp
•
Đánh giá bằng độ lệch chuẩn của sai số (đối với toàn hội đồng hoặc
mỗi thành viên hội đồng)
•
Vấn đề: khơng có kiểm định nào là có khả năng (so sánh về chất giữa các
thành viên hoặc thuật ngữ)
Đánh giá năng lực hội đồng
1
Năng lực lặp lại của hội đồng
Độ lệch chuẩn của sai số trong mơ hình:
Điểm = P + J + S + J*P + J*S + P*S
Đánh giá năng lực hội đồng
1
Năng lực lặp lại của hội đồng
CocoaF CocoaA Vanilla
14
0.707 0.764 0.707
23
1.08
1.61
1.15
11
1.73
1.68
1.22
22
1.19
1.71
0
24
0.645 0.816 0.764
3
0.913 0.913
1.63
28
0.816
1.26
1.38
21
2.1
1.29
0
1
0.913
1
0.913
13
0.913
1.22
0.5
10
1.44
1.12
1.41
12
1.38
1.55
1.44
5
1.19
1.22
1.63
27
0.866
1.08
1.5
19
1.98
1.35
1.12
25
1.32
1.22
1.73
9
1.04
1.26
1.61
15
0.764
1
1.19
17
1.19
1.78
0.764
26
1.78
1.29
0.913
2
1.61
1.35
0.645
16
1
1.73
2.04
18
1.44
2.53
1.8
6
0.816
2.2
1.8
4
1.58
1.41
1.96
8
1.73
2.45
2.53
29
2.43
4.11
2.48
20
2.42
3.27
2.12
7
2.66
3.25
2.5
median 1.19
1.35
1.41
Astringency
MilkF Caramel
SweetnessCrunchy
Bitterness Melting Acidity
1.35
1.29
1.29
1.29
0.5
1.19
0.913
1.15
1.12
1.22
0.957
2.04
1.12
1.53
1.58
1.15
1.04
0.707
1.55
1.32
2.5
1.91
0.957 0.577
1.5
0.866
1.53
1.15
0.645
1.26
2.31
1.32
1.63
1
1.04
1.22
1.61
1.41
1.47
1.85
1.38
0.913
1.19
1.5
0.913
1.58
2.43
1.94
0.913
1.5
0.289
1.87
1.47
1.15
1.8
2
0.707
0.5
1.8
1.87
1.35
1.38
1.26
0.408
0.913
1.53
1.29
1.73
1.04
1.53
1.38
1.83
0.866
1.12
2.63
2.31
1.5
2.81
1.22
2.52
0.408
1.61
1.63
0.577
1.5
1.73
1.29
0.408
1.32
2.45
0.913
1.98
0.408
1.26
2.38
2.02
0.957
1.22
0.764
1.58
1.73
1.41
2.12
1.04
1.58
2.63
2.72
0.645
1.41
1.32
1.04
1.8
1.53
1.58
1.5
1.08
1.68
2.25
1.38
1.15
1.8
3.14
1.96
1
1.71
0.764 0.707
0.5
1.89
1
0.764
2.02
1.53
1.76
1.58
1.55
1.8
1.55
2.69
3.16
1.55
1.41
1.89
1.63
1.47
0.764
1.38
1.26
2.36
1.71
1.35
2.27
1.58
0.957
2.58
0.957
1.83
2.45
1.68
0.957
2.33
1.85
2.57
0.764
0
2.36
1.63
1.15
2.06
0.957 0.957
1.8
0.957 0.957 0.707
1.76
0.707
2.14
1.38
2.99
2.5
1
2.57
2
2.29
1.68
1.08
0.707
1.78
2.06
2.29
1.12
2.02
2.1
3.38
2.58
2.42
1.76
0.957
2.31
1.19
3.62
1.66
1.53
2.58
2.36
2.74
3.01
2.81
2.77
2.55
2.74
2.65
1.63
1.53
2.68
1.58
2.1
3.14
2.27
2.48
2.1
2.6
3.08
2.52
2.74
1.66
1.47
3.37
3.66
1.61
1.26
1.5
1.53
1.53
1.53
1.55
1.58
1.58
1.63
Đánh giá năng lực hội đồng
Sticky
1.35
2.12
1.61
1.26
1.76
1.26
1.22
1.73
1.76
1.29
2.33
2.27
1.94
1.58
1.61
3.35
1.78
0.645
1.89
2.16
2.2
1.89
1.76
3.48
1.53
1.76
2.12
2.72
1.85
1.76
MilkA Granular median
0.764 0.957 1.053
1.71
0.645 1.185
0.764 0.957
1.27
1.78
3.91
1.29
0.957
1.98
1.315
1.26
1.83
1.32
0.866
2.08
1.32
0.5
2.47
1.32
1
2.16
1.335
1.53
2.53
1.395
1.44
0.957 1.425
1.44
1.35
1.44
2.14
1.5
1.455
1.63
0.645 1.455
2.12
0.957 1.515
1.98
0.577 1.515
1.29
2.36
1.565
1.85
1.87
1.59
1.87
1.83
1.59
2.43
0.866
1.63
3.19
1.91
1.74
1.98
2.65
1.745
1.71
0.289
1.78
2.16
1.12
1.79
1.89
3.25
1.99
2.22
1.83
2.29
2.29
0.957 2.515
3.75
2.61
2.54
2.81
2.81
2.59
1.78
1.83
1.515
1
Năng lực lặp lại của hội đồng
Ca cao
Người thử
số 4 có khả
năng lặp lại
tốt nhất
Khả năng
lặp lại của
người thử
29 là kém
nhất
14
24
3
1
15
27
10
5
13
25
9
28
21
26
2
Độ lệch chuẩn của sai số trong mơ hình:
Điểm = P
0.764
0.816
0.913
1
1
1.08
1.12
1.22
1.22
1.22
1.26
1.26
1.29
1.29
1.35
Đánh giá năng lực hội đồng
19
4
12
23
11
22
16
17
6
8
18
7
20
29
1.35
1.41
1.55
1.61
1.68
1.71
1.73
1.78
2.2
2.45
2.53
3.25
3.27
4.11
2
Năng lực tổng quát của thành viên hội đồng
• Mục tiêu : tuyển chọn các thành viên có năng lực
tốt để thành lập một hội đồng được huấn luyện
• Một thành viên cho thấy có năng lực tốt nếu:
– Phân biệt tốt được các sản phẩm
– Có khả năng lặp lại
– Ăn khớp với những gì mà những thành viên khác nói
Đánh giá năng lực hội đồng
2
Năng lực tổng quát thành viên, khả năng phân biệt
• Đánh giá trên từng thành viên cho hiệu ứng sản
phẩm trong mơ hình: Điểm = sản phẩm (+ buổi thử)
• Hiệu ứng sản phẩm của mơ hình này được đo như
sau:
SCproduit ddl produit
Fobs
SCresiduelle ddl residuelle
Lớn nếu các sản phẩm được phân biệt
Nhỏ nếu sai số cũng nhỏ (tương tác Sản
phẩm - Buổi thử)
nghĩa là nếu người
thử có khả năng lặp lại
Kiểm định tốt để đánh giá năng lực
Đánh giá năng lực hội đồng
2
Năng lực tổng quát thành viên, đồng thuận với toàn hội
đồng
• Đánh giá thơng qua các giá trị trung bình hiệu chỉnh cho
hiệu ứng Sản phẩm của thành viên (mô hình: Điểm =
Sản phẩm)
• Đánh giá các trung bình hiệu chỉnh cho toàn bộ hội
đồng và cho hiệu ứng Sản phẩm (mơ hình : Điểm = P +
J + S + PJ + PS + JS)
• Sự đồng thuận giữa một thành viên và hội đồng được
đánh giá bởi hệ số tương quan:
Thành viên j
Đánh giá năng lực hội đồng
Hội đồng
2
Năng lực tổng quát thành viên, khả năng phân biệt
60
40
20
MilkF
Crunchy
Bitterness
CocoaF
Sweetness
Melting
Caramel
Vanilla
Acidity
Astringency
Granular
MilkA
Sticky
CocoaA
median
16
0.024
0.044
0.001
0.023
0.0078
0.0015
0.002
0.16
0.033
0.0053
0.77
0.17
0.37
0.59
0.028
28
0.0015
0.086
0.0014
0.013
0.00016
0.04
0.019
0.18
0.68
0.052
0.76
0.0032
0.045
0.049
0.043
24
0.078
0.021
0.06
0.015
0.024
0.37
0.022
0.032
0.047
0.32
0.78
0.035
0.091
0.096
0.053
9
0.031
0.064
0.081
0.0074
0.0025
0.31
0.022
0.34
0.054
0.28
0.27
0.008
0.25
0.014
0.059
17
0.019
0.011
0.13
0.052
0.021
0.0097
0.004
0.008
0.19
0.37
0.068
0.56
0.45
0.54
0.06
3
0.013
0.071
0.018
0.065
0.0041
0.79
0.28
0.54
0.14
0.0085
0.58
0.038
0.69
0.022
0.068
15
0.065
0.047
0.016
8.3e-05
0.091
0.24
0.005
0.15
0.41
0.064
0.69
0.79
0.26
0.082
0.087
23
0.0049
0.065
0.033
0.0027
0.15
0.24
0.013
0.13
0.024
0.21
0.014
0.95
0.92
0.99
0.096
22
0.019
0.0049
0.0079
0.14
0.38
0.057
0.003
NaN
0.056
0.5
0.62
0.11
0.47
0.84
0.11
11
0.012
0.12
0.11
0.35
0.033
0.027
0.0064
0.041
0.026
0.94
0.11
0.16
0.2
0.5
0.11
10
9.4e-05
0.016
0.048
0.069
0.087
0.74
0.068
0.14
0.5
0.18
0.014
0.41
0.25
0.79
0.11
1
0.0065
0.43
0.071
0.011
0.031
0.072
0.13
0.066
0.21
0.17
0.89
0.48
0.47
0.095
0.11
14
0.1
0.097
0.1
0.061
0.26
0.11
0.025
0.83
0.38
0.18
0.062
0.31
0.12
0.24
0.12
4
0.063
0.86
0.31
0.83
0.46
0.0018
0.21
0.11
0.14
0.15
0.64
0.14
0.1
0.089
0.14
18
0.0016
0.22
0.0098
0.036
0.025
0.43
0.21
0.5
0.022
0.18
0.071
0.32
0.12
0.59
0.15
5
0.014
0.55
0.042
0.08
0.0059
0.82
0.059
0.22
0.34
0.23
0.16
0.77
0.16
0.14
0.16
26
0.35
0.045
0.14
0.18
0.18
0.65
0.0065
0.11
0.067
0.55
0.088
0.79
0.56
0.41
0.18
0.19
8
0.0056
0.068
0.21
0.019
0.24
0.018
0.64
0.2
0.18
0.32
0.04
0.23
0.094
0.39
20
0.014
0.083
0.026
0.089
0.19
0.37
0.2
0.69
0.24
0.092
0.096
0.84
0.53
0.57
0.2
2
0.0086
0.0015
0.15
0.16
0.095
0.18
0.5
0.5
0.5
NaN
0.35
0.57
0.21
0.84
0.21
29
0.24
0.29
0.04
0.12
0.19
0.024
0.13
0.093
0.47
0.48
0.15
0.23
0.56
1
0.21
19
0.025
0.019
0.12
0.23
0.14
0.055
0.19
0.27
0.38
0.89
0.64
0.22
0.68
0.39
0.23
21
0.0084
0.66
0.35
0.81
0.28
0.045
0.00044
NaN
0.00091
0.021
0.25
0.0028
0.79
0.78
0.25
12
0.0043
0.12
0.0081
0.33
0.075
0.63
0.25
0.036
0.54
0.5
0.5
0.24
0.32
0.38
0.28
13
0.0024
0.35
0.79
0.0044
0.38
0.024
0.37
0.034
0.59
0.29
0.85
0.049
0.33
0.035
0.31
27
0.19
0.15
0.16
0.2
0.91
0.42
0.37
0.5
0.47
0.4
0.26
0.35
0.87
0.48
0.39
7
0.6
0.05
0.79
0.56
0.05
0.078
0.49
0.68
0.047
0.37
0.25
0.88
0.28
0.9
0.43
25
0.42
0.008
0.011
0.09
0.37
6.9e-73
0.5
0.5
0.5
0.19
0.5
0.97
0.9
0.74
0.46
6
0.26
0.037
0.62
0.15
0.52
0.75
0.53
0.65
0.15
0.075
0.056
0.57
0.52
0.92
0.52
median
0.019
0.068
0.071
0.08
0.095
0.11
0.13
0.18
0.19
0.22
0.26
0.31
0.33
0.48
0.15
0
Frequency
80
100
120
Histogram of resprob
Điểm = Sản phẩm + Buổi thử
0.0
0.2
0.4
0.6
0.8
1.0
Probabilités critiques
Đánh giá năng lực hội đồng
2
Năng lực tổng quát thành viên, khả năng phân biệt
MilkF
Crunchy
CocoaF
Sweetness
Melting
Caramel
Vanilla
16
0.024
0.044
0.001
0.023
0.0078
0.0015
0.002
0.16
28
0.0015
0.086
0.0014
0.013
0.00016
0.04
0.019
0.18
24
0.078
0.021
0.06
0.015
0.024
0.37
0.022
0.032
9
0.031
0.064
0.081
0.0074
0.0025
0.31
0.022
0.34
17
0.019
0.011
0.13
0.052
0.021
0.0097
0.004
0.008
3
0.013
0.071
0.018
0.065
0.0041
0.79
0.28
0.54
15
0.065
0.047
0.016
8.3e-05
0.091
0.24
0.005
0.15
23
0.0049
0.065
0.033
0.0027
0.15
0.24
0.013
0.13
22
0.019
0.0049
0.0079
0.14
0.38
0.057
0.003
NaN
11
0.012
0.12
0.11
0.35
0.033
0.027
0.0064
0.041
10
9.4e-05
0.016
0.048
0.069
0.087
0.74
0.068
0.14
1
0.0065
0.43
0.071
0.011
0.031
0.072
0.13
0.066
14
0.1
0.097
0.1
0.061
0.26
0.11
0.025
0.83
median
0.019
0.068
0.071
0.08
0.095
0.11
0.13
0.18
Bitterness
Đánh giá năng lực hội đồng
2
