Explamation AI Methods for Artificial

Explanation Methods for
Artificial Intelligence
Models
Carlo Metta, KDD Lab - CNR-ISTI Pisa
24 Maggio 2021


Sommario del Talk
Breve sommario degli argomenti presentati:
1.
2.

3.
4.
5.

Introduzione all’ Explainable Artificial Intelligence (XAI)
Modelli Interpretabili, Spiegabili e Comprensibili
Open the Black Box: Formulazione del Problema
Classificazione modelli e tecniche XAI
Alcuni modelli :
1. LIME: Local Interpretable Model-Agnostic Explanations
2. LORE: Local Rule-Based Explanations
3. SHAP: Shapley Additive Explanations


Why Explainable Artificial Intelligence ?

01

Enorme quantità di Dati

I dati sono prodotti da attività umane,
contengono pertanto bias, pregiudizi,
alterazioni che alterano e indirizzano il
processo di apprendimento

02

03

Crescente complessità delle
architetture

Abbiamo da tempo superato il limite di comprensione
umana della quantità di informazione manipolabile e
producibile da un intelligenza artificiale

GDPR
E’ diritto dell’individuo ottenere
spiegazioni soddisfacenti e comprensibili
derivate da processi decisionali artificiali

04

Enormi rischi sulla qualità
delle decisioni prese
Perdendo il controllo dell’informazione
abbiamo perso il controllo sulla sua qualità,
accuratezza, consistenza e di conseguenza è
messa a rischio la fiducia nell’informazione
stessa

In cosa consiste l’Explainability ?
Black Box Predictor
E’ un modello basato su metodi e tecniche di intelligenza artificiale le cui dinamiche e processi
decisionali sono sconosciuti oppure sono conosciuti ma non comprensibili da parte di un essere umano
L’abilità (passiva) di un modello
che quantifica quanto esso
appartenga ad un dominio
comprensibile dagli umani

L’abilità (attiva) di un modello
di fornire spiegazioni sul suo
processo decisionale interno

L’abilità (passiva) di un
modello di presentarsi in
modo comprensibile dagli
umani

Explainability
Interpretability

Explanation

Comprehensibility

Una interfaccia fra l’umano e il decisore che è simultaneamente un proxy (accurato) del
decisore ed è comprensibile dagli umani

Le qualità di un Modello Interpretabile
Interpretability Locale
e Globale

Complessità e Time
Limitation

Accuratezza e Fedeltà

User Expertise


Modelli Interpretabili di base
Albero Decisionale

Regola Decisionale
Una funzione che mappa l’insieme delle osservazioni nell’insieme delle
decisioni
1. If-then rules: if condition_1 ∧ condition_2 then outcome.
2. M-of-n-rules: dato un insieme di n regole, se almeno m sono
soddisfatte allora la vale una conseguenza.
3. List of rules: lista di regole ordinate, dove si considera come
verificata la conseguenza della regola che per prima è soddisfatta
4. Falling rules list: lista di regole ordinate rispetto alla probabilità di
una specifica conseguenza
5. Decision sets: insieme non ordinato di regole indipendenti

Modello Lineare

Nei modelli lineari l’analisi della feature importance è immediata: dipende esclusivamente dal segno e dalla
magnitudine del coefficiente relativo a ciascuna feature.


Opening the Black Box
Black Box Explanation

Model Explanation

Outcome Explanation

Transparent Box Design

Model Inspection


Model Explanation
Il problema consiste nel fornire una spiegazione (globale) attraverso un modello
interpretabile e trasparente
Def: Una Black Box è una funzione b: X^m → Y

Def: Indichiamo invece con c un modello

che mappa lo spazio delle feature in quello dei
target

interpretabile che fornisce una predizione c(x)
comprensibile dagli umani (localmente o globalmente)

(Problem) Data una black box b, un dataset X, il problema consiste nel trovare una spiegazione E ∈ 𝞢

appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello interpretabile c = f (b, X)
derivato da b e da X.
(Explanation) Una spiegazione E ∈ 𝞢 è ottenuta tramite c se E = g (c, X) per qualche logica g con variabili c ed X.


Outcome Explanation
Il problema consiste nel fornire una spiegazione sull’outcome del modello rispetto ad
una particolare istanza
Assumiamo che sia dato un modello
interpretabile locale c rispetto a b ed x ∈ X.
(Problem) Data una black box b, una istanza x ∈ X , il problema consiste nel trovare una spiegazione e ∈ 𝞢
appartenente ad un dominio interpretabile dagli umani 𝞢, attraverso un modello locale interpretabile c = f
(b, x) derivato da b e da x.
(Explanation) Una spiegazione e ∈ 𝞢 è ottenuta tramite c se e = g (c, X) per qualche logica g con variabili c
ed X.


Model Inspection
Il problema consiste nel fornire una rappresentazione di qualche proprietà della black
box o di una sua predizione

(Problem ) Data una black box b, un dataset X, il problema consiste nel trovare una rappresentazione
(grafica o testuale) r = f ( b, X) di una proprietà di b.

Inspection / Explanation: La seconda richiede l’estrazione di un modello interpretabile mentre la prima si
concentra su specifiche caratteristiche della black box senza richiedere alcuna comprensione.


Transparent Box Design
Il problema consiste nel costruire direttamente un modello interpretabile (localmente

o globalmente)

(Problem) Dato un dataset D = (X, Y) il problema consiste nell’apprendimento di un modello interpretabile c
(a partire da D), ossia un modello dotato di una logica g da cui è possibile derivare una spiegazione e = g (c,
X)

Open the Black Box
Un metodo è capace di aprire la black box se si riferisce ad una o più delle seguenti tecniche: (i) spiegazione
del modello, (ii) spiegazione di una predizione del modello, (iii) ispezione delle caratteristiche del modello,
(iv) costruzione modello trasparente.
Ci si riferisce a (i), (ii), (iii) come post-hoc explainability.


Principali Tecniche XAI

Decision Tree

Decision Rules

Feature
Importance

Sensitivity
Analysis

Partial
Dependence Plot

Prototype
Selection

Saliency Mask

Activation
Maximization


-

Model Agnostic: LIME non è dipendente dal modello,
ovvero fornisce spiegazioni per qualsiasi tipo di black
box

Local Explanations: LIME fornisce spiegazioni che
sono localmente fedeli in un intorno del dato che si
vuole spiegare
Al momento LIME è limitato a modelli di ML e DL di tipo
supervised

/>Repository con +2k forks

LIME
Ribeiro, Singh,
Guestrin, 2016

Local
Interpretable
Model-Agnostic
Explanations

Come funziona LIME?
Dato un modello predittivo (black box) B ed un dato X, LIME fornisce una
spiegazione locale e fedele di B attorno ad X:

-

Sampling and obtaining a surrogate dataset: LIME produce un
intorno locale centrato in X (normale standard, 5000 samples) del
vettore delle features; successivamente classifica tale intorno con
il predittore B. Tale intorno è a tutti gli effetti un dataset surrogato
attorno ad X rispetto a B.
Feature Selection from the surrogate dataset: una volta ottenuto il
dataset surrogato, pesa i differenti punti del dataset a seconda
della loro distanza da X. Successivamente utilizza delle tecniche di
feature selection (LASSO) per estrarre le feature più importanti, e
da queste apprendere un modello lineare localmente fedele.


-

Rule-Based: LORE fornisce spiegazioni sotto forma di

-

Local Explanations: LORE fornisce spiegazioni che

-

decision rules

sono localmente fedeli in un intorno del dato che si
vuole spiegare
Non genera l’intorno di un dato in modo random bensì
con algoritmo genetico

/>
LORE

Guidotti, Monreale,
Ruggieri, Pedreschi,
Turini, Giannotti, 2018

Local Rule-Based
Explanations


Come funziona LORE?
Dato un classificatore binario (black box) B ed un dato X, LORE
fornisce una spiegazione locale e fedele di B attorno ad X:

-

Genetic sampling of a surrogate dataset: LORE produce due
intorni locali di X del vettore delle features tramite
iterazioni di un algoritmo genetico rispetto ad una data
funzione di fitness, un intorno di classe positiva Z+ ed uno
di classe negativa Z- rispetto ad X.
Rule extraction: una volta ottenuto il dataset surrogato Z =
Z+ U Z-, costruisce un albero decisionale su Z da cui estrae
regole e controfattuali.

A partire da un albero decisionale è possibile estrarre regole e controfattuali seguendo i sentieri dalla radice fino
alle foglie.
La generazione genetica del dataset surrogato locale permette a LORE di performare meglio ed essere più fedele
rispetto a LIME.


-

Feature Importance: SHAP attribuisce un’importanza

-

Model Agnostic: crea spiegazioni per ogni possibile

-

(un peso) a ciascuna feature
black box senza utilizzare la particolare struttura
interna
Prende spunto dalla teoria di Shapley in teoria dei
giochi collaborativa. E’ computazionalmente costoso ma
molto accurato

/>Repository with +2k forks

SHAP

Scott, Lundberg, Su-In

Lee, 2017

Shapley Additive
Explanations


Cosa sono i valori di Shapley?
Dato un gioco cooperativo, ovvero un insieme di N giocatori ed
una funzione caratteristica v: 2^N → R:

-

Data una coalizione S, v(S) rappresenta la reward
associata alla coalizione S, in particolare v(0)=0 e v è una
funzione super additiva.
Il valore di Shapley rappresenta una fair share della
reward fra i diversi componenti del gioco.

Proprietà dei valori di Shapley:

-

Simmetria: giocatori con ruolo scambiabile devono
ricevere la stessa ricompensa
Giocatori inutili: giocatori il cui contributo è nullo
devono ottenere ricompensa nulla
Additività: la somma dei valori di Shapley di tutti i
giocatori equivale alla reward della coalizione totale
Linearità: i valori di Shapley di più giochi cooperativi
sullo stesso insieme di giocatori sono una funzione

lineare


Come funziona SHAP?

IDEA - Prendiamo il gioco cooperativo (N,v): dove N è l’insieme delle feature mentre v è una

opportuna misura che associa a ciascun sottoinsieme di feature la sua influenza sulla
classificazione che il modello fornisce su un sample.
Domanda - Qual è la scelta corretta per v che soddisfa le buone proprietà della teoria si Shapley?


THANKS!