Istrionica, Evitante o non patologica? Quando lo scoring dei test genera profili pseudo-casuali

Una amara considerazione sul campo: un semplice profilo di un test psicologico somministrato ad un cliente ha portato a risultati profondamente differenti a seconda del software di scoring utilizzato, con la paradossale situazione che i software free hanno portato a risultati esattamente identici rispetto al manuale pubblicato, mentre lo scoring eseguito tramite il software proprietario (a pagamento) porta a risultati inspiegabili?

Lo psicologo usa “strumenti conoscitivi … per la diagnosi”

Test Psicologico

L’utilizzo dei test è una delle attività tipiche dello psicologo

Una delle attività specifiche dello psicologo clinico o forense, tra le poche definite dalla legge, è l’utilizzo di test standardizzati e validati, utilizzo che prevede la somministrazione, la valutazione (o scoring) e l’interpretazione dei risultati nel contesto generale della persona.

Somministrazione e scoring di un test

Due sono i principali elementi critici: la disponibilità di reattivi standardizzati e validati, e la valutazione secondo norme e procedure definite, pubbliche e uguali per tutti.

Alla prima domanda la risposta è semplice: basta acquistare dagli Autori che hanno tradotto e validato per l’Italia lo strumento originale, sottoscrivere una licenza d’uso dello stesso (che prevede la possibilità, a seconda delle case editrici, di utilizzare esclusivamente il foglio di somministrazione/notazione acquistato oppure riprodurlo liberamente). Sappiamo bene le criticità che ci possono essere, come i recenti episodi giornalistici hanno evidenziato: una banale ricerca in rete permette di trovare le tavole di Rorschach in altissima definizione e somministrarle davanti a milioni di telespettatori.

Scoring Manuale di un test

Per la seconda domanda la risposta è più articolata, tanto che ciclicamente si ripropone in mailing-list di colleghi: come si fa a fare lo scoring del Mmpi, del Millon o del Rorshach?
Come i “sacri libri” affermano (Rubini, Boncori, Pedrabissi), un test per essere tale deve disporre di regole univoche  e norme di riferimento pubblicate alla comunità scientifica ed internazionale, in maniera da offrire risultati replicabili e affidabili. A questo punto basta consultare i manuali, seguire lo algoritmo di scoring, convertire i punti grezzi in punti standardizzati e il gioco è fatto. Questo è l’unico metodo certo, descritto nei dettagli dai manuali pubblicati, ed è anche quanto richiesto dagli standard internazionali di Daubert (vedi Lally 2001 e Heilbrun 1992).

Scoring automatico di un test

turing

Lo scoring automatico deve produrre risultati certi e chiari

Vorremmo tutti qualcosa di veloce, automatizzato, che svolga tali funzioni nel minor tempo possibile per concederci più risorse alla interpretazione dei risultati e alla lettura clinica o forense del risultato del test confrontato con quanto emerge da altri reattivi psicologici.
E qui si apre una importante questione. Dai tempi del Panda tutti i test hanno avuto paralleli programmi ad hoc (scritti in vari linguaggi, o sotto forma di documenti di Excel o di Access) che permettessero lo scoring informatizzato.
Ora, a parte case editrici trentine e milanesi, in italia ci troviamo in una situazione dove il principale detentore dei diritti di autore dei test propone software di scoring chiusi, senza la possibilità di verificare i processi di calcolo e i riferimenti normativi che portano alla diagnosi. Cosa ancora più grave non viene garantita alcuna garanzia, come scritto ad esempio in una delle licenza di uso:

[Il software è] fornito “così com’è” e con i possibili difetti e non riconosce alcuna garanzia, espressa o implicita, comprese, in via esemplificativa, eventuali garanzie o condizioni implicite relativamente a commerciabilità, idoneità per uno scopo specifico, affidabilità o disponibilità, accuratezza o esaustività, risultati, … mancanza di negligenza o di perizia…
In nessun caso sarà responsabile per danni speciali, accidentali, morali, indiretti o consequenziali o altri danni di qualsiasi tipo ivi inclusi … perdita di informazioni confidenziali o di altro tipo, interruzione dell’attività, danni fisici, perdita di privacy, omissione di rispetto di obblighi, incluso quello di comportarsi in buona fede o con ragionevole diligenza, negligenza o altra perdita economica o di altro tipo, derivanti dall’utilizzo … il prodotto

A questo punto si apre una importante questione: per quale motivo io psicologo dovrei e come potrei mettere la mia firma su un referto testistico di cui non ho controllo? In ambito peritale come si può accogliere il materiale prodotto da un software chiuso, che non fornisce garanzie, e che in talune condizioni porta a risultati discrepanti dai manuali pubblicati? Come può un giudice accogliere una valutazione basata sui risultati di un software che dichiara di non assumersi alcuna responsabilità?

La sicurezza del software

Lock background

La sicurezza del software deve essere dimostrata

In informatica la sicurezza di un software è un dato che non può essere assunto a priori, ma deve dare prova di sé, seguendo precise regole ingegneristica e di sviluppo. Secondo Dijkstra un applicativo deve essere concepito per mostrare intrinsecamente argomenti a favore della propria correttezza e sicurezza.

Ora se nel contratto di licenza viene scritto l’esatto opposto e se non vi è traccia nello scoring delle procedure, delle normalizzazioni e delle correzioni fatte per arrivare al risultato, pensate che sia sufficiente la dichiarazione che un editore

garantisce al professionista e ai suoi clienti l’assoluta validità dei test (sviluppati secondo gli standard scientifici più accreditati), la correttezza delle procedure di scoring e generazione dei report, e l’aggiornamento delle norme all’ultima versione disponibile

Verso un software Open

Software "open" permetterebbe di garantire la sicurezza di tutte le fasi della elaborazione

Software “open” permetterebbe di garantire la sicurezza di tutte le fasi della elaborazione

Come possiamo far valere la scienza del testing psicologico se offriamo solo procedure chiuse e non  verificabili? La libertà di accesso agli algoritmi di scoring e la trasparenza sulle effettive norme di riferimento non toglierebbe nulla alla titolarità dei diritti di autore. Aiuterebbe a rendere il testing una cosa molto più seria agli occhi della società di quanto i servizi televisivi hanno fatto recentemente.

Perché non attuare politiche di sviluppo del software per cui si possano conoscere e studiare tutte le fasi del processo di scoring, mostrando in dettaglio il funzionamento mentale delle scelte psicometriche, anziché rifarsi al medievale principio di autorità?

Sarebbe auspicabile disporre di procedure di scoring, normalizzazione e correzione “aperte”, verificabili in tutti i passaggi, in modo da poter mettere con cognizione di causa la firma sotto un referto generato automaticamente da un sistema informatico.

Verso una nuova politica per l’uso del software di scoring?

Perché le case editrici non concordano con l’ordine degli psicologi una seria e capillare politica di accesso scientifico al testing e al suo uso nella pratica forense, clinico e territoriale? Già varie proposte sono state avanzate (vedi). Se venisse offerta una politica di accessibilità, anche economica, dei test, molti più colleghi potrebbero beneficiare dell’enorme lavoro del mondo della ricerca e della valutazione. In tal modo si renderebbe svantaggioso la pratica (illegale) diffusa (in molti servizi, soprattutto pubblici) delle fotocopie e dei programmi di terza mano non aggiornati, contenenti errori e imprecisioni? Alcune case editrici già ora rendono più vantaggioso acquistare che copiare, e producono software lineari e trasparenti …

E gli ordini territoriali cosa fanno? Perché l’unica forma di interesse degli ordini territoriali rispetto al testing psicologico è offrire una convenzione con un misero sconto sui prezzi di listino, sconto che periodicamente viene offerto a tutti?

Ma è così che per ora funziona: è più semplice inviare mail minacciose a singoli enti o individui “obbligando” ad acquistare prodotti chiusi e limitati, piuttosto che instaurare dialettiche scientifiche e commerciali che tornerebbero a vantaggio di tutti. E l’Ordine non vigila, e non sembra interessato ai fornitori di test, che non si assumono responsabilità sull’utilizzo dei propri prodotti automatizzati, fornendo risultati privi di contraddittorio.