Istrionica, Evitante o non patologica? Quando lo scoring dei test genera profili pseudo-casuali
Una amara considerazione sul campo: un semplice profilo di un test psicologico somministrato ad un cliente ha portato a risultati profondamente differenti a seconda del software di scoring utilizzato, con la paradossale situazione che i software free hanno portato a risultati esattamente identici rispetto al manuale pubblicato, mentre lo scoring eseguito tramite il software proprietario (a pagamento) porta a risultati inspiegabili?
Lo psicologo usa “strumenti conoscitivi … per la diagnosi”
Una delle attività specifiche dello psicologo clinico o forense, tra le poche definite dalla legge, è l’utilizzo di test standardizzati e validati, utilizzo che prevede la somministrazione, la valutazione (o scoring) e l’interpretazione dei risultati nel contesto generale della persona.
Somministrazione e scoring di un test
Due sono i principali elementi critici: la disponibilità di reattivi standardizzati e validati, e la valutazione secondo norme e procedure definite, pubbliche e uguali per tutti.
Alla prima domanda la risposta è semplice: basta acquistare dagli Autori che hanno tradotto e validato per l’Italia lo strumento originale, sottoscrivere una licenza d’uso dello stesso (che prevede la possibilità, a seconda delle case editrici, di utilizzare esclusivamente il foglio di somministrazione/notazione acquistato oppure riprodurlo liberamente). Sappiamo bene le criticità che ci possono essere, come i recenti episodi giornalistici hanno evidenziato: una banale ricerca in rete permette di trovare le tavole di Rorschach in altissima definizione e somministrarle davanti a milioni di telespettatori.
Scoring Manuale di un test
Per la seconda domanda la risposta è più articolata, tanto che ciclicamente si ripropone in mailing-list di colleghi: come si fa a fare lo scoring del Mmpi, del Millon o del Rorshach?
Come i “sacri libri” affermano (Rubini, Boncori, Pedrabissi), un test per essere tale deve disporre di regole univoche e norme di riferimento pubblicate alla comunità scientifica ed internazionale, in maniera da offrire risultati replicabili e affidabili. A questo punto basta consultare i manuali, seguire lo algoritmo di scoring, convertire i punti grezzi in punti standardizzati e il gioco è fatto. Questo è l’unico metodo certo, descritto nei dettagli dai manuali pubblicati, ed è anche quanto richiesto dagli standard internazionali di Daubert (vedi Lally 2001 e Heilbrun 1992).
Scoring automatico di un test
Vorremmo tutti qualcosa di veloce, automatizzato, che svolga tali funzioni nel minor tempo possibile per concederci più risorse alla interpretazione dei risultati e alla lettura clinica o forense del risultato del test confrontato con quanto emerge da altri reattivi psicologici.
E qui si apre una importante questione. Dai tempi del Panda tutti i test hanno avuto paralleli programmi ad hoc (scritti in vari linguaggi, o sotto forma di documenti di Excel o di Access) che permettessero lo scoring informatizzato.
Ora, a parte case editrici trentine e milanesi, in italia ci troviamo in una situazione dove il principale detentore dei diritti di autore dei test propone software di scoring chiusi, senza la possibilità di verificare i processi di calcolo e i riferimenti normativi che portano alla diagnosi. Cosa ancora più grave non viene garantita alcuna garanzia, come scritto ad esempio in una delle licenza di uso:
In nessun caso sarà responsabile per danni speciali, accidentali, morali, indiretti o consequenziali o altri danni di qualsiasi tipo ivi inclusi … perdita di informazioni confidenziali o di altro tipo, interruzione dell’attività, danni fisici, perdita di privacy, omissione di rispetto di obblighi, incluso quello di comportarsi in buona fede o con ragionevole diligenza, negligenza o altra perdita economica o di altro tipo, derivanti dall’utilizzo … il prodotto
A questo punto si apre una importante questione: per quale motivo io psicologo dovrei e come potrei mettere la mia firma su un referto testistico di cui non ho controllo? In ambito peritale come si può accogliere il materiale prodotto da un software chiuso, che non fornisce garanzie, e che in talune condizioni porta a risultati discrepanti dai manuali pubblicati? Come può un giudice accogliere una valutazione basata sui risultati di un software che dichiara di non assumersi alcuna responsabilità?
La sicurezza del software
In informatica la sicurezza di un software è un dato che non può essere assunto a priori, ma deve dare prova di sé, seguendo precise regole ingegneristica e di sviluppo. Secondo Dijkstra un applicativo deve essere concepito per mostrare intrinsecamente argomenti a favore della propria correttezza e sicurezza.
Ora se nel contratto di licenza viene scritto l’esatto opposto e se non vi è traccia nello scoring delle procedure, delle normalizzazioni e delle correzioni fatte per arrivare al risultato, pensate che sia sufficiente la dichiarazione che un editore
garantisce al professionista e ai suoi clienti l’assoluta validità dei test (sviluppati secondo gli standard scientifici più accreditati), la correttezza delle procedure di scoring e generazione dei report, e l’aggiornamento delle norme all’ultima versione disponibile
Verso un software Open
Come possiamo far valere la scienza del testing psicologico se offriamo solo procedure chiuse e non verificabili? La libertà di accesso agli algoritmi di scoring e la trasparenza sulle effettive norme di riferimento non toglierebbe nulla alla titolarità dei diritti di autore. Aiuterebbe a rendere il testing una cosa molto più seria agli occhi della società di quanto i servizi televisivi hanno fatto recentemente.
Perché non attuare politiche di sviluppo del software per cui si possano conoscere e studiare tutte le fasi del processo di scoring, mostrando in dettaglio il funzionamento mentale delle scelte psicometriche, anziché rifarsi al medievale principio di autorità?
Sarebbe auspicabile disporre di procedure di scoring, normalizzazione e correzione “aperte”, verificabili in tutti i passaggi, in modo da poter mettere con cognizione di causa la firma sotto un referto generato automaticamente da un sistema informatico.
Verso una nuova politica per l’uso del software di scoring?
Perché le case editrici non concordano con l’ordine degli psicologi una seria e capillare politica di accesso scientifico al testing e al suo uso nella pratica forense, clinico e territoriale? Già varie proposte sono state avanzate (vedi). Se venisse offerta una politica di accessibilità, anche economica, dei test, molti più colleghi potrebbero beneficiare dell’enorme lavoro del mondo della ricerca e della valutazione. In tal modo si renderebbe svantaggioso la pratica (illegale) diffusa (in molti servizi, soprattutto pubblici) delle fotocopie e dei programmi di terza mano non aggiornati, contenenti errori e imprecisioni? Alcune case editrici già ora rendono più vantaggioso acquistare che copiare, e producono software lineari e trasparenti …
E gli ordini territoriali cosa fanno? Perché l’unica forma di interesse degli ordini territoriali rispetto al testing psicologico è offrire una convenzione con un misero sconto sui prezzi di listino, sconto che periodicamente viene offerto a tutti?
Ma è così che per ora funziona: è più semplice inviare mail minacciose a singoli enti o individui “obbligando” ad acquistare prodotti chiusi e limitati, piuttosto che instaurare dialettiche scientifiche e commerciali che tornerebbero a vantaggio di tutti. E l’Ordine non vigila, e non sembra interessato ai fornitori di test, che non si assumono responsabilità sull’utilizzo dei propri prodotti automatizzati, fornendo risultati privi di contraddittorio.
Buonasera dottore le scrivo perché in questo mese Mi sono scontrato con una realtà veramente allucinante. Ho avuto un ictus tre anni fa e adesso Voglio riavere la patente, lei non sa neanche cosa voglia dire scontrarsi con le commissioni mediche locali, soprattutto le commissioni mediche locali che usano usano un software tedesco che sistematicamente viene utilizzato dall’università Cattolica dalla clinica Dezza di Milano a Mestre, San Donà fino a Belluno tutto questo dove i promulgatori scientifici fanno razzia poiché danno software e tastiera in omaggio perché poi si fanno pagare tutto il resto normalmente 250-300 e tutto questo si pretende che uno lo possa comprendere in mezz’ora di tempo mettiamo anche un’ora ma non è possibile, io ero geometra Autocad lo conosco molto bene. Ci vogliono anni per conoscere tutte le potenzialità, ho conosciuto due dottoresse che mi hanno dato per spacciato da questo punto di vista, volevo sentire lei cosa ne pensa la saluto mi chiamo Romeo Antonino.