{"id":7752,"date":"2022-06-17T16:05:26","date_gmt":"2022-06-17T15:05:26","guid":{"rendered":"https:\/\/asimmetrie.org\/?p=7752"},"modified":"2024-07-19T12:32:26","modified_gmt":"2024-07-19T11:32:26","slug":"lo-stato-dei-dati","status":"publish","type":"post","link":"https:\/\/asimmetrie.org\/en\/interventi\/opinions\/lo-stato-dei-dati\/","title":{"rendered":"Lo stato dei dati"},"content":{"rendered":"\n

Dopo mesi e mesi di lavoro quotidiano dall\u2019inizio della pandemia, io ed il mio gruppo di ricerca, StatGroup-19<\/a>, siamo arrivati alla conclusione che c’\u00e8 un\u2019asimmetria \u2013 a dire il vero, pi\u00f9 di una \u2013 nello stato dei dati. Un\u2019asimmetria riguarda la comunicazione dei dati<\/strong>: viviamo oggi in una societ\u00e0 in cui l’accesso ai dati, ovvero alle informazioni, conferisce un grande potere, perch\u00e9 permette di condizionare la coscienza delle persone. Lo statistico fornisce con i numeri una fotografia di quello che sta succedendo in un dato contesto, dopodich\u00e9 i dati vanno interpretati ed \u00e8 l\u00ec che la sensibilit\u00e0 dell’esperienza fa la differenza. Eppure quello che abbiamo visto in questi 18 mesi \u00e8 che l’interpretazione dei dati troppo spesso \u00e8 stata approssimativa, e gli statistici, all’inizio, sono stati addirittura messi da parte. Una seconda asimmetria \u00e8 data dal fatto che tutti noi abbiamo delle convinzioni a priori, che per\u00f2 a volte si scontrano con concetti come quello di causalit\u00e0, nient\u2019affatto banale, o con la realt\u00e0 dei dati. <\/p>\n\n\n\n

In questi ultimi mesi poi la nostra vita \u00e8 stata condizionata in modo determinante da decisioni che sono state prese sulla nostra testa: ci siamo dovuti fidare di quello che ci veniva raccontato, ma queste decisioni sono state prese sulla base di stime inaffidabili. Si \u00e8 verificata un\u2019asimmetria, se vogliamo, tra la fiducia che ci \u00e8 stata richiesta (o pretesa?) e l\u2019affidabilit\u00e0 dei criteri con cui questa veniva sfruttata.<\/p>\n\n\n\n

Per intervenire su questo, noi possiamo e dobbiamo prendere coscienza di quello che ci sta succedendo, innanzitutto essendo consapevoli dei nostri limiti, e poi acquisendo una certa sensibilit\u00e0 ed esperienza quantitativa, quella che permette \u2013 per capirci \u2013 di stabilire quando una misura \u00e8 \u201ctanto\u201d o \u201cpoco\u201d, abituandoci a porci subito la domanda essenziale: \u201ctanto o poco rispetto a cosa?\u201d. Sembra banale ma avere la sensibilit\u00e0 di porsi tale domanda, e soprattutto di sapersi dare la risposta, non si \u00e8 dimostrata cos\u00ec scontata, non lo \u00e8 quando parliamo di numeri di crescita del PIL o dell\u2019inflazione, e non lo \u00e8 stata nel caso dei numeri del Covid-19. <\/p>\n\n\n\n

E invece dobbiamo sempre contestualizzare, tanto pi\u00f9 se prendiamo atto del fatto che nel mondo dell\u2019informazione, di cui ci abbeveriamo, si tende a non distinguere tra fisici, matematici, statistici: sono tutti \u201cesperti\u201d alla stessa stregua, e una simile superficialit\u00e0 \u2013 altra asimmetria \u2013 non giova di certo a chi vuole capirci qualcosa. Mi \u00e8 capitato di sentirmi dire da un famoso giornalista che \u201cun esperto \u00e8 qualcuno che ha una laurea scientifica e dice quello che voglio sentire\u201d.<\/p>\n\n\n\n

Per farvi capire l’importanza della comunicazione dei dati ho tratto qualche esempio dai telegiornali. Il 9 febbraio 2021 il Tg1 riporta: \u201csale il numero delle persone che hanno contratto il virus\u201d. Questa \u00e8 la notizia di apertura che ha il non indifferente effetto di generare paura e preoccupazione. Se si guardano i numeri, il Tg1 non sembrerebbe aver detto una cosa sbagliata perch\u00e9 dall\u20198 al 9 di febbraio c’\u00e8 stato un aumento di 2660 casi (dai 7970 del 08\/02 ai 10630 del 09\/02), pari cio\u00e8 al 33%. <\/p>\n\n\n\n

Quindi la crescita c’\u00e8 stata, e per\u00f2 \u2013 e questa \u00e8 una lezione che si impara all\u2019inizio di qualsiasi corso base di statistica \u2013 guardare i numeri assoluti pu\u00f2 essere fuorviante<\/strong>. In questo caso lo \u00e8 decisamente, perch\u00e9 occorre tener conto di quanti tamponi sono stati fatti nelle due giornate considerate. In parole povere, maggiore \u00e8 il numero di tamponi che si effettuano, maggiore \u00e8, potenzialmente, quello di casi di positivit\u00e0 scoperti. Ebbene, il 9 febbraio c\u2019\u00e8 stato un boom <\/em>di tamponi, un incremento del 90%, ovvero ne sono stati fatti quasi il doppio rispetto alla giornata del 08\/02, e di conseguenza il tasso di positivit\u00e0, cio\u00e8 il rapporto tra i nuovi positivi e i tamponi effettuati, \u00e8 passato da 5,5% a 3,9%. Ed infatti, nello stesso identico servizio, il Tg1 riporta anche che c’\u00e8 un calo del tasso di positivit\u00e0. Hanno fatto un buon servizio? Direi di no, per almeno due ordini di ragioni: in primis<\/em> perch\u00e9 il messaggio che passa \u2013 e questo i professionisti dell\u2019informazione dovrebbero saperlo bene \u2013 \u00e8 quel che viene detto in apertura, e cos\u00ec la notizia di apertura risulta sbagliata per omissione, fuorviante; in secundis <\/em>perch\u00e9 la seconda parte della notizia, il calo del tasso di positivit\u00e0 non viene messa nel giusto rapporto con la prima, per cui l\u2019effetto finale in chi guarda molto probabilmente \u00e8, in aggiunta alla preoccupazione iniziale, confusione.<\/p>\n\n\n\n

E poi c\u2019\u00e8 un altro tema: il tasso di positivit\u00e0 \u00e8 il rapporto tra casi positivi e tamponi effettuati, ma\u2026 non esiste un solo tipo di tampone! Quello pi\u00f9 usato \u00e8 sicuramente l\u2019antigenico, ancor pi\u00f9 dall\u2019entrata in vigore del green pass, poi c\u2019\u00e8 il molecolare, per il test di conferma, e in generale ci sono i vari tamponi di controllo per verificare l\u2019eventuale negativizzazione.<\/p>\n\n\n\n

Mettere insieme tutte queste informazioni cos\u00ec diverse tra loro pu\u00f2 essere anch’essa una mossa metodologicamente poco ortodossa e molto fuorviante. Da statistici abbiamo cercato di dividere il tasso di positivit\u00e0 netto sui molecolari e il tasso di positivit\u00e0 netto sugli antigenici. Un\u2019esigenza ovvia! Talmente ovvia che ci hanno messo pi\u00f9 di un anno a fornire i dati divisi per antigenici e molecolari, tanto per rendere facile la vita di chi deve raccontare con i numeri e la loro corretta interpretazione cosa succede nel Paese\u2026 <\/p>\n\n\n\n

Quando abbiamo guardato i numeri, abbiamo visto che il tasso di positivit\u00e0 netto sugli antigenici era irrisorio (0.32% al 08\/02, 0.99% al 09\/02) mentre il tasso di positivit\u00e0 netto sui molecolari iniziava ad essere un numero abbastanza consistente (11% al 08\/02, 14% al 09\/02). E allora abbiamo riflettuto sulle cause e, pensando a cosa stava accadendo in quel periodo, osservavamo che non c\u2019era un protocollo unico per tutte le regioni: alcune effettuavano tanti tamponi rapidi, altre tanti tamponi molecolari. Le differenze regionali nei tassi di incidenza non erano imputabili solo all’evoluzione dell’epidemia, ma anche, se non soprattutto, a ragioni di politica sanitaria<\/strong>, a seconda di quale fosse l\u2019obiettivo posto dalla regione: ad esempio, se si voleva far risultare basso il tasso di positivit\u00e0 \u2013 all’epoca il tasso di positivit\u00e0 era uno degli indicatori da prendere in considerazione per determinare il sistema dei colori \u2013, era naturale scegliere di far eseguire tanti antigenici cos\u00ec da aumentare il denominatore e abbassare il tasso di positivit\u00e0. <\/p>\n\n\n\n

Un altro esempio, ancor pi\u00f9 grave dal punto di vista metodologico, riguarda il periodo in cui arrivava la famigerata variante inglese, chiamata B.1.1.7. Immediatamente, per valutare la prevalenza del virus, ci fu proposto un rapporto che chiamarono \u201cseconda indagine flash<\/em>\u201d \u2013 e in statistica tutto ci\u00f2 che \u00e8 flash <\/em>ha una attendibilit\u00e0 prossima a zero. La regione con la prevalenza pi\u00f9 alta, al 93.3%, dove cio\u00e8 esisteva pressoch\u00e9 solo la variante inglese, risultava essere il Molise \u2013 e, povero Molise, sui giornali per mesi sembrava che il virus del Molise fosse peggio di quello della Lombardia, ma sappiamo che per fortuna non \u00e8 andata cos\u00ec. La seconda regione, al 75.0%, era la Sardegna, che in quella fase era l’unica regione bianca in Italia! Strano, no? E poi c’era, dall\u2019altro lato, una regione virtuosissima in cui la variante inglese non esisteva proprio (0.0%): la Valle d’Aosta. Abbiamo detto che bisogna sempre contestualizzare, e allora passi il Molise, ma la Sardegna, l\u2019unica regione bianca, saltava all\u2019occhio per il suo infelice posizionamento. Siamo andati allora a vedere quanti campioni avevamo sequenziato: in Molise 15, che significava aver preso come campione una famiglia, un cluster <\/em>familiare: verosimile che nel laboratorio che faceva il sequenziamento fossero stati analizzati i casi di persone che erano state a contatto tra di loro. Analogamente in Sardegna erano stati sequenziati 12 campioni. Ma ancora pi\u00f9 divertente \u00e8 il caso della Valle d’Aosta, che \u00e8 stata fortunatissima, perch\u00e9 poteva avere o il 100% o lo 0% di variante inglese: \u00e8 stato sequenziato 1 campione!<\/p>\n\n\n\n

Poi \u00e8 arrivata anche la variante brasiliana (P1), e la variante brasiliana \u2013 scrivevano loro \u2013 aveva, da rapporto, \u201cuna chiara espansione geografica\u201d perch\u00e9 abbiamo avuto la fortuna di trovarla in Umbria (36.2%), Toscana (23.8%) e Lazio (13.2%). In Abruzzo no (0.0%), eppure geograficamente fa parte del centro-Italia\u2026 Ma questi dati erano appunto scarsamente fondati, perch\u00e9 anche in questo caso il numero di campioni sequenziati era oggettivamente basso (47 per l\u2019Umbria, 80 per la Toscana, 144 per il Lazio, 61 per l\u2019Abruzzo). <\/p>\n\n\n\n

I limiti delle analisi<\/strong> non vengono mai raccontati, eppure vengono messi per iscritto e si possono recuperare. Veniva detto, ad esempio, che \u201cil campione richiesto \u00e8 stato scelto dalle Regioni\/PPAA in maniera casuale fra i campioni positivi garantendo una certa rappresentativit\u00e0 geografica e se possibile per fasce di et\u00e0 diverse\u201d, che, tradotto, significa \u201cil campione non \u00e8 proprio rappresentativo ma pi\u00f9 o meno ci siamo\u201d. Bene, se avessi detto qualcosa di simile durante l\u2019esame di \u201cteoria dei campioni\u201d, oggi non parlerei da una cattedra di Statistica. Poi viene detto che \u201cil metodo di campionamento potrebbe essere disomogeneo tra le varie Regioni\/PPAA\u201d. Ma come? Nell\u2019analisi dei dati sulla prevalenza della variante brasiliana veniva indicata una \u201cchiara espansione geografica\u201d, ovvero si faceva un confronto tra regioni, sapendo che il metodo di campionamento variava da regione a regione? Dicevano poi che \u201cper alcune regioni, essendo bassa la numerosit\u00e0 della popolazione, il numero di sequenze \u00e8 esiguo, per cui la presenza di varianti virali circolanti potrebbe non essere individuata\u201d e che \u201cnon sono al momento disponibili dati relativi alle fasce di et\u00e0 dei casi selezionati per la survey<\/em>, alla possibile appartenenza a focolai, e alla geo-localizzazione (potenzialmente utili per valutare con maggiore accuratezza la rappresentativit\u00e0 geografica)\u201d. Sono stati ammessi dunque seri limiti metodologici, il problema \u00e8 che su questi dati \u00e8 stata fatta una conferenza stampa che pretendeva di raccontarci il dramma della variante inglese.<\/p>\n\n\n\n

Passiamo alla seconda asimmetria, riguardante la percezione che noi abbiamo a priori rispetto ad una realt\u00e0 data. Per comprendere questo aspetto, \u00e8 necessario capire prima che cos’\u00e8 una correlazione<\/strong>. A questo proposito consiglio un libro che si intitola \u201cSpurious Correlations<\/a>\u201d, dove trovate esempi di questo tipo:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n

In entrambi i casi le due curve, rossa e nera, sono quasi completamente sovrapposte, il che ci farebbe dedurre che i fenomeni da esse descritti sono assolutamente correlati. <\/p>\n\n\n\n

Ecco, nel primo grafico le due linee rappresentano la spesa degli Stati Uniti per scienza, spazio e tecnologia e il numero di suicidi per impiccagione, strangolamento e soffocamento nello stesso arco temporale. Nel secondo grafico gli eventi presi in considerazione sono il tasso di divorzi nel Maine e il consumo pro capite di margarina. Qui \u00e8 abbastanza ovvio che i due fenomeni non siano correlati (a meno che non pensiate che per non divorziare dobbiate evitare di mangiare margarina), ma il tema \u00e8 che se io avessi a priori la percezione che invece lo siano, vedrei nel grafico una verifica certa della mia assunzione a priori. <\/p>\n\n\n\n

E sottile \u00e8 poi la differenza che sussiste tra correlazione e causalit\u00e0<\/strong>, differenza per\u00f2 di vitale importanza per capire la narrazione dei dati Covid-19. La mancanza di consapevolezza della differenza che c’\u00e8 tra correlazione e causalit\u00e0 porta a titoli di giornale come questo:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

dove la presunzione di verit\u00e0<\/strong> \u00e8 gi\u00e0 un grande errore dal punto di vista del metodo statistico, perch\u00e9 ogni stima, e quindi ogni affermazione che ne deriva, \u00e8 soggetta ad incertezza, e di fatto l\u2019obiettivo di uno statistico \u00e8 quello di ridurre il pi\u00f9 possibile l\u2019incertezza di una stima. Nel merito l\u2019articolo non \u00e8 pi\u00f9 rigoroso, non solo perch\u00e9, essendo esso risalente ad un anno fa, \u00e8 facile vederlo smentito dai fatti, ma anche, e soprattutto, perch\u00e9 non abbiamo mai visto un numero sulla scuola se non a livello aggregato, e definire l’andamento complessivo dell’epidemia nelle scuole italiane \u00e8 difficile se si lavora con dati aggregati, considerando le differenze regionali, le diverse fasce di et\u00e0 e le altre possibili variabili. E per\u00f2 l\u2019articolo stabiliva un criterio di causalit\u00e0 spacciandolo per assolutamente certo.<\/p>\n\n\n\n

Per poter parlare di causa diretta e unica dobbiamo escludere altri possibili meccanismi che possono aver generato i dati che osserviamo e che si riassumono nello schema di seguito:<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

L\u2019apertura delle scuole avviene all\u2019inizio dell\u2019autunno, ma l\u2019autunno \u00e8 anche una stagione in cui \u00e8 pi\u00f9 probabile ammalarsi di malattie come l\u2019influenza e simili, e questa coincidenza genera un confondimento. Si pu\u00f2 poi supporre un effetto di mediazione, perch\u00e9 pu\u00f2 darsi che non sia la riapertura della scuola in quanto tale a causare un eventuale aumento dei contagi, quanto piuttosto ci\u00f2 che da essa consegue, come i maggiori assembramenti sui mezzi pubblici. Non deve essere per forza cos\u00ec, ma metodologicamente non si pu\u00f2 prescindere dalla necessit\u00e0 di indagare per poter confermare o smentire la tesi. E poi vanno messi in conto gli effetti congiunti, perch\u00e9 nello stesso periodo non sono state riaperte solo le scuole ma anche gli uffici, i negozi, ecc.<\/p>\n\n\n\n

Insomma, il concetto di causalit\u00e0<\/strong> non \u00e8 banale, ed esistono metodi statistici appropriati di inferenza causale, ma servono dati molto pi\u00f9 disaggregati. L\u2019assegnazione del Premio Nobel per la Economia 2021<\/a> a David Card, Joshua Angrist e Guido Imbens \u00e8 stata un\u2019ottima notizia che ha segnalato la necessit\u00e0 di investigare il concetto di causalit\u00e0 attraverso i possibili modelli di inferenza causale. Vi faccio un altro esempio legato al Covid-19 (che per me \u00e8 stato il motivo scatenante di una discussione con l’editor di una rivista che poi alla fine ha ceduto): il 12 maggio 2020 \u00e8 uscito un articolo su Business Insider: <\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

L\u2019articolo sosteneva che \u201cin Europa esiste una associazione precisa tra bassi livelli di vitamina D e sia il numero di casi, sia il tasso di mortalit\u00e0. Un giusto apporto dunque sembra permettere contagi inferiori e danni meno severi\u201d. Per inciso, nell\u2019articolo era riportata anche un\u2019intervista ad una persona che aveva interesse a sponsorizzare l\u2019uso di integratori di vitamina D \u2013 questo per ricordare che anche nell\u2019ambiente scientifico esistono gli interessi\u2026<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Nel grafico, dove si ha sulle ascisse l’apporto medio di vitamina D e sulle ordinate la mortalit\u00e0, la retta suggerisce un andamento negativo e una correlazione che viene interpretata come causalit\u00e0, ovvero, secondo lo studio, \u00e8 l’apporto di vitamina D che riduce la mortalit\u00e0 (\u201cthe crude association observed in the present study may be explained<\/em> by the role of vitamin D in the prevention of COVID-19 infection or more<\/em> probably by a potential protection of vitamin D from the more negative<\/em> consequences of the infection\u201d).<\/em><\/p>\n\n\n\n

Per darvi un\u2019idea della infondatezza di una simile deduzione, sappiate che se in un qualsiasi modello fosse stata inserita l’et\u00e0 media delle persone dei vari Paesi, quindi l’aspettativa di vita, gi\u00e0 la vitamina D non sarebbe stata pi\u00f9 significativa. E si riscontrano altri problemi di natura tecnica.<\/p>\n\n\n\n

    \n
  1. Si aggiustano i risultati per far sembrare che ci sia una correlazione significativa: il valore corretto del cosiddetto p-value \u00e8 0.05353 per il test sulla significativit\u00e0 della correlazione tra vitamina D e decessi e 0.05014 per il test sulla significativit\u00e0 della correlazione tra vitamina D e casi, ma in teoria per poter affermare la presenza di una correlazione significativa il p-value dovrebbe essere inferiore a 0.05.<\/li>\n\n\n\n
  2. Le assunzioni alla base del test non sono verificate:\n