“Il bias del passato diventa il bias del futuro”: così l’Alto Commissariato ONU per i Diritti Umani riassume il rischio di un’IA addestrata e valutata su dati che riflettono disuguaglianze pregresse. Se quei dati sono distorti, l’IA non fa che replicarli e amplificarli. Volker Türk, Alto Commissario, ha chiesto una governance attenta che metta al centro i diritti, ricordando come gli impatti negativi — discriminazione ed esclusione — siano già visibili oggi.
A questa consapevolezza si aggiunge il lavoro della Relatrice Speciale ONU sul razzismo, Ashwini K.P.: nei suoi rapporti al Consiglio dei Diritti Umani sottolinea come la pretesa “neutralità” tecnologica sia un’illusione e invita gli Stati a valutare sistematicamente gli effetti dell’IA su discriminazione e disuguaglianza, prevedendo limiti chiari quando i rischi diventano inaccettabili.
Cosa sta già succedendo (con esempi solidi)
Uno dei casi più discussi è la polizia predittiva. Già nel 2016, uno studio di Lum e Isaac mostrava come l’uso di dati storici di arresti per guidare i pattugliamenti può innescare circuiti di retroazione: si pattuglia di più dove si è pattugliato di più, si registrano più reati lì, e l’algoritmo “conferma” il bisogno di tornare ancora in quelle aree. Analisi successive hanno formalizzato il meccanismo, illustrando come questi modelli possano consolidare schemi di sorveglianza sproporzionati.
In sanità, uno studio su Science (Obermeyer et al., 2019) ha documentato un bias sistemico in un algoritmo largamente usato per identificare i pazienti “ad alta complessità”: usando i costi sanitari come proxy del bisogno clinico, il sistema sottostimava la necessità di cura dei pazienti neri. Correggendo la metrica, la quota di pazienti neri indirizzati a programmi aggiuntivi sarebbe passata da 17,7% a 46,5% — un salto enorme, che mostra come la scelta del proxy possa tradurre disuguaglianze strutturali in decisioni automatizzate.
Nel sistema educativo britannico, l’algoritmo usato nel 2020 per standardizzare i voti degli A-levels (in sostituzione degli esami annullati per la pandemia) ha generato un downgrade massiccio e sproporzionato per studenti di scuole pubbliche, tanto da costringere il governo a un rapido dietrofront e al ritorno ai voti dei docenti. È un esempio concreto di come modelli progettati per “stabilità statistica” possano produrre effetti socialmente iniqui se non testati e governati con attenzione.
Sul fronte welfare, il caso SyRI nei Paesi Bassi è diventato uno spartiacque: nel 2020 il Tribunale dell’Aia ha fermato il sistema anti-frode perché incompatibile con l’articolo 8 CEDU (tutela della vita privata), richiamando l’esigenza di trasparenza e proporzionalità nell’uso di analisi predittive su dati sensibili.
Anche la visione artificiale non è esente da problemi. Il progetto Gender Shades (MIT/Stanford) ha evidenziato errori molto più alti nel riconoscimento del genere per donne con pelle scura rispetto a uomini con pelle chiara (fino al ~34% contro <1% in alcuni servizi commerciali). È la prova sperimentale di come dataset squilibrati possano produrre performance diseguali tra gruppi demografici.
Nel lavoro, il caso Amazon recruiting è ormai classico: l’azienda ha dismesso un sistema sperimentale di screening CV quando ha rilevato che sfavoriva le candidate donne, assorbendo dai dati storici di assunzione pattern di preferenza maschile. Non è l’algoritmo “che odia le donne”: sono i dati del passato a “insegnarglielo”.
Cosa sta cambiando sul piano normativo
L’AI Act dell’UE è entrato in vigore il 1° agosto 2024 (pubblicato in Gazzetta Ufficiale il 12 luglio 2024) e introduce, tra l’altro, divieti per pratiche ritenute a rischio inaccettabile (es. social scoring pubblico/privato, certe forme di categorizzazione biometrica sensibile, sistemi che predicono il rischio di reato di una persona) e un obbligo di Valutazione d’Impatto sui Diritti Fondamentali (FRIA) per chi dispiega sistemi ad alto rischio in ambito pubblico o di servizi pubblici. Le disposizioni si applicano in modo graduale fino al 2026–2027, con alcune parti già operative.
Dalla teoria alla pratica
Questi casi non dicono che l’IA “non si debba fare”: dicono che senza garanzie si riproducono le stesse disuguaglianze che la società sta cercando di correggere. Le lezioni sono chiare e documentate: evitare proxy fuorvianti (come i costi sanitari al posto del bisogno), testare le performance per sottogruppi demografici, prevenire feedback loop nei contesti di polizia, e — dove i rischi toccano diritti fondamentali — procedere solo dopo valutazioni d’impatto trasparenti e azionabili. In sintesi: non fermare il progresso, ma incanalarlo — con regole, prove e responsabilità pubblica.
Fonti principali citate
- OHCHR, “Racism and AI: Bias from the past leads to bias in the future” e interventi di Volker Türk.
- Rapporti ONU della Relatrice Speciale sul razzismo (AI e discriminazione).
- Lum & Isaac (2016) e lavori successivi sui feedback loop della polizia predittiva.
- Obermeyer et al., Science (2019) — bias nei risk scores sanitari e impatto sulle cure.
- Caso A-levels (UK, 2020): standardizzazione algoritmica e U-turn governativo.
- Sentenza SyRI (Paesi Bassi, 2020): violazione dell’art. 8 CEDU.
- Gender Shades: disparità demografiche nel riconoscimento del genere.
AI Act: pubblicazione, entrata in vigore, divieti e FRIA.
