Ponti e algoritmi

Può un oggetto essere “cattivo”? O meglio, quanto può essere cattivo un oggetto? La domanda arriva direttamente da un libro, un testo molto interessante che abbiamo letto e studiato di recente e del quale vorremmo parlarVi oggi. Il saggio si intitola “Hello world. Essere umani nell’era delle macchine” ed è stato scritto dalla professoressa di matematica Hannah Fry. La scienziata inglese si interroga sul rapporto “uomo-macchina” ed esamina con dettagliati esempi e studi approfonditi, il mondo moderno e l’uso sempre più evidente e “invadente” di algoritmi informatici per tentare di “controllare” il mondo medesimo. Le ricerche della Fry si sviluppano attraverso diversi campi di applicazione degli algoritmi: dalla giustizia, alla medicina, dal mondo della produzione industriale sino ad arrivare alla cultura e all’arte. Nell’introduzione al volume Fry, prendendo spunto dai “cavalcavia bassi” di Robert Moses negli Stati Uniti, – ponti progettati in modo da non far passare gli autobus e quindi impedire ai “proletari” per lo più “neri” di avere accesso ai parchi dell’area – e rifacendosi probabilmente anche alle considerazioni sul tema proposte negli anni ’80 dal politologo Langdon Winner nel saggio “do artifacts have politics” – prova a spiegare quanto possano essere malvagi “gli oggetti“, o meglio, quanto: progettare e realizzare un oggetto, possa diventare, in talune circostanze, per coloro che hanno avuto l’idea e/o realizzato l’opera, un percorso tutt’altro che virtuoso e caritatevole e che, spesso, sottende una precisa intenzione di controllare i comportamenti delle persone:

I ponti razzisti non sono gli unici oggetti inanimati capaci di controllare le persone in maniera discreta, quasi clandestina. La storia abbonda di esempi di oggetti e invenzioni il cui potere si estende oltre il loro scopo dichiarato. In alcuni casi si tratta di una scelta malevola e deliberata di chi li ha progettati, ma altre volte tutto nasce da qualche dimenticanza sconsiderata: pensate, ad esempio, alla mancanza di rampe per disabili nei centri urbani. Talvolta è una conseguenza imprevista, come nel caso dei telai meccanici del XIX secolo: progettati per facilitare la realizzazione di tessuti dai motivi complicati, a lungo andare il loro impatto sui salari, sull’occupazione e sulle condizioni di lavoro li resero indiscutibilmente più tirannici del peggior capitalista vittoriano.

Le invenzioni moderne non sono diverse. Chiedete agli abitanti di Scunthorpe, nel nord dell’Inghilterra, impossibilitati ad aprire account Internet con AOL perché il provider, uno dei giganti della rete, aveva attivato un filtro anti-oscenità che censurava il nome della cittadina. O a Chukwuemeka Afigbo, il nigeriano che ha scoperto che un dispenser automatico distribuiva sapone senza problemi ogni volta che il suo amico bianco metteva la mano sotto il sensore ma rifiutava di riconoscere la sua pelle scura.

Fry partendo dagli esempi del passato, si concentra subito sul presente, e volge il suo sguardo alle procedure moderne di costruzione e realizzazione di oggetti o meglio procedure, o ancora meglio piattaforme e servizi, al “servizio” – scusate il gioco di parole – apparentemente degli utenti, e che però nella realtà dei fatti assumono via, via, sempre più “informazioni” sui propri clienti, sino a diventare oggetti potenti, sempre più potenti; e soprattutto strumenti per esercitare in forma – nemmeno troppo occulta – forme ed esercizi di controllo sulle persone; controllo che usano, applicano, eseguono dentro a questi ambienti. Moderne invenzioni, perlopiù costruite attraverso l’uso di specifici algoritmi, rapidamente cresciute nell’influenza che vanno ad esercitare sulle nostre esistenze. Ma torniamo al testo della matematica inglese, ed estraiamo un passaggio in cui Hannah Fry definisce sinteticamente il concetto di algoritmo in informatica e il tipo di uso che viene, normalmente, fatto di questi strumenti di programmazione:

algoritmo (nome): procedura composta da una serie di istruzioni per la risoluzione di un problema o l’esecuzione di un compito, soprattutto da parte di un computer.

Quando si parla di algoritmi, di solito, si intende qualcosa di un po’ più specifico. Si tratta sempre di liste di istruzioni da eseguire passo passo, ma gli oggetti in questione hanno perlopiù una natura matematica: una sequenza di operazioni matematiche – definite da equazioni, espressioni aritmetiche e algebriche, elementi di analisi infinitesimale, logica e calcolo delle probabilità – tradotta in un codice che il computer è in grado di capire.

Alimentati con dati provenienti dal mondo reale, gli algoritmi li macinano, un calcolo dopo l’altro, per raggiungere l’obiettivo assegnato. Nel trasformare l’informatica in una disciplina scientifica gli algoritmi hanno reso possibili molti dei successi più strabilianti ottenuti dalle macchine moderne.

Ordinamento: la creazione di elenchi

Quando cercate qualcosa su Google, il motore di ricerca elenca i risultati attribuendo loro un punteggio.

Classificazione: il raggruppamento per categorie

operano dietro le quinte e vi classificano come persone interessate a un dato prodotto in base alle vostre caratteristiche

Associazione: alla scoperta delle relazioni

Algoritmi associativi come quello del servizio OK Cupid cercano i possibili punti di contatto tra gli iscritti, suggerendo i partner potenziali sulla base dei risultati ottenuti

Filtro: isolare le cose importanti

per separare il segnale dal rumore. In alcuni casi la rimozione è letterale: gli algoritmi di riconoscimento vocale, ad esempio quelli utilizzati da Siri, Alexa e Cortana, devono anzitutto filtrare la vostra voce dal rumore di fondo

La stragrande maggioranza degli algoritmi è progettata per effettuare una combinazione di queste quattro operazioni.

Accanto agli algoritmi di questo tipo, si sono oramai molto diffusi nel mondo informatico – e quindi ovunque nel nostro universo post rivoluzione digitale – un altro tipo di algoritmi, quelli di machine learning, in cui sono le macchine stesse a cercare la soluzione ai problemi, imparando direttamente dai propri comportamenti, studiando i dati, elaborando le informazioni ricevute. Questi algoritmi lavorano in reti apposite – le reti neurali – per costruire percorsi di apprendimento profondo – deep learning – tutti dedicati alle macchine medesime. Percorsi di ricerca impossibili da realizzare fino a pochi anni or sono a causa della scarsa potenza dei processori, che invece ora sono possibili e sempre più praticati in particolare con l’avvento degli ultimi protocolli di trasmissione dei dati e nella fattispecie con l’arrivo del 5g. Il posizionamento massiccio di sensori dentro agli “oggetti” del mondo, l’aumento esponenziale di dati che le macchine dovranno processare, farà sì che gli algoritmi di machine learning saranno impiegati in modo sempre più massiccio per amministrare i processi e i sistemi attraverso i quali l’uomo “gestisce e gestirà” il proprio mondo. Semafori, ospedali, reti ferroviarie, trasporti, economia e finanza. Tutto passa e passerà da sistemi complessi come questi. Molte di queste applicazioni algoritmiche sono già in uso. E non sono proprio tutte rose e fiori. Hannah Fry cita nel suo libro molteplici casi di studio, come ad esempio quello di COMPAS, un algoritmo usato per amministrare la giustizia in alcune zone degli Stati Uniti:

i giudici del Wisconsin utilizzavano COMPAS, un algoritmo commerciale per la valutazione del rischio di recidiva. Il principio del funzionamento di COMPAS è considerato un segreto industriale,

Nel 2016, il notiziario online indipendente ProPublica ha condotto un’analisi approfondita dell’algoritmo COMPAS, applicando la tecnica del reverse engineering alle previsioni fatte sul comportamento futuro di più di settemila persone condannate in Florida tra il 2013 e il 2014. L’obiettivo era duplice: misurare l’accuratezza dei punteggi attribuiti da COMPAS verificando chi aveva effettivamente commesso un altro reato, e mettere in luce eventuali differenze tra i coefficienti di rischio attribuiti agli imputati bianchi e quelli attribuiti ai neri.

Anche se l’algoritmo non include esplicitamente un fattore razziale, i giornalisti hanno scoperto che i calcoli non trattano tutti allo stesso modo. Complessivamente, le probabilità di un errore da parte dall’algoritmo sono più o meno le stesse per bianchi e neri, ma i tipi di errore variano a seconda dell’appartenenza etnica.

Tutto questo non ha nulla a che vedere con la natura del reato o con l’algoritmo: è solo una certezza matematica. Il risultato è squilibrato perché lo è la realtà. Dato che gli assassini di sesso maschile sono più numerosi, a venire accusati ingiustamente di essere potenziali omicidi saranno in maggioranza gli uomini.

Se la frazione di individui che commettono reati non è la stessa in tutti i gruppi di imputati è matematicamente impossibile creare un test che abbia sempre la stessa accuratezza di previsione e si sbagli con la stessa frequenza per ogni gruppo di imputati.

gli algoritmi possono perpetuare le disuguaglianze del passato. Nemmeno l’algoritmo COMPAS, però, è esente da colpe. Un’azienda che trae i suoi guadagni dall’analisi dei dati personali ha la responsabilità morale (se non addirittura legale) di riconoscere i propri difetti e gli aspetti meno chiari dei propri prodotti. E invece l’azienda che ha creato COMPAS, Equivant (prima si chiamava Northpointe), continua a custodire gelosamente come un segreto i principi di funzionamento dell’algoritmo, per proteggerne la proprietà intellettuale.

Le soluzioni non mancano. Non c’è nulla, negli algoritmi, che ci obblighi a ripetere le imperfezioni del passato. Tutto dipende dai dati con cui li alimentiamo: possiamo scegliere quello che Richard Berk chiama “empirismo crasso”, e affidarci ai numeri esistenti, o decidere che lo status quo non è giusto e alterare i numeri di conseguenza.

Uno dei tanti esempi, inseriti nel libro dalla professoressa Fry, tutti emblematici e che ci portano a riflettere – speriamo a lungo e in modo approfondito – sull’uso di questi strumenti per decodificare la realtà e gestire la nostra quotidianità. In particolare l’esempio di COMPAS evoca, quasi automaticamente, scenari e piattaforme basate su altri “algoritmi“, molto più easy, apparentemente. Vedi Facebook, Google o Amazon, ad esempio. Ma come succede per COMPAS, anche gli algoritmi alla base del social network, o del motore di ricerca, o del servizio di vendita e consegna a domicilio; condizionano i nostri comportamenti in modo certamente non meno evidente e pressante, di quanto non faccia – come appare evidente – una piattaforma basata su un codice algoritmico che gestisce l’amministrazione della giustizia di uno Stato. Si tratta di problematiche sulle quali dobbiamo imparare molto. Tematiche su cui discutere a fondo e collettivamente. Oggetti, quasi sempre di proprietà privata, che influenzano in modo preponderante i nostri comportamenti e le nostre azioni, di cui dobbiamo pretendere di conoscere il funzionamento. Procedure, funzioni, servizi: certamente non neutrali né super partes. Bensì sottoposti ad un unico principio attuativo: far guadagnare i loro proprietari, il più possibile e in modo non chiaro, né manifesto, né trasparente. E’ necessario intraprendere al più presto un percorso di svelamento, di chiarificazione, di spiegazione di questi sistemi di controllo ed esercizio del potere in mano a poche compagnie private. E questo tipo di percorso deve essere intrapreso al più presto da tutti noi – persone – in accordo e sotto la supervisione dei governi, degli stati, delle istituzioni, dei sindacati, dei partiti politici, delle amministrazioni, in modo coeso e compatto. Gli esempi che riporta la professoressa Fry sono ben articolati ma la realtà quotidiana lo è ancora di più. Pensiamo ad esempio alle app per tracciare il contagio dentro a questa devastante pandemia che il mondo sta vivendo e a come si siano rivelate insufficienti per non dire inutili quando ci siamo scontrati con l’inadeguatezza dei dati raccolti. Se i nostri dati “sensibili”, quelli utili per monitorare i comportamenti delle persone in tempo reale; sono in mano ad aziende private che non concedono pieno accesso a questi dati, diventa purtroppo impossibile riuscire a rendere efficaci le nostre contromisure. Ed è di conseguenza inutile l’uso di queste app, per monitorare la diffusione del virus, e porre in atto efficaci azioni di contenimento del contagio. Ma nessuno ha chiesto accesso a questi dati a chi li detiene. Come mai?

Le possibili soluzioni a questi problemi sono molteplici. Bisogna far presto e trovare un fronte ed un intento comune da perseguire. Non perdersi in mille rivoli. Una serie di interessanti riflessioni e spunti le abbiamo trovate nelle conclusioni della professoressa Fry inserite a chiusura del saggio. Ne riportiamo alcune in estratto. Grazie per l’attenzione e alla prossima ;)

Gli algoritmi, per quanto utili e capaci di cose incredibili, ci hanno lasciato una matassa di complicazioni da dipanare.

e se accettassimo il fatto che la perfezione non esiste? Gli algoritmi commetteranno errori e ingiustizie. Questo non significa che dobbiamo smettere di impegnarci per renderli il più possibile precisi e imparziali, ma che forse, riconoscendo che un algoritmo non può essere più perfetto di un essere umano, potremmo riuscire ad attenuare il peso delle idee preconcette sul loro potere.

E se, invece di concentrarci esclusivamente sullo sviluppo di algoritmi che garantiscano un livello di imparzialità irraggiungibile, li progettassimo in modo che sia più facile correggerli quando, inevitabilmente, sbaglieranno? Se investissimo tempo e risorse in sistemi automatici facili da disattivare oltre che da implementare? Forse la soluzione è proprio questa: realizzare algoritmi le cui decisioni possano essere messe in discussione a ogni livello. Algoritmi concepiti per aiutarci a decidere e non per darci istruzioni, che non si limitino a comunicarci il risultato di un calcolo ma ci mostrino le ragioni di quella scelta particolare.

Personalmente, credo che gli algoritmi migliori siano quelli che non perdono mai di vista la componete umana. Quelli che riconoscono la nostra tendenza a fidarci eccessivamente dell’output di una macchina e che non si vergognano di mostrare i propri difetti e i propri limiti.

Il futuro in cui ripongo le mie speranze è questo. Un futuro in cui l’arroganza dittatoriale degli algoritmi che popolano molte di queste pagine siano una cosa del passato. Un futuro in cui le macchine non ci dominino più con la loro oggettività ma siano trattate come qualsiasi altro potere: mettendone in discussione le decisioni, analizzandone le ragioni, pretendendo di sapere chi ne trae vantaggio, ritenendole responsabili dei loro errori, riconoscendo l’impatto delle nostre emozioni e rifiutando di accontentarci. Penso che la strada per un futuro in cui gli algoritmi possano dare un contributo positivo alla società sia proprio questa. È una nostra precisa responsabilità, ed è giusto che sia così, perché una cosa è certa: nell’era degli algoritmi, l’essere umano non è mai stato così importante.