Human in the loop: il controllo finto e la responsabilità vera

Human in the loop è la formula che ci rassicura. L’articolo 14 dell’AI Act impone, per i sistemi ad alto rischio, una sorveglianza umana: una persona deve poter capire, intervenire, fermare con un pulsante di arresto. Nel dibattito sulle armi autonome tutto ruota attorno al controllo umano sulla forza, che l’ICRC e l’ONU vorrebbero tutelare con regole vincolanti entro il 2026, anche se di quel controllo, che molti chiamano «significativo», manca ancora una definizione condivisa. E già nel 2010 il Flash Crash mostrò, secondo il rapporto SEC/CFTC, che un singolo ordine automatico poteva far crollare il mercato in minuti, più in fretta di qualunque reazione umana, tanto che la risposta diretta fu introdurre una pausa forzata, gli interruttori automatici sul singolo titolo. Mettiamo un uomo nel ciclo per restare al comando. Ma quando il ciclo corre più veloce di lui, tenerlo dentro smette di essere controllo. Lo leggiamo come una garanzia. È diventato, spesso, il suo contrario.

Human in the loop: dentro, sopra, fuori dal ciclo

La formula nasconde una scala. Si può essere dentro il ciclo, e allora ogni decisione passa per noi; si può essere sopra il ciclo, a sorvegliare, pronti a intervenire; oppure fuori, avvisati a cose fatte. Man mano che la velocità cresce, il dentro scivola nel sopra e il sopra nel fuori, mentre l’etichetta resta sempre la stessa, human in the loop. È un errore di categoria: descriviamo una posizione di comando che la fisica dei tempi ha già svuotato.

La ricercatrice Madeleine Clare Elish ha dato un nome a ciò che resta dell’uomo in quella posizione: una zona di assorbimento morale, come le parti deformabili di un’auto che incassano l’urto. L’operatore è tenuto lì non per decidere, ma per assorbire la colpa di un sistema che non poteva davvero controllare. È la condizione di chi difende quando non c’è nessun umano alla tastiera e l’azione corre da sola.

Il giudizio ha bisogno di tempo

Perché il giudizio non è una funzione che si possa semplicemente accelerare. Deliberare, pesare le ragioni, esitare, sono gesti che hanno bisogno di un intervallo. Kahneman distingueva un pensiero veloce e automatico da un pensiero lento e ponderato: comprimi la decisione sotto la soglia di reazione e resta solo il primo, il riflesso, non il giudizio. L’uomo tenuto nel ciclo a velocità di macchina non può ponderare, può solo sussultare.

Quando l’AI conduce l’attacco in prima persona, il difensore non ha il tempo di pensare, solo di reagire, e infatti l’unica risposta efficace alla cascata automatica è stata, in finanza come altrove, un’altra automazione che impone una pausa. Abbiamo dovuto costruire l’intervallo a mano, perché senza intervallo non c’è giudizio, solo propagazione.

L’intervallo è il luogo del soggetto

Si scende un ultimo gradino. Quell’intervallo tra lo stimolo e la risposta non è tempo morto: è il luogo in cui una persona diventa l’autore di un atto invece che il suo tramite. Bergson lo aveva argomentato per la libertà: l’atto libero matura nella durata vissuta, e un atto schiacciato in un istante, senza durata, non è una scelta, è un automatismo della superficie. Togli l’intervallo e non ottieni un giudizio più rapido, ottieni l’assenza di giudizio, e l’assenza di un autore. Human in the loop a velocità di macchina conserva il posto a forma d’uomo dove stava il giudizio, e lo riempie di reazione. Tratteniamo la persona non come chi decide, ma come chi porta le conseguenze: un autore designato senza il potere di essere autore.

Si obietterà che la sorveglianza può stare a monte: gli umani fissano le politiche, i limiti, le condizioni in cui il sistema può agire, ed è proprio ciò che l’articolo 14 ammette quando non pretende il vaglio di ogni singola decisione. Vero, ed è un controllo reale e necessario. Ma è controllo sulla regola, non sull’atto. La formula human in the loop gioca sull’immagine del controllo sull’atto, sulla persona che può fermare questa decisione adesso. Quando usiamo quel linguaggio per promettere la seconda cosa mentre consegniamo solo la prima, fabbrichiamo un alibi: l’uomo sembra custodire il gesto e non custodisce che la colpa. L’onestà sarebbe dire che il controllo umano sta prima dell’atto, nelle scelte di progetto e di mandato, e che dentro l’atto, a velocità di macchina, non c’è giudizio umano, ma solo decisioni prese in anticipo.

Quello che resta da pensare

Aggiungiamo un uomo al ciclo per restare al comando. Quando il ciclo ci supera, all’uomo resta soltanto ciò che non si è potuto automatizzare: la responsabilità. Il controllo è vero solo prima dell’atto; la colpa cade solo dopo; e nell’istante in cui la decisione accade davvero non c’è più nessuno, anche se sullo schema, in mezzo, è disegnata una figura umana. Human in the loop non descrive più chi decide. Descrive chi pagherà per una decisione che non ha fatto in tempo a prendere.

Riferimenti di pensiero

• Madeleine Clare Elish, Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction (in Engaging Science, Technology, and Society, 2019).
• Daniel Kahneman, Pensieri lenti e veloci (Thinking, Fast and Slow, 2011).
• Henri Bergson, Saggio sui dati immediati della coscienza (Essai sur les données immédiates de la conscience, 1889).