Metriche di sicurezza dell’AI: i numeri che i fornitori pubblicano non dicono se il sistema è sicuro

Metriche di sicurezza dell’AI come “il nostro sistema intercetta il 95% degli attacchi” circolano ormai in ogni presentazione commerciale. Quattro lavori usciti fra maggio e settembre 2026 mostrano che quel tipo di cifra, presa da sola, non permette di concludere nulla sulla sicurezza del sistema in esercizio.

Non si tratta di numeri falsi. Rispondono però a una domanda diversa da quella che interessa a chi firma un contratto, redige una valutazione d’impatto o misura la vulnerabilità da prompt injection di un prodotto.

Che cosa misurano davvero le metriche di sicurezza dell’AI

Il punteggio è locale, la domanda è di sistema

Un tasso di rifiuto, un tasso di successo degli attacchi o un punteggio di violazione descrivono come si è comportato un controllo sulle richieste su cui è stato provato. Sono numeri statistici, non verdetti binari, per la ragione che rende l’AI red teaming diverso da un penetration test. Chi installa quel controllo ha però un’altra domanda: quanto aiuto su compiti dannosi il servizio continua a dare a un attaccante che si adatta o che entra da un’altra parte.

La distinzione è al centro di un lavoro sui safeguard di Pingyu Wu, Weiming Zhang e Nenghai Yu, depositato il 1 settembre 2026. La risposta degli autori è che un punteggio locale migliore non costituisce, di per sé, un’affermazione più forte sul sistema dispiegato.

L’asimmetria delle prove

Il punto metodologico è che le due direzioni non si dimostrano allo stesso modo. Un solo attacco che ottiene aiuto dannoso dal servizio in produzione basta a stabilire che quell’aiuto è ancora disponibile. Dimostrare che ne resti poco non discende dai numeri del controllo, perché richiede prove su che cosa il sistema circostante continua a permettere dopo che il controllo ha svolto la propria funzione locale.

Gli autori rilevano che quel tipo di prova compare solo in una piccola minoranza delle affermazioni esaminate. È un’asimmetria che conviene tenere presente quando un fornitore presenta un miglioramento di punteggio come un miglioramento di sicurezza. Vale anche per i nuovi framework di valutazione che stanno emergendo sul lato difensivo.

Tre modi in cui un punteggio aggregato inganna

Il monitor che passa dal 95% all’11%

Il primo caso riguarda i sistemi che sorvegliano la catena di ragionamento di un agente, cioè i passaggi intermedi che il modello produce prima di agire. Shikhar Shiromani e Leo Richter, in uno studio sui monitor del 1 agosto 2026, costruiscono un attacco che riscrive soltanto il ragionamento e lascia invariate le azioni.

Sul sottoinsieme in cui il monitoraggio del ragionamento è l’unico segnale disponibile, il tasso di intercettazione scende da circa il 95% a meno dell’11%. L’accuratezza aggregata resta alta perché è dominata dagli attacchi già visibili dalle sole azioni. Gli autori la chiamano una falsa media. L’attacco si trasferisce fra famiglie di monitor e modelli di agente diversi e si riproduce con agenti in esecuzione. Contro un monitor calibrato, però, l’evasione si concentra nell’agente più capace.

Il detector che scambia il benigno per attacco

Il secondo caso riguarda il lato opposto della soglia di decisione, quello dei falsi positivi, che raramente viene misurato. Yusuf Khalid Shire e Sang-Chul Kim, in PIDS-Bench del 14 settembre 2026, valutano sette rilevatori lungo più assi. Non sono tutti rilevatori dedicati: accanto a baseline addestrate e a classificatori esterni di prompt injection ci sono comparatori di sicurezza generale. Gli assi comprendono prompt benigni che imitano la struttura di un’iniezione senza intento malevolo, attacchi offuscati e cambi di dominio.

Un rilevatore che supera un F1 di 0,98 sull’insieme di collaudo classifica male circa un terzo di un insieme benigno di provenienza esterna, ristretto a contenuti attinenti alla sicurezza. L’F1 è l’indice sintetico che i fornitori citano più spesso, e combina in un solo numero quante minacce vengono colte e quanti allarmi sono infondati. Su quella distribuzione di stress nessun rilevatore interno raggiunge un punto operativo accettabile. Il criterio è un F1 non inferiore a 0,95, insieme a un tasso di falsi positivi sui benigni difficili non superiore al 10%. Il risultato tiene su tutte le soglie provate e su cinque ripetizioni dell’addestramento, quindi non dipende da una taratura fortunata.

Per chi gestisce un servizio, il costo di quei falsi positivi è immediato e operativo. Per chi lo acquista, è una voce che il punteggio aggregato non espone.

L’agente che sospetta e consegna comunque

Il terzo caso è il più diretto per chi si occupa di protezione dei dati. Il gruppo guidato da Soham Roy e Murari Mandal ha depositato il 30 maggio 2026 un banco di prova sugli agenti web. Il banco, chiamato Scammer4U, contiene 91 ambienti controllati dall’attaccante e 10 ambienti benigni gemelli, su otto vettori d’attacco e sedici categorie di siti. È dichiarato pre-registrato, cioè con ipotesi e misure depositate prima degli esperimenti: è la garanzia che questo stesso articolo chiede ai fornitori.

Su agenti web di frontiera la fuga di dati personali di livello critico va dal 54% al 93% in assenza di indicazioni sulla privacy, contro lo 0% sugli ambienti benigni gemelli. La differenza rispetto alla baseline dimostra che la fuga è attribuibile all’attacco e non a un normale riempimento di moduli.

Gli autori provano anche mitigazioni progressive a livello di prompt. Le riduzioni ottenute dipendono fortemente dal modello e restano insufficienti a impedire in modo affidabile l’invio di dati personali critici sul dato aggregato.

Il dato decisivo è però un altro, e gli autori lo chiamano divario fra rilevazione e azione. Gli agenti il cui ragionamento un giudice LLM indipendente conferma avere segnalato il sito come sospetto consegnano comunque dati personali critici nel 35,9% delle sessioni. Quando nessun sospetto viene verbalizzato la quota sale al 66,1%, con un divario di 30,2 punti stabile su tutte e quattro le famiglie di modelli.

Il sospetto quindi serve, ma non protegge. Accorgersi della truffa riduce la consegna dei dati di due terzi, e in un caso su tre l’agente consegna lo stesso.

La conclusione degli autori è netta: le difese condizionate al riconoscimento dell’attacco da parte dell’agente stesso poggiano sul segnale sbagliato, e serve invece un’intercettazione a valle, sulle comunicazioni in uscita, indipendente dal ciclo di ragionamento. È un’osservazione che tocca direttamente chi usa agenti autonomi su dati di clienti.

Perché il problema non riguarda solo chi compra AI

La finestra si è ristretta

Il contesto in cui queste misure vengono usate è descritto da ENISA nel documento Cybersecurity in the Frontier AI Era del luglio 2026. Il documento riporta un tempo mediano dall’accesso iniziale all’esfiltrazione dei dati compresso a 72 minuti. Non è una misurazione dell’Agenzia: la nota rimanda a una testata specializzata, e come cifra di seconda mano va trattata. L’obiettivo che il documento pone ai centri operativi è invece suo. Chiede di portare le operazioni di sicurezza a una funzione quasi in tempo reale, con tempi medi di rilevazione e di risposta nell’ordine dei minuti a una cifra.

Lo stesso documento riprende dal 2025 Unit 42 Global Incident Response Report di Palo Alto Networks un altro dato. Nel 75% delle violazioni esisteva una registrazione che avrebbe dovuto segnalare il comportamento anomalo, ma i segnali erano frammentati fra strumenti diversi e non sono stati raccolti. È una cifra di seconda mano, riferita al 2025, e va citata come tale. Illustra però bene la differenza fra avere uno strumento e ottenere un risultato.

Il collo di bottiglia si è spostato

ENISA osserva inoltre che nella gestione delle vulnerabilità il fattore limitante diventa la capacità di chi esamina, non l’offerta di segnalazioni. Il volume di rilevazioni vere crea di per sé un problema di verifica. È lo stesso passaggio che attraversa l’evoluzione del SOC, dove il volume degli eventi supera da tempo la capacità umana di analisi.

Vale lo stesso per i controlli sugli agenti. Un rilevatore che produce falsi positivi su un caso benigno su tre non satura soltanto un budget di calcolo, satura il tempo delle persone che devono smentirlo. È il motivo per cui il tasso di falsi positivi andrebbe chiesto insieme al tasso di intercettazione, e non dopo.

Le domande da fare a un fornitore

Dai quattro lavori si ricava una lista breve e verificabile, utile in fase di selezione o di rinnovo contrattuale.

• Su quale corpus è stato misurato quel tasso, quanti scenari contiene e chi li ha scelti? Un punteggio su un insieme fisso di scenari non dice nulla sulle catene d’attacco fuori da quel perimetro.
• Qual è il tasso di falsi positivi sui casi benigni difficili, misurato alla stessa soglia operativa del tasso di intercettazione?
• Come si comporta il controllo quando è l’unico segnale disponibile? Quella quota va separata dal dato aggregato.
• Quali prove esistono su ciò che il sistema circostante continua a permettere dopo l’intervento del controllo? È la sola evidenza che sostenga un’affermazione sul servizio in esercizio.

Chi redige una valutazione d’impatto o imposta la governance degli agenti autonomi trova in queste quattro domande un criterio meno arbitrario del punteggio dichiarato. E chi monitora la prompt injection negli agenti aziendali ha ora un argomento tecnico per spostare i controlli a valle, sulle comunicazioni in uscita, invece di affidarli al giudizio del modello.

Le metriche di sicurezza dell’AI restano utili per confrontare due versioni dello stesso controllo. Non bastano a dire che un sistema è sicuro, e nessuno dei quattro lavori qui citati pretende il contrario. Chi le presenta come garanzia sta rispondendo a una domanda che nessuno ha fatto.