ETSI (European Telecommunications Standards Institute - Istituto europeo per le norme di telecomunicazione) ha pubblicato un nuovo quadro tecnico per rendere misurabile e comparabile la qualità dei dati utilizzati negli ecosistemi digitali e nei sistemi di Intelligenza Artificiale. Il documento, ETSI TR 104 180, introduce 18 metriche quantitative attraverso le quali organizzazioni e sviluppatori possono verificare se un insieme di dati sia sufficientemente affidabile e adeguato rispetto alla finalità per la quale viene utilizzato.
Le metriche sono articolate in quattro principali aree. La prima riguarda la qualità intrinseca dei dati e comprende, tra l’altro, completezza, accuratezza, affidabilità, coerenza, precisione, integrità, ridondanza e unicità. La seconda considera l’effettiva utilizzabilità dei dati attraverso parametri quali disponibilità, copertura, provenienza, tracciabilità e tempestività. Una terza area è dedicata alla correttezza e ai possibili bias, attraverso indicatori relativi alla qualità dell’etichettatura, ai bias di misurazione e di rappresentazione. Il quadro comprende infine parametri connessi alla privacy e all’uso responsabile dei dati, quali anonimato e riservatezza.
L’applicabilità pratica del modello è stata verificata mediante una prova di concetto condotta su due categorie di dati molto diverse: dati provenienti da sensori dell’Internet industriale delle cose e dati demografici. L’esperimento evidenzia anche che non tutte le metriche assumono lo stesso peso in ogni contesto: affidabilità, tempestività e integrità possono risultare decisive per i dati industriali, mentre rappresentatività, anonimato, qualità dell’etichettatura e possibili bias acquistano particolare rilievo quando il dataset descrive persone o caratteristiche sociali.
Nell’ambito della prova di concetto è stato inoltre sviluppato un Data Quality Validation System open source, capace di applicare le 18 metriche e produrre un punteggio relativo alla qualità di un dataset. Il modello è pensato anche per consentire ai titolari dei dataset di effettuare verifiche interne e comunicare in maniera più trasparente il livello qualitativo dei dati messi a disposizione di altri operatori.
Il documento assume particolare interesse anche nella prospettiva dell’AI Act. L’articolo 10 del Regolamento (UE) 2024/1689 richiede infatti, per i sistemi di IA ad alto rischio interessati dalla disposizione, specifiche pratiche di governance dei dati e stabilisce che i dataset pertinenti debbano essere sufficientemente rappresentativi e, nella misura massima possibile, completi e privi di errori, prevedendo inoltre specifiche attività di individuazione e mitigazione dei bias.
Il Technical Report ETSI non costituisce, di per sé, uno standard armonizzato che conferisca una presunzione di conformità all’AI Act. Rappresenta tuttavia un riferimento tecnico particolarmente significativo perché trasforma concetti generali quali accuratezza, completezza, rappresentatività, tracciabilità e bias in parametri suscettibili di misurazione quantitativa.
Per provider e organizzazioni che sviluppano o utilizzano sistemi di IA, il nuovo framework può quindi costituire uno strumento operativo per strutturare processi di data governance, definire criteri documentati di accettazione dei dataset e produrre evidenze verificabili sulla qualità dei dati utilizzati durante il ciclo di vita del sistema. In una prospettiva di conformità, la possibilità di passare da valutazioni meramente descrittive della qualità dei dati a metriche documentate e ripetibili assume un rilievo crescente, soprattutto per i sistemi soggetti ai requisiti dell’AI Act.
