Qualità dei dati: guida pratica ISO 42001 con esempi
Il controllo A.7.4 chiede che i dati usati per sviluppare il sistema di IA rispettino requisiti di qualità definiti e verificabili. Ecco come attuarlo con soglie numeriche, misurazioni registrate e blocchi automatici.
Cosa prevede il punto A.7.4
Questa guida pratica alla ISO 42001 spiega con esempi il controllo A.7.4, che richiede di definire e verificare requisiti di qualità per i dati usati nello sviluppo del sistema di IA: accuratezza, completezza, coerenza e aggiornamento devono essere misurabili, non dichiarazioni generiche.
Il controllo riguarda chiunque alimenti i dataset: data scientist, addetti all'etichettatura, fornitori esterni di dati. In Azienda Italiana S.p.A. si applica sia al chatbot di assistenza clienti sia al sistema di screening dei CV, perché un modello addestrato su dati scadenti produce risposte sbagliate e valutazioni distorte. Per questo la qualità dei dati è trattata come requisito di prodotto, non come dettaglio tecnico.
A.7.4 si collega ad A.7.3, che governa l'acquisizione dei dati, e ad A.7.5, che ne presidia la provenienza: prima si acquisisce, poi si verifica la qualità, infine si documenta l'origine. Gli esiti delle misurazioni alimentano inoltre la valutazione dei rischi e il miglioramento continuo dell'AIMS.
In sintesi, la norma vuole vedere:
- Soglie di qualità definite e approvate
- Registro delle misurazioni sui dataset
- Blocco automatico dei dati sotto soglia
- Responsabile qualità dati formalizzato
- Azioni correttive sugli esiti negativi
Esempio di controllo tecnico per il punto A.7.4
Primo esempio. Per il chatbot di assistenza clienti, Azienda Italiana S.p.A. ha fissato nel documento DAT-AI-04 una soglia di accuratezza del 98% sulle etichette del dataset di conversazioni. Ogni rilascio viene misurato su un campione con doppia etichettatura indipendente: se i due annotatori discordano oltre la soglia, il lotto viene scartato e l'esito registrato prima di qualsiasi addestramento.
Controllo tecnico collegato: per lo screening dei CV, la guida pratica prevede regole di validazione automatica nella pipeline: formato delle date, presenza dei campi obbligatori, rilevamento dei duplicati e bilanciamento delle classi. Se una dimensione scende sotto soglia, la pipeline blocca l'addestramento e invia un alert al Data Quality Manager, che apre un'azione correttiva prima di riutilizzare il dataset.
Qualità dei dati: matrice di verifica
| Aspetto | Cosa verifica l'auditor interno | Evidenza attesa |
|---|---|---|
| Soglie definite | Requisiti numerici per ogni dimensione | DAT-AI-04 approvato |
| Misurazione | Metodo ripetibile e registrato | Registro DAT-AI-07 |
| Blocco sotto soglia | Dati scartati prima dell'uso | Log della pipeline |
| Responsabilità | Ruolo qualità dati assegnato | Mansione aggiornata |
| Correzione | Azioni sugli esiti negativi | Azioni correttive aperte |
Nota: l'auditor interno non chiede promesse sulla qualità dei dati, chiede misurazioni datate, firmate e collegate a una decisione. Questa guida pratica le riassume nella tabella.
Cosa scriverebbe "Azienda Italiana S.p.A." sul punto A.7.4
Estratto della procedura operativa che Azienda Italiana S.p.A. usa per definire, misurare e far rispettare i requisiti di qualità dei dati di addestramento. È il documento che questa guida pratica usa come riferimento per le evidenze di audit.
Procedura di controllo qualità dei dati per i modelli di IA
Metodo
Misura su campione stratificato del 5% del dataset. Doppia etichettatura indipendente. Calcolo della concordanza per ogni dimensione. Registrazione dell'esito in DAT-AI-07 e blocco automatico sotto soglia.
Estratto
| Dimensione | Soglia minima | Metodo di misura |
|---|---|---|
| Accuratezza | ≥ 98% | Campione a doppia etichettatura indipendente |
| Completezza | ≥ 95% | Controllo automatico dei campi obbligatori |
| Tempestività | ≤ 30 giorni | Confronto data evento e data caricamento |
| Unicità | ≥ 99,5% | Rilevamento duplicati su chiave anagrafica |
| Coerenza | ≥ 97% | Regole incrociate tra dataset collegati |
Ruoli e responsabilità
| Data Quality Manager | Definisce le soglie e approva gli esiti di misurazione |
| Data Scientist | Esegue le misurazioni e registra gli esiti nel registro |
| AI Risk Manager | Valuta gli impatti degli scarti sul registro dei rischi |
| Direzione Generale | Approva la procedura ed eventuali deroghe motivate |
Checklist operativa
| Misurazione accuratezza dataset chatbot | Ogni rilascio | DAT-AI-07 |
| Controllo duplicati dataset screening CV | Settimanale | DAT-AI-07 |
| Revisione soglie di qualità dei dati | Semestrale | MOD-AI-11 |
| Verifica qualità dati da fornitori | A ogni consegna | DAT-AI-07 |
Esito
Conforme se tutte le dimensioni raggiungono la soglia minima. Sotto soglia: blocco immediato dell'addestramento, apertura di azione correttiva e nuova misurazione documentata prima di qualsiasi uso.
Le domande dell'audit interno sul punto A.7.4
Domande di audit interno su questo punto, con risposte coerenti ed evidenze.
I consigli del Dott. Valerio Bellini sul punto A.7.4
Dott. Valerio Bellini
«La qualità dei dati va resa misurabile prima dell'audit, non durante: fissate soglie numeriche per ogni dimensione e fatele approvare, altrimenti ogni valutazione resta un'opinione.»
«In audit interno chiedo sempre le ultime tre misurazioni: in audit interno, se manca un registro delle misurazioni di qualità con data e responsabile, è quasi certamente una non conformità.»
Gli errori più comuni che incontro:
- Nessuna soglia numerica: Qualità dichiarata ma mai misurata sui dataset reali.
- Metriche non registrate: Mancano evidenze datate delle verifiche di accuratezza.
- Dati di test riusati: Il set di valutazione contamina l'addestramento del modello.
- Nessun blocco pipeline: Dataset sotto soglia usati comunque per l'addestramento.
- Responsabile non nominato: Nessun ruolo assegnato al controllo qualità dei dati.