Monitoraggio e misurazione: guida pratica ISO 42001 con esempi
Il punto 9.1 chiede di decidere cosa monitorare e misurare nel sistema di gestione per l'IA, con quali metodi e quando analizzare i risultati. Qui lo traduciamo in indicatori, soglie ed evidenze pronte per l'audit.
Cosa prevede il punto 9.1
Questa guida pratica alla ISO 42001 spiega con esempi cosa richiede il punto 9.1: stabilire cosa monitorare e misurare nel sistema di gestione per l'intelligenza artificiale, scegliere metodi validi e definire quando analizzare e valutare i risultati. Niente misurazioni generiche: servono dati pertinenti agli obiettivi dell'AIMS e ai rischi dei sistemi in scope.
Vedremo come Azienda Italiana S.p.A. ha costruito il proprio piano di monitoraggio e misurazione per i due sistemi in scope: il chatbot di assistenza clienti e il modulo di screening dei CV. Per ciascuno sono stati definiti indicatori tecnici (accuratezza, deriva, tasso di intervento umano) e indicatori di processo (formazione del personale, trattamento degli incidenti, rispetto delle revisioni pianificate), ognuno con soglia, fonte dati e proprietario.
Il cuore del punto è la tracciabilità: ogni risultato del monitoraggio e misurazione deve restare disponibile come informazione documentata, con metodo, periodicità e responsabile dichiarati, perché un dato non conservato per l'auditor semplicemente non esiste. Chiudiamo con gli errori tipici, le domande d'audit e un estratto del registro indicatori usato davvero in azienda, pensato come modello riutilizzabile.
In sintesi, la norma vuole vedere:
- Cosa si monitora e perché è pertinente
- Metodi di misurazione validi e ripetibili
- Quando si analizzano e valutano i dati
- Risultati conservati come evidenza
- Indicatori collegati agli obiettivi AIMS
Esempio di controllo tecnico per il punto 9.1
Un primo esempio concreto: per il chatbot di assistenza clienti, Azienda Italiana S.p.A. misura ogni mese l'accuratezza su un campione di 200 conversazioni reali, anonimizzate e valutate da due revisori indipendenti. Il risultato alimenta un cruscotto con soglia di allarme all'88%: sotto soglia scatta l'analisi delle cause e, se confermata la deriva, la rivalutazione del rischio. Metodo, campionamento e soglia sono scritti nel registro indicatori, non decisi di volta in volta.
Controllo tecnico collegato: per lo screening CV viene tracciato il tasso di discordanza tra ranking del modello e decisione finale del selezionatore, segmentato per fascia d'età e genere dichiarato. Uno scostamento oltre il 12% in un sottogruppo attiva una verifica di bias con dataset di test dedicato. I dati escono in un report trimestrale firmato dal responsabile AIMS e archiviati come evidenza del monitoraggio e misurazione richiesti dal punto 9.1.
Quadro indicatori dell’AIMS
| Indicatore | Metodo | Frequenza |
|---|---|---|
| Accuratezza chatbot | Campione 200 conversazioni, doppia revisione | Mensile |
| Deriva del modello | Confronto distribuzioni input vs baseline | Mensile |
| Discordanza screening CV | Ranking modello vs scelta selezionatore | Trimestrale |
| Incidenti IA gestiti | Registro incidenti, tempo medio di chiusura | Trimestrale |
| Copertura formazione | % ruoli a contatto con IA formati | Semestrale |
Ogni indicatore ha soglia di allarme, proprietario e flusso di escalation verso il riesame di direzione. Un indicatore senza soglia è rumore, non misurazione: la soglia è ciò che trasforma il dato in una decisione.
Cosa scriverebbe "Azienda Italiana S.p.A." sul punto 9.1
Estratto del registro indicatori adottato da Azienda Italiana S.p.A. per presidiare il monitoraggio e misurazione dell'AIMS: il documento che in audit funziona come evidenza principale del punto 9.1, con metodo, ruoli e checklist operativa.
Registro indicatori di prestazione AIMS
Metodo
Indicatori definiti per ogni sistema IA in scope; fonte dati, formula, soglia e frequenza fissate a registro; raccolta automatica dove possibile, manuale tracciata altrove; analisi trimestrale con verbale firmato.
Estratto
| ID | Indicatore | Soglia | Esito T1-2026 |
|---|---|---|---|
| KPI-01 | Accuratezza chatbot | ≥ 88% | 93,1% — conforme |
| KPI-02 | Deriva input chatbot | PSI < 0,2 | 0,14 — conforme |
| KPI-03 | Discordanza screening CV | ≤ 12% | 9,8% — conforme |
| KPI-04 | Chiusura incidenti ≤ 10 gg | 100% | 86% — azione aperta |
| KPI-05 | Copertura formazione IA | ≥ 95% | 97% — conforme |
Ruoli e responsabilità
| Ruolo | Responsabilità |
|---|---|
| Responsabile AIMS | Tiene il registro, propone soglie, convoca l’analisi |
| Data Science Lead | Produce dati tecnici, valida formule e campioni |
| HR Manager | Fornisce dati screening CV e formazione |
| Direzione Generale | Approva soglie e riceve l’esito in riesame |
Checklist operativa
| Passo | Frequenza |
|---|---|
| Raccolta dati e controllo qualità fonte | Mensile |
| Calcolo indicatori e confronto soglie | Mensile |
| Analisi scostamenti con verbale firmato | Trimestrale |
| Aggiornamento registro e riesame direzione | Annuale |
Esito
T1-2026: 4 indicatori su 5 conformi. Su KPI-04 aperta azione correttiva con responsabile, scadenza 30 giorni e verifica di efficacia; verbale archiviato in REP-AI-07 come evidenza.
Le domande dell'audit interno sul punto 9.1
Domande di audit interno su questo punto, con risposte coerenti ed evidenze.
I consigli del Dott. Valerio Bellini sul punto 9.1
Dott. Valerio Bellini
«Pochi indicatori, ma con soglia e proprietario: in audit contano le decisioni prese sui dati, non la quantità di grafici. Collega ogni KPI a un obiettivo AIMS e la pertinenza si difende da sola.»
«L'auditor chiede il metodo dietro il numero: formula, campione, frequenza e un ciclo di analisi con verbale. Consiglio di guida pratica: porta un caso di soglia superata con l'azione correttiva seguita.»
Gli errori più comuni che incontro:
- Indicatori senza soglia: Numeri raccolti ma nessun criterio di allarme definito.
- Metodo non documentato: Formule e campioni decisi di volta in volta a voce.
- Mai una vera analisi: Dati misurati ma mai valutati con verbale.
- Nessuna evidenza conservata: Risultati persi in dashboard non archiviate.
- KPI scollegati dagli obiettivi: Metriche generiche senza legame con l'AIMS.