Funzionamento e monitoraggio: guida pratica ISO 42001 con esempi
Come attuare il controllo A.6.2.6: parametri operativi, log, KPI e soglie di allerta per tenere il sistema di IA sotto controllo in esercizio, con esempi concreti e documenti pronti da adattare.
Cosa prevede il punto A.6.2.6
Questa guida pratica alla ISO 42001 spiega con esempi il controllo A.6.2.6 — Funzionamento e monitoraggio del sistema di IA: una volta in esercizio, il sistema deve operare secondo le specifiche approvate ed essere osservato in modo continuo, registrando prestazioni, comportamenti e scostamenti rispetto agli obiettivi definiti.
Il controllo si applica a ogni organizzazione che opera sistemi di IA in produzione, dal chatbot di assistenza clienti allo screening automatico dei CV. Coinvolge AI System Owner, team operativi e funzione IT, chiamati a garantire log completi, indicatori misurati e verifiche periodiche documentate lungo tutto il ciclo di vita operativo del sistema.
Funzionamento e monitoraggio ricevono i parametri dal deployment (A.6.2.5) e alimentano la documentazione tecnica (A.6.2.7), la gestione degli incidenti e il riesame dei rischi dell'AIMS. In questa guida pratica vediamo come Azienda Italiana S.p.A. attua il controllo con procedure, KPI e evidenze pronte per l'audit.
In sintesi, la norma vuole vedere:
- KPI e soglie di allerta approvati e misurati
- Log di funzionamento completi e protetti
- Report periodici con scostamenti e azioni
- Alert gestiti e chiusi entro tempi definiti
- Verbali di riesame operativo firmati
Esempio di controllo tecnico per il punto A.6.2.6
In pratica, il controllo chiede di stabilire come il sistema di IA deve funzionare in esercizio e come sorvegliarne il comportamento nel tempo. Azienda Italiana S.p.A., per il chatbot di assistenza clienti, ha definito parametri operativi misurabili — disponibilità del servizio, accuratezza delle risposte, tasso di escalation verso l'operatore umano — e li osserva su un cruscotto aggiornato ogni giorno, con log protetti, conservati e consultabili in caso di verifica.
Controllo tecnico collegato: per lo screening dei CV con IA, l'azienda ha impostato soglie di allerta automatiche: se la distribuzione dei punteggi mostra derive o squilibri rispetto ai dati di riferimento, il sistema genera un alert, l'evento viene registrato e l'AI System Owner avvia l'analisi entro 48 ore. In questa guida pratica trovi struttura, esempi e documenti di supporto pronti da adattare.
Cosa presidiano funzionamento e monitoraggio
| Aspetto | Evidenza attesa dall'auditor |
|---|---|
| Parametri operativi | KPI e soglie approvati nel piano di monitoraggio MON-AI-06 |
| Registrazione eventi | Log di funzionamento completi, integri, protetti e conservati |
| Analisi prestazioni | Report periodici con scostamenti, cause e azioni correttive |
| Gestione anomalie | Alert generati, presi in carico e chiusi entro tempi definiti |
| Riesame operativo | Verbali di verifica periodica con esiti tracciati e firmati |
| Miglioramento | Esiti che alimentano riesame della Direzione e SGAI |
Nota: il monitoraggio non è solo tecnico — comprende impatti su utenti, conformità e obiettivi del sistema di gestione.
Cosa scriverebbe "Azienda Italiana S.p.A." sul punto A.6.2.6
Estratto della procedura operativa con cui Azienda Italiana S.p.A. governa funzionamento e monitoraggio dei sistemi di IA in produzione. Un esempio concreto di evidenza attesa in audit interno.
Procedura di funzionamento e monitoraggio del sistema di IA
Metodo
Parametri e soglie definiti in deployment; raccolta automatica dei log; cruscotto KPI aggiornato quotidianamente; analisi mensile degli scostamenti; alert automatico al superamento delle soglie con presa in carico entro 48 ore.
Estratto
| Ambito | Parametro | Soglia | Frequenza |
|---|---|---|---|
| Chatbot clienti | Accuratezza delle risposte | ≥ 92% | Giornaliera |
| Chatbot clienti | Escalation a operatore umano | ≤ 15% | Settimanale |
| Screening CV | Drift dei punteggi del modello | Δ ≤ 0,05 | Settimanale |
| Screening CV | Indice di parità di trattamento | ≥ 0,80 | Mensile |
| Entrambi i sistemi | Disponibilità del servizio | ≥ 99,5% | Continua |
Ruoli e responsabilità
| Ruolo | Responsabilità |
|---|---|
| AI System Owner | Definisce KPI e soglie, analizza scostamenti, approva le azioni |
| Team operativo | Esegue i controlli quotidiani e registra eventi e anomalie |
| IT Operations | Garantisce raccolta log, cruscotto KPI e integrità dei dati |
| AIMS Manager | Riesamina i report e collega gli esiti al sistema di gestione |
Checklist operativa
| Verifica | Esito |
|---|---|
| Log completi e integri per l'intero periodo in esame | Sì / No |
| KPI aggiornati e confrontati con le soglie approvate | Sì / No |
| Alert gestiti, analizzati e chiusi entro i tempi previsti | Sì / No |
| Report mensile approvato, firmato e archiviato | Sì / No |
Esito
Sistema in esercizio sotto controllo: prestazioni entro le soglie, anomalie gestite e tracciate, evidenze pronte per riesame della Direzione e audit.
Le domande dell'audit interno sul punto A.6.2.6
Domande di audit interno su questo punto, con risposte coerenti ed evidenze.
I consigli del Dott. Valerio Bellini sul punto A.6.2.6
Dott. Valerio Bellini
«Consiglio strategico: il monitoraggio è la prova che l'AIMS vive davvero. Meglio pochi KPI chiari, misurati sempre, che una montagna di log che nessuno legge mai.»
«In audit interno, se manca evidenza di misurazioni periodiche, è quasi certamente una non conformità. Chiedo log, report mensili e la gestione documentata di almeno un alert reale.»
Gli errori più comuni che incontro:
- Log assenti o incompleti: Mancano le registrazioni di funzionamento richieste.
- KPI definiti ma mai misurati: Indicatori scritti su carta, mai raccolti o analizzati.
- Soglie senza azioni di risposta: Allarmi scattati senza alcuna risposta documentata.
- Monitoraggio non pianificato: Controlli a campione, senza cadenza né piano definito.
- Responsabilità non assegnate: Nessun ruolo nominato per il monitoraggio operativo.