Requisiti per i sistemi di IA ad alto rischio (AI ACT) 

Indice dei contenuti

• Requisiti per i sistemi di IA ad alto rischio: un quadro chiaro 
• Conservazione delle registrazioni: tracciabilità e accountability 
• Supervisione umana: il ruolo dell’essere umano 
• Accuratezza, robustezza e cibersicurezza 

Negli articoli precedenti abbiamo scritto di cosa sono i sistemi ad alto rischio per l’AI ACT. Con questo articolo andiamo a definire in particolare cosa prevede la sezione 2 dell’AI ACT Regolamento (UE) 2024/1689. 

Requisiti per i sistemi di IA ad alto rischio: un quadro chiaro 

I sistemi di intelligenza artificiale ad alto rischio rappresentano una sfida cruciale per lo sviluppo tecnologico. La necessità di garantire che tali sistemi operino in modo sicuro ed etico è al centro del regolamento UE 2024/1689, che definisce i requisiti essenziali per la loro gestione. Questi requisiti includono la conformità ai requisiti AI, la gestione dei rischi e la trasparenza verso gli utenti e i deployer. 

Un sistema di gestione dei rischi AI completo e iterativo 

Il cuore della regolamentazione è il sistema di gestione dei rischi AI, che deve essere un processo continuo e iterativo. Tale approccio consente di identificare, analizzare e mitigare i rischi noti o prevedibili, valutando l’impatto sui diritti fondamentali e sulla sicurezza. Questo sistema non si limita alla progettazione iniziale, ma richiede aggiornamenti costanti per rispondere a nuovi scenari. 

L’obiettivo principale è ridurre il rischio inaccettabile associato all’utilizzo di tali sistemi. Ogni misura adottata deve tenere conto del punto di vista tecnico, senza trascurare le implicazioni umane. 

Dati e governance dei dati: una base solida 

I dati sono il cuore pulsante di ogni sistema di intelligenza artificiale, specialmente quando si tratta di sistemi di IA ad alto rischio.

La qualità e la gestione dei dati non solo determinano le prestazioni del sistema, ma hanno un impatto diretto sui processi decisionali, sulla sicurezza e sull’impatto sui diritti fondamentali. Per questo motivo, il regolamento UE 2024/1689 dedica particolare attenzione alla governance dei dati, stabilendo standard rigorosi per garantire che i dati utilizzati siano accurati, rappresentativi e adeguatamente gestiti. 

La qualità dei dati come fondamento della sicurezza 

Per i sistemi di IA ad alto rischio, i dati utilizzati per l’addestramento, la validazione e il test devono soddisfare standard di qualità elevati. È essenziale che i dati siano: 

• Rappresentativi
  Devono riflettere adeguatamente il contesto e le popolazioni per cui il sistema è progettato, evitando distorsioni che possano influenzare negativamente le prestazioni o generare discriminazioni. 

• Completi e accurati
  Errori o lacune nei dati possono portare a processi decisionali errati, con potenziali rischi per la salute, la sicurezza e i diritti degli individui. 

• Esenti da distorsioni
  Le distorsioni nei dati possono causare problemi significativi, come l’accentuazione di bias preesistenti, che possono influenzare le prestazioni e il comportamento del sistema. 

La qualità dei dati non è solo una questione tecnica, ma un elemento cruciale per ridurre il rischio inaccettabile associato ai sistemi di IA. 

La governance dei dati: strutture e processi 

Un’efficace governance dei dati è fondamentale per garantire che i dati siano gestiti in modo sicuro, etico e conforme alle normative. Secondo il regolamento UE, le pratiche di governance devono includere: 

• Tracciabilità
  I dati devono essere documentati in ogni fase, dalla raccolta all’elaborazione, per garantire trasparenza e controllo. 

• Preparazione accurata
  Operazioni come annotazione, etichettatura, pulizia e aggiornamento devono essere eseguite con attenzione per evitare errori o distorsioni. 

• Identificazione di lacune
  Eventuali carenze nei dati devono essere rilevate e colmate attraverso interventi mirati, al fine di garantire che il sistema funzioni secondo le aspettative. 

• Protezione dei dati sensibili
  In alcuni casi, può essere necessario utilizzare categorie particolari di dati personali, come stabilito dal regolamento GDPR. In tali situazioni, devono essere adottate misure rigorose per garantire la sicurezza e la riservatezza. 

Un approccio proattivo ai rischi legati ai dati 

La governance dei dati non si limita a prevenire problemi, mira anche a identificare e mitigare i rischi legati all’uso dei dati stessi.

Esempio
Il regolamento richiede una valutazione delle possibili distorsioni nei dati che potrebbero avere un impatto negativo su individui o gruppi specifici. Inoltre, le misure di mitigazione devono essere progettate per garantire che i rischi siano ridotti al minimo. 

Un altro aspetto importante è la gestione delle lacune nei dati. Quando i dati disponibili non sono sufficienti o adeguati, il regolamento richiede un’analisi accurata per identificare i problemi e definire strategie per colmarli. 

Garantire l’affidabilità dei sistemi attraverso i dati 

La gestione dei dati e la loro qualità influenzano direttamente le prestazioni dei sistemi di IA ad alto rischio. Un sistema basato su dati ben governati può fornire risultati più accurati, riducendo al minimo i rischi per la sicurezza e per i diritti fondamentali.

Questo è particolarmente importante quando tali sistemi sono utilizzati in contesti critici, come la sanità, i trasporti o la giustizia. 

Trasparenza e documentazione tecnica 

La trasparenza nel trattamento dei dati è supportata dalla documentazione tecnica, che deve essere accurata e sempre aggiornata.

Questa documentazione non solo dimostra la conformità ai requisiti normativi, ma fornisce anche agli operatori e alle autorità competenti le informazioni necessarie per valutare il sistema. Elementi chiave della documentazione includono: 

• Fonti dei dati
  Informazioni sulla loro origine e sulla finalità per cui sono stati raccolti. 

• Metodi di trattamento
  Dettagli su come i dati sono stati elaborati, annotati e validati. 

• Misure di controllo
  Descrizioni delle strategie adottate per ridurre rischi e distorsioni. 

Conservazione delle registrazioni e trasparenza 

Un aspetto fondamentale nella regolamentazione dei sistemi di IA ad alto rischio riguarda la conservazione delle registrazioni, nota anche come logging. Questa pratica non è solo un requisito tecnico, ma un pilastro della gestione del rischio e della trasparenza, essenziali per garantire la responsabilità e il controllo durante l’intero ciclo di vita del sistema. 

Conservazione delle registrazioni: tracciabilità e accountability 

I sistemi di IA devono essere progettati in modo tale da consentire la registrazione automatica di eventi rilevanti. Queste registrazioni, conosciute come log, devono essere mantenute per tutta la durata del sistema e includere informazioni fondamentali, come: 

• Dati di utilizzo
  Orari di avvio e arresto del sistema. 

• Interazioni chiave
  Input ricevuti e output prodotti. 

• Modifiche rilevanti
  Eventuali aggiornamenti o cambiamenti significativi nel funzionamento del sistema. 

La presenza di log ben strutturati aiuta a individuare anomalie o problemi operativi, come situazioni di rischio inaccettabile, e a risalire a eventuali errori per correggerli. Inoltre, queste registrazioni supportano il monitoraggio successivo all’immissione sul mercato, un elemento cruciale per valutare l’impatto a lungo termine del sistema e apportare miglioramenti. 

Perché la trasparenza è importante 

La trasparenza e fornitura di informazioni ai deployer è un altro principio cardine per i sistemi di IA ad alto rischio. I fornitori e i deployer devono essere in grado di comprendere a fondo il funzionamento del sistema, i suoi limiti e le condizioni in cui potrebbe non operare correttamente. Ciò è possibile solo se il sistema è accompagnato da: 

• Istruzioni dettagliate e accessibili
  Devono essere redatte in un linguaggio chiaro e comprensibile, specificando finalità, capacità e limiti del sistema. 

• Informazioni sulle prestazioni
  Inclusi i livelli di accuratezza, robustezza e cibersicurezza, con metriche specifiche che dimostrino l’affidabilità del sistema. 

• Guida per i deployer
  Indicazioni su come interpretare i risultati prodotti dal sistema, così da poterli utilizzare in modo appropriato nei processi decisionali. 

Chi è il deployer? L’art. 3 dell’AI ACT definisce deployer “una persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema di IA sia utilizzato nel corso di un’attività personale non professionale;” 

Supervisione umana: il ruolo dell’essere umano 

La sorveglianza umana è essenziale per garantire che i sistemi possano essere utilizzati in modo sicuro. Le persone devono essere in grado di interpretare correttamente i risultati generati dall’IA e, se necessario, intervenire per annullare decisioni o arrestare il sistema.

Questa supervisione mira a prevenire errori critici e a proteggere la sicurezza e i diritti degli individui. 

Accuratezza, robustezza e cibersicurezza 

Infine, i sistemi di IA ad alto rischio devono garantire accuratezza, robustezza e cibersicurezza. Ciò significa progettare soluzioni resilienti contro errori, guasti e attacchi esterni, come la manipolazione dei dati di addestramento o l’introduzione di input malevoli.

Solo così è possibile ridurre i rischi operativi e garantire un funzionamento coerente nel tempo. 

Conclusione 

Il rispetto dei requisiti per i sistemi di IA ad alto rischio non è solo un obbligo normativo, ma un passo fondamentale per garantire che la tecnologia possa essere utilizzata in modo sicuro ed etico.

La combinazione di gestione dei rischi, trasparenza e supervisione umana assicura che tali sistemi abbiano un impatto positivo sulla società, riducendo al minimo i rischi per i diritti fondamentali. 

Domande e risposte 

1. Cosa sono i sistemi di IA ad alto rischio?
   Sono sistemi di IA che possono influire su diritti fondamentali o sicurezza. 

2. Quali sono i principali requisiti per tali sistemi?
   Conformità, gestione dei rischi, governance dei dati e trasparenza. 

3. Cos’è un sistema di gestione dei rischi AI?
   È un processo iterativo per identificare e mitigare i rischi associati. 

4. Qual è il ruolo della documentazione tecnica?
   Dimostrare la conformità ai requisiti e supportare le verifiche. 

5. Perché è importante la trasparenza verso i deployer?
   Per consentire un uso consapevole e sicuro dei sistemi di IA. 

6. Cosa significa conservazione delle registrazioni?
   Garantire tracciabilità e monitoraggio continuo del sistema. 

7. Che ruolo ha la supervisione umana?
   Prevenire rischi e intervenire in caso di malfunzionamenti. 

8. Cosa si intende per accuratezza e robustezza?
   Capacità del sistema di operare in modo coerente e sicuro. 

9. Qual è l’impatto dei dati sull’IA?
   I dati influenzano direttamente la qualità e l’affidabilità del sistema. 

10. Come si prevengono attacchi alla cibersicurezza?
    Con misure tecniche come il controllo dei dati e la protezione da input malevoli.