Marcus Belke
CEO di 2B Advice GmbH, che guida l'innovazione nella privacy conformità e di gestione del rischio e di guidare lo sviluppo di Ailance, la nuova generazione di prodotti per la salute. conformità piattaforma.
Intelligenza artificiale si fa strada silenziosamente nel software come aggiornamento, come parte dei regolari aggiornamenti di versione. Per gli esperti di protezione dei dati e di conformità, ciò significa che sta accadendo qualcosa di fondamentale senza che i processi di approvazione stabiliti abbiano effetto. Sia nelle PMI che nelle grandi aziende si avverte quindi una sensazione di disagio: quali nuovi flussi di dati e quali rischi comporta questo aggiornamento dell'intelligenza artificiale? I processi di governance originari per il rilascio del software sono ancora validi? Queste domande rappresentano un punto cieco in molte organizzazioni, poiché l'IA entra spesso dalla porta di servizio. A cosa devono prestare attenzione le aziende con gli aggiornamenti dell'IA.
Punto cieco della governance: aggiornamento dell'AI senza approvazione
L'introduzione di un software comporta solitamente test approfonditi: valutazioni d'impatto sulla protezione dei dati, audit sulla sicurezza informatica, approvazioni da parte di comitati. Ma cosa succede quando un software in uso da anni riceve improvvisamente nuove funzioni di intelligenza artificiale tramite un aggiornamento? I controlli originari non coprono queste modifiche successive. Lo scopo originario e i flussi di dati possono cambiare senza che nessuno si renda conto che la versione originale non corrisponde più all'attuale gamma di funzioni. Questo crea un punto cieco di governance: il sistema funziona in modo produttivo ed è considerato „approvato“ internamente, mentre i nuovi componenti di intelligenza artificiale sono completamente fuori dalla vista dei responsabili.
Questo punto cieco è pericoloso. Una funzione di intelligenza artificiale mai approvata in origine cambia improvvisamente la natura dell'applicazione. I profili di rischio cambiano, ma poiché non c'è un nuovo progetto, non c'è alcuno stimolo per una nuova revisione. Ciò significa che i cambiamenti di scopo possono passare inosservati e con essi le potenziali violazioni delle norme di legge. Protezione dei dati o Conformità, che non sono mai stati valutati consapevolmente. Senza Trasparenza e l'aggiornamento del Documentazione L'intelligenza artificiale rimane letteralmente invisibile nei sistemi in funzione.
Cosa cambierà effettivamente con le nuove funzioni AI
Nuove funzioni di intelligenza artificiale in strumenti esistenti: spesso sembrano innocue. Potrebbe trattarsi di una modalità di assistenza, di analisi automatiche o di raccomandazioni intelligenti. Tuttavia, esse comportano in realtà cambiamenti molto specifici:
- Analisi automatizzate invece di processi manuali: Improvvisamente, il software interpreta i dati in modo indipendente. Un sistema CRM può, ad esempio, analizzare automaticamente il sentiment dei clienti o fare previsioni „intelligenti“ laddove prima venivano registrati solo i dati. Le decisioni sono quindi parzialmente automatizzate, con tutti i vantaggi e gli svantaggi del caso.
- I nuovi dati confluiscono nel Nuvola: Le funzioni di AI spesso funzionano solo con l'aiuto di modelli o potenza di calcolo esterni. Di conseguenza, i dati che prima rimanevano interni ora migrano verso l'esterno. Elaborazione su Server del fornitore o nel Nuvola. Un esempio attuale è l'applicazione Outlook di Microsoft, che dopo un aggiornamento invia tutte le e-mail ai server centrali di Microsoft per l'analisi dell'IA. I contenuti sensibili lasciano il controllo dell'utente inosservati per essere „incantati“ dall'IA. In molti sistemi, questi caricamenti nel cloud avvengono in background senza che gli utenti o gli amministratori se ne accorgano immediatamente. Gli effetti della scatola nera sono pre-programmati.
- Modifica delle finalità del trattamento dei dati: Le nuove funzioni di IA spesso utilizzano i dati esistenti per uno scopo diverso da quello originariamente previsto. Ad esempio, uno strumento utilizzato principalmente per archiviare documenti potrebbe ora utilizzare l'IA per effettuare analisi dei contenuti o valutazioni del sentiment. Questo cambia lo scopo del trattamento dei dati, il che è molto rilevante in termini di legge sulla protezione dei dati (parola chiave: cambiamento di scopo).
- Mancanza di Trasparenza per gli utenti: Queste funzioni sono spesso attive per impostazione predefinita o sono almeno offerte in modo evidente senza comunicare chiaramente dove confluiscono i dati o come funziona l'intelligenza artificiale. Gli utenti vedono il valore aggiunto („finalmente un riassunto di lunghe e-mail“), ma non sanno cosa succede ai loro dati in background. Le complesse impostazioni di opt-out rendono molti utenti poco consapevoli e le impostazioni predefinite favoriscono la massima condivisione dei dati.
Le nuove funzioni AI stanno cambiando le regole del gioco. Le applicazioni locali stanno diventando sistemi distribuiti e basati sul cloud. I dati che prima rimanevano all'interno dell'azienda stanno improvvisamente lasciando il castello della sicurezza. E gli strumenti statici stanno diventando sistemi di apprendimento che nascondono rischi completamente diversi rispetto al software originale.
Perché i processi di governance tradizionali falliscono con gli aggiornamenti dell'IA
Nelle aziende, i processi tradizionali di governance e conformità sono solitamente orientati ai progetti: entrano in gioco quando viene acquistato un nuovo software o quando un aggiornamento importante viene impostato come un progetto. Tuttavia, un aggiornamento non è formalmente un nuovo progetto. Viene fornito dal produttore come aggiornamento automatico o installato come patch di routine dal reparto IT. Non viene scritto alcun concetto per la versione 3.5.1 e non si riunisce alcun comitato direttivo per un nuovo pulsante di menu.
Di conseguenza, le modifiche all'intelligenza artificiale tramite gli aggiornamenti spesso passano inosservate. Il reparto acquisti non viene coinvolto, poiché non viene acquistato nulla di nuovo, e la governance IT, come i comitati consultivi per le modifiche, le considera come una patch tecnica priva di significato strategico. Protezione dei dati e Conformità spesso lo scoprono solo quando qualcosa va storto. I processi di approvazione esistenti non tengono conto dei cambiamenti incrementali.
Un altro aspetto è che anche se il reparto IT legge le note di aggiornamento, i tecnici non sempre riconoscono le implicazioni di conformità. Un changelog che annuncia „approfondimenti supportati dall'intelligenza artificiale” può suscitare la gioia dei tecnici dell'IT. Ma chi traduce tutto ciò in rischi per la protezione dei dati? Spesso non c'è una chiara ripartizione di chi deve dare l'allarme sulle nuove funzioni. Questo crea un divario tra la manutenzione tecnica e la governance organizzativa.
Inoltre, i fornitori di software si concentrano sempre più su modelli SaaS in cui gli aggiornamenti vengono installati continuamente. Spesso le aziende ricevono automaticamente nuove funzionalità, che le desiderino o meno. Se i processi di governance non sono abbastanza agili, rimangono indietro rispetto ai cambiamenti. Cicli di revisione obsoleti, come quello annuale, non riescono a cogliere questa dinamica. Ad esempio, il World Economic Forum ha recentemente dimostrato che i maggiori rischi operativi dell'IA non si presentano al momento della prima implementazione, ma in un momento successivo. Quando i sistemi cambiano o interagiscono con altri. I cicli di governance rigidi difficilmente riescono a cogliere questi cambiamenti.
Rischi legati alla protezione dei dati e alla governance dell'IA
Gli aggiornamenti dell'IA che passano inosservati comportano rischi tangibili in termini di protezione dei dati e della privacy. Conformità:
- Cambiamento di scopo e mancanza di base giuridica: Quando Dati personali improvvisamente essere utilizzato per un nuovo scopo di IA, si pone la questione della base giuridica. L'originale Consenso o l'accordo contrattuale potrebbero non coprire il nuovo utilizzo. Ad esempio, il servizio è stato acquistato per X, ma ora i dati vengono utilizzati anche per Y. Questo potrebbe essere un cambiamento di finalità, che non è consentito ai sensi dell'articolo 6, paragrafo 4, del Codice. Potrebbe trattarsi di un cambiamento di finalità, che non è consentito ai sensi dell'articolo 6, paragrafo 4. GDPR richiede una verifica. Senza una nuova legittimazione, il Elaborazione sul ghiaccio sottile.
- Decisioni automatizzate: Le nuove funzioni di IA possono penetrare nelle aree coperte dall'art. 22 GDPR (decisioni automatizzate). Un aggiornamento potrebbe, ad esempio, introdurre un punteggio automatico che influisce su alcune decisioni dell'utente (come la preselezione automatica dei candidati nel software HR). Tuttavia, tali influenze automatiche richiedono una particolare attenzione, Trasparenza e, se necessario, le opzioni di obiezione. Tutto questo poteva non essere un problema quando è stato introdotto inizialmente, ma lo è sicuramente ora.
- Flusso di dati in uscita ed elaborazione nel cloud: Le funzioni di intelligenza artificiale comportano il rischio di esportazione involontaria di dati. Questo può Dati personali a paesi terzi (parola chiave Nuvola negli Stati Uniti), che richiederebbe ulteriori GDPR (ad esempio, le valutazioni di impatto dei trasferimenti, Clausole contrattuali standard) è necessario. Se nessuno ne è a conoscenza, tali requisiti non sono ovviamente soddisfatti. I dati riservati (segreti commerciali, dati riservati dei clienti) potrebbero finire su server esterni: un incubo per i responsabili della protezione dei dati.
- Bias e analisi errate: Le funzioni di IA comportano nuovi rischi legati ai contenuti, come pregiudizi o risultati errati. Cosa succede se l'analisi automatizzata mostra tendenze discriminatorie o commette errori grossolani? Inizialmente il software poteva essere „solo uno strumento“, ma ora prende decisioni preliminari. La conseguenza: l'azienda ne è responsabile. Senza una rivalutazione dei rischi, si corre il rischio di violare inconsapevolmente i principi di parità di trattamento o gli obblighi di diligenza.
La regolamentazione dell'IA e le sue conseguenze
Il regolamento AI (EU AI Act) introduce nuovi obblighi. Esso classifica i sistemi di IA in base al rischio e richiede misure rigorose come la gestione del rischio per le IA ad alto rischio, Documentazione o la supervisione umana. La classificazione di un sistema come „ad alto rischio“ dipende dalla sua destinazione d'uso.
Uno strumento esistente potrebbe improvvisamente passare a una classe di rischio più elevata in seguito a un aggiornamento dell'IA. Un esempio potrebbe essere quello di uno strumento di gestione del personale che, in seguito a un aggiornamento dell'IA, preseleziona i CV utilizzando l'IA. Questo rientrerebbe nella categoria „uso dell'IA nelle decisioni relative al personale“. Ciò richiederebbe effettivamente misure di conformità ai sensi del regolamento sull'IA, ma nessuno se ne è ancora accorto.
Il regolamento sull'AI prevede anche sanzioni severe in caso di violazioni: fino a 35 milioni di euro o al sette per cento del fatturato globale.s per le violazioni. Queste cifre illustrano quanto possano essere critiche le funzioni dell'IA non testate.
Suggerimento di lettura: Come affrontare la normativa sull'IA con la governance dell'IA di Ailance
Shadow AI: responsabilità non chiare durante l'operazione
Perché questi aggiornamenti dell'IA passano del tutto inosservati? Un problema fondamentale è la mancanza di una chiara responsabilità durante le operazioni in corso. Una volta che il software è stato introdotto e rilasciato, spesso nessuno si sente esplicitamente responsabile delle rivalutazioni fondamentali.
Anche se in genere esiste un proprietario dell'applicazione o del processo per il sistema, la loro attenzione si concentra spesso sulle funzionalità e sui vantaggi nell'area specialistica e meno sui vantaggi per il sistema. Conformità. Il reparto IT mantiene il sistema in funzione dal punto di vista tecnico e ne cura gli aggiornamenti, ma non si considera un responsabile della protezione dei dati. I responsabili della protezione dei dati e i team di conformità, invece, di solito si concentrano sui nuovi progetti e sulle modifiche più importanti, poiché le loro risorse sono limitate. Non c'è quindi da stupirsi che nessuno abbia in mente un aggiornamento di funzionalità apparentemente di poco conto.
Il risultato è una sorta di vuoto di responsabilità: un assistente AI entra in funzione, ma chi avrebbe dovuto valutarlo? Il reparto specializzato? Il reparto IT? Il dipartimento di protezione dei dati? Tutti pensano inconsciamente che qualcun altro lo stia già controllando. Nessuno è formalmente incaricato di verificare i rischi delle modifiche dopo l'implementazione. Non esiste una catena di responsabilità per le operazioni. Mentre i nuovi acquisti hanno un chiaro Persone responsabili spesso non c'è un regolamento altrettanto chiaro su chi debba suonare l'allarme per la caratteristica X nella versione Y.
Questo è esattamente ciò che le autorità di vigilanza, come la BaFin, chiedono da tempo al settore finanziario: le responsabilità devono essere chiaramente assegnate e i rischi legati all'IA devono essere gestiti su base continuativa. Tuttavia, molte aziende non hanno ancora istituito ruoli interni come un „responsabile AI per sistema“. Senza un responsabile della governance, l'IA rimane rapidamente senza proprietario nelle operazioni e i rischi non vengono gestiti.
Necessario cambio di prospettiva: la governance deve includere gli aggiornamenti dell'IA
Alla luce di questi sviluppi, le aziende devono cambiare prospettiva per quanto riguarda la loro governance. Non è più sufficiente applicare la governance solo ai grandi progetti o alle acquisizioni. L'attenzione deve essere rivolta anche all'uso continuo e all'ulteriore sviluppo degli strumenti già introdotti.
Cosa significa in concreto? La „governance by design“ non deve terminare il giorno dell'avvio della produzione. Piuttosto, devono esistere meccanismi che controllino continuamente o almeno regolarmente se un sistema è ancora in funzione nella zona verde. Gli aggiornamenti, indipendentemente dal fatto che si tratti di piccole patch o di grandi salti di versione, devono attivare un processo definito. Ad esempio, si dovrebbe effettuare un rapido controllo per determinare se le nuove funzioni sono rilevanti per la protezione dei dati o la sicurezza. In caso affermativo, esse devono essere incorporate nei processi di conformità esistenti (ad esempio, addendum alla DPIA, aggiornamento della Documentazione, ecc.).
Le aziende devono gestire in modo proattivo il loro panorama di strumenti. Questo include tenere d'occhio le roadmap dei fornitori di software: Sono previste funzionalità di intelligenza artificiale nella roadmap dei prodotti? Ci sono programmi beta che dovrebbero essere valutati? In questo modo è possibile valutare tempestivamente quali cambiamenti sono imminenti. Idealmente, i team di governance dovrebbero mantenere un dialogo con i produttori e ottenere informazioni sulle funzioni di IA previste in una fase iniziale.
Anche internamente Consapevolezza La domanda è: i reparti e l'IT devono essere sensibilizzati a non considerare i cambiamenti dell'IA semplicemente come delle belle funzioni aggiuntive. Al contrario, dovrebbe essere chiaro: Ogni nuova funzione importante è un'opportunità per fermarsi un attimo e chiedersi: „Ci sono nuovi rischi o obblighi qui?“.“
Questo passaggio a una governance dinamica e continua richiede certamente nuovi processi o strumenti. Tuttavia, è necessario per tenere il passo con il rapido sviluppo della tecnologia. I metodi agili non esistono solo nello sviluppo del software, ma ne abbiamo bisogno anche nella governance dell'IA: abbandonando le verifiche selettive per passare al monitoraggio e all'adattamento continui. Questo è l'unico modo per mitigare i rischi maggiori.
Raccomandazioni specifiche per gli aggiornamenti dell'IA
Come si possono gestire in pratica i rischi sopra descritti? Concludiamo con alcune raccomandazioni concrete che ogni azienda - sia essa di medie o grandi dimensioni - dovrebbe attuare:
- Definire le responsabilità per ogni sistema: Nominate un proprietario per ogni sistema IT importante che non sia solo responsabile della tecnologia, ma anche esplicitamente degli aspetti di governance. Questa persona o comitato ha il compito di tenere sotto controllo le modifiche, avviare le valutazioni dei rischi e fungere da collegamento tra il reparto specializzato, l'IT e l'organizzazione. Conformità di servire. La chiarezza dei ruoli impedisce un vuoto di responsabilità.
- Introdurre un processo di monitoraggio degli aggiornamenti: Stabilite un processo che verifichi regolarmente la presenza di aggiornamenti, ad esempio un controllo trimestrale delle note di rilascio dei software più importanti o un abbonamento alle novità del produttore. È fondamentale valutare brevemente ogni aggiornamento imminente in base a „rilevante per la protezione dei dati/governance - sì/no?“. Parole chiave sospette come AI, intelligenza artificiale, apprendimento automatico, servizi cloud, analisi, ecc. dovrebbero far scattare automaticamente una notifica al team di governance.
- Definire i criteri per una rivalutazione: Definire a livello aziendale quando un aggiornamento richiede una nuova valutazione. Ad esempio: „Elabora nuovamente l'aggiornamento Dati personali? Ci sono trasferimenti di dati a nuovi destinatari? C'è un nuovo scopo per il Elaborazione? Si stanno introducendo decisioni automatizzate?“. Non appena uno di questi criteri viene soddisfatto, il responsabile della protezione dei dati deve essere informato e, se necessario, deve essere inviata una richiesta di informazioni. Valutazione dell'impatto sulla protezione dei dati essere aggiornato. Questo catalogo di criteri deve essere noto e facile da applicare.
- Alimentare le nuove funzioni nei processi di protezione, sicurezza e governance dei dati: Assicurarsi che nessuna funzione venga attivata senza essere stata prima sottoposta a un controllo di conformità. In pratica, ciò potrebbe significare, ad esempio, che l'IT notifichi al reparto di protezione dei dati l'attivazione di nuove funzioni o moduli prima che vengano attivati. Oppure il reparto specializzato può utilizzare una nuova funzione di intelligenza artificiale solo dopo che i team di conformità hanno dato il loro ok. Questo può essere implementato nei processi o tecnicamente (ad esempio disattivando le impostazioni predefinite). È importante che la protezione dei dati e la sicurezza siano automaticamente al tavolo quando vengono introdotte nuove funzionalità.
Automatizzare il processo di aggiornamento dell'AI con Ailance AI Governance
Considerate l'utilizzo di una piattaforma di governance come „Ailance AI Governance“ per gestire efficacemente tutte le misure di cui sopra. Tali strumenti offrono, ad esempio, mappe dei modelli, flussi di lavoro automatizzati per le valutazioni e le approvazioni dei rischi e l'integrazione nei processi di protezione dei dati esistenti.
Suggerimento di lettura: Perché le mappe del modello sono così importanti per la documentazione
Ailance AI Governance consente di registrare qualsiasi elaborazione AI, Persone responsabili e attivare automaticamente i controlli sulla protezione dei dati non appena Dati personali sono in gioco. I flussi di lavoro impongono che non venga data alcuna approvazione senza informazioni complete, mentre i promemoria assicurano che vengano effettuati regolarmente dei re-audit. Una piattaforma di questo tipo può Trasparenza ed eliminare il punto cieco rendendo visibili e controllabili a livello centrale aggiornamenti, rischi e prove.
Assicurarsi che l'IA sia utile senza perdere il controllo. In fin dei conti, l'IA dovrebbe creare valore nell'azienda e non rappresentare un rischio incontrollato.
Marcus Belke è CEO di 2B Advice e avvocato ed esperto di informatica per la protezione dei dati e la digitalizzazione. Conformità. Scrive regolarmente di governance dell'IA, conformità al GDPR e gestione del rischio. Potete trovare maggiori informazioni su di lui sul sito Pagina del profilo dell'autore.
German 
English 
Italian 
French