Marcus Belke
CEO di 2B Advice GmbH, che guida l'innovazione nella privacy conformità e di gestione del rischio e di guidare lo sviluppo di Ailance, la nuova generazione di prodotti per la salute. conformità piattaforma.
Intelligenza artificiale viene introdotto silenziosamente nel software come aggiornamento, nell’ambito dei regolari aggiornamenti di versione. Per quanto riguarda la protezione dei dati e ConformitàPer gli esperti ciò significa che sta accadendo qualcosa di fondamentale senza che entrino in gioco i processi di approvazione consolidati. Sia nelle medie imprese che nei grandi gruppi regna quindi un senso di inquietudine: quali nuovi flussi di dati e quali rischi comporta questo aggiornamento dell’IA? I processi di governance originari per l’approvazione del software sono ancora validi? Queste domande evidenziano un punto cieco in molte organizzazioni, poiché l’IA spesso entra dalla porta di servizio. A cosa dovrebbero prestare attenzione le aziende in caso di aggiornamenti dell’IA.
Punto cieco della governance: aggiornamento dell'AI senza approvazione
Quando si introduce un software, di norma si devono superare controlli approfonditi: valutazioni d’impatto sulla protezione dei dati, audit sulla sicurezza informatica, approvazioni da parte di organi competenti. Ma cosa succede se il software utilizzato da anni acquisisce improvvisamente nuove funzionalità di intelligenza artificiale tramite un aggiornamento? Le verifiche iniziali non tengono conto di queste modifiche successive. Lo scopo originario e i flussi di dati possono cambiare senza che nessuno si accorga che l’approvazione concessa all’epoca non è più in linea con l’attuale gamma di funzionalità. Si crea così un punto cieco nella governance: il sistema è in produzione, è considerato internamente „approvato“, mentre i nuovi componenti di IA rimangono completamente al di fuori del campo visivo dei responsabili.
Questo punto cieco è pericoloso. Una funzione di intelligenza artificiale mai approvata in origine cambia improvvisamente la natura dell'applicazione. I profili di rischio cambiano, ma poiché non c'è un nuovo progetto, non c'è alcuno stimolo per una nuova revisione. Ciò significa che i cambiamenti di scopo possono passare inosservati e con essi le potenziali violazioni delle norme di legge. Protezione dei dati o Conformità, che non sono mai stati valutati consapevolmente. Senza Trasparenza e l'aggiornamento del Documentazione l'IA rimane letteralmente invisibile nei sistemi attualmente in funzione.
Cosa cambia concretamente grazie alle nuove funzionalità dell'IA
Nuove funzionalità di intelligenza artificiale negli strumenti esistenti: spesso sembra una cosa innocua. Può trattarsi, ad esempio, di una modalità di assistenza, di analisi automatiche o di consigli intelligenti. In realtà, però, comportano cambiamenti ben concreti:
- Analisi automatizzate invece di processi manuali: Improvvisamente, il software inizia a interpretare i dati in modo autonomo. Un sistema CRM potrebbe, ad esempio, analizzare automaticamente il sentiment dei clienti o formulare previsioni „intelligenti“, laddove in passato si limitava a raccogliere dati. Le decisioni diventano così parzialmente automatizzate, con tutti i vantaggi e gli svantaggi che ne derivano.
- I nuovi dati confluiscono nel Nuvola: Le funzioni di intelligenza artificiale spesso funzionano solo con l'aiuto di modelli o potenza di calcolo esterni. Il risultato è che i dati che prima rimanevano interni ora migrano all'interno dell'azienda. Elaborazione su Server del fornitore o nel Nuvola. Un esempio recente è rappresentato dall'app Outlook di Microsoft, che dopo un aggiornamento invia tutte le e-mail a un server centrale di Microsoft per l'analisi tramite IAServer invia. I contenuti sensibili sfuggono al proprio controllo senza che ce ne si accorga, per poi essere „incantati“ dall’IA. In molti sistemi si verificano casi del genere Nuvola-Caricamenti in background, senza che gli utenti o gli amministratori se ne accorgano immediatamente. Gli effetti “scatola nera” sono inevitabili.
- Modifica delle finalità del trattamento dei dati: Le nuove funzionalità di IA spesso utilizzano i dati esistenti per uno scopo diverso da quello originariamente previsto. Ad esempio, uno strumento che serviva principalmente per l’archiviazione dei documenti potrebbe ora, grazie all’IA, effettuare anche analisi dei contenuti o valutazioni del sentiment. Ciò modifica la finalità del trattamento dei dati, il che è di grande rilevanza ai fini della protezione dei dati (parola chiave: cambiamento di finalità).
- Mancanza di Trasparenza per gli utenti: Spesso queste funzionalità sono attive di default o vengono almeno proposte in modo ben visibile, senza che venga comunicato chiaramente dove finiscano i dati o come funzioni l’IA. Gli utenti ne vedono il valore aggiunto („finalmente dei riassunti delle lunghe e-mail“), ma non hanno quasi alcuna visione di ciò che accade ai loro dati dietro le quinte. Le complesse impostazioni di opt-out, ad esempio, mettono in difficoltà molti utenti, mentre le impostazioni predefinite favoriscono la massima condivisione dei dati.
Le nuove funzionalità di intelligenza artificiale cambiano le regole del gioco. Le applicazioni locali si trasformano in sistemi distribuiti basati sul cloud. I dati, che finora rimanevano all’interno dell’azienda, escono improvvisamente dalla loro fortezza sicura. E gli strumenti statici si trasformano in sistemi in grado di apprendere, che comportano rischi completamente diversi rispetto al software originario.
Perché i processi di governance tradizionali falliscono con gli aggiornamenti dell'IA
Nelle aziende, la governance classica e Conformità-I processi sono per lo più orientati al progetto: vengono avviati quando si acquista un nuovo software o quando viene avviato un aggiornamento di ampia portata come progetto. Tuttavia, da un punto di vista formale, un aggiornamento non costituisce un nuovo progetto. Viene fornito tramite aggiornamento automatico dal produttore oppure installato come patch di routine dal reparto IT. Per la versione 3.5.1 non viene redatto alcun piano e non si riunisce alcun comitato direttivo per un nuovo pulsante del menu.
Di conseguenza, le modifiche all'intelligenza artificiale tramite gli aggiornamenti spesso passano inosservate. Il reparto acquisti non viene coinvolto, poiché non viene acquistato nulla di nuovo, e la governance IT, come i comitati consultivi per le modifiche, le considera come una patch tecnica priva di significato strategico. Protezione dei dati e Conformità spesso lo scoprono solo quando qualcosa va storto. I processi di approvazione esistenti non tengono conto dei cambiamenti incrementali.
Un altro aspetto da considerare è che, anche se il reparto IT legge le note di aggiornamento, i tecnici non sempre Conformità-Riconoscere le implicazioni. Un changelog in cui vengono annunciate „informazioni basate sull’IA” potrebbe suscitare entusiasmo tecnico nel settore IT. Ma chi traduce tutto ciò in rischi per la protezione dei dati? Spesso manca una chiara attribuzione delle responsabilità su chi dovrebbe dare l’allarme in caso di nuove funzionalità. Si crea così un divario tra la manutenzione tecnica e la governance organizzativa.
A ciò si aggiunge il fatto che i fornitori di software puntano sempre più sui modelli SaaS, in cui gli aggiornamenti vengono installati continuamente. Spesso alle aziende vengono fornite nuove funzionalità in modo automatico, che lo vogliano o meno. Se i processi di governance non sono sufficientemente agili, finiscono per rimanere indietro rispetto ai cambiamenti. Frequenze di verifica obsolete, come una revisione annuale, non riescono a cogliere questa dinamica. Come ha recentemente dimostrato il Forum economico mondiale, i maggiori rischi operativi legati all’IA non sorgono al momento della prima messa in funzione, ma in un momento successivo, quando i sistemi cambiano o interagiscono con altri. I cicli di governance rigidi riescono a malapena a cogliere questi cambiamenti.
Rischi legati alla protezione dei dati e alla governance dell'IA
Gli aggiornamenti dell'IA che passano inosservati comportano rischi tangibili in termini di protezione dei dati e della privacy. Conformità:
- Modifica della finalità e mancanza di base giuridica: Quando Dati personali improvvisamente essere utilizzato per un nuovo scopo di IA, si pone la questione della base giuridica. L'originale Consenso o l'accordo contrattuale potrebbero non coprire il nuovo utilizzo. Ad esempio, il servizio è stato acquistato per X, ma ora i dati vengono utilizzati anche per Y. Questo potrebbe essere un cambiamento di finalità, che non è consentito ai sensi dell'articolo 6, paragrafo 4, del Codice. Potrebbe trattarsi di un cambiamento di finalità, che non è consentito ai sensi dell'articolo 6, paragrafo 4. GDPR richiede una verifica. Senza una nuova legittimazione, il Elaborazione sul ghiaccio sottile.
- Decisioni automatizzate: Le nuove funzioni di IA possono penetrare nelle aree coperte dall'art. 22 GDPR (decisioni automatizzate). Un aggiornamento potrebbe, ad esempio, introdurre un punteggio automatico che influisce su alcune decisioni dell'utente (come la preselezione automatica dei candidati nel software HR). Tuttavia, tali influenze automatiche richiedono una particolare attenzione, Trasparenza e, se necessario, le opzioni di obiezione. Tutto questo poteva non essere un problema quando è stato introdotto inizialmente, ma lo è sicuramente ora.
- Fuga di dati e Nuvola-Elaborazione: Le funzionalità basate sull'intelligenza artificiale comportano il rischio di un'esportazione involontaria dei dati. Ad esempio, Dati personali a paesi terzi (parola chiave Nuvola negli Stati Uniti), che richiederebbe ulteriori GDPR (ad esempio, le valutazioni di impatto dei trasferimenti, Clausole contrattuali standard) lo richieda. Se nessuno ne è a conoscenza, tali requisiti non vengono ovviamente soddisfatti. I dati sensibili (segreti aziendali, dati riservati dei clienti) potrebbero finire su server esterni: un incubo per i responsabili della protezione dei dati.
- Bias e analisi errate: Le funzioni basate sull’intelligenza artificiale comportano nuovi rischi in termini di contenuto, come distorsioni (bias) o risultati errati. Cosa succede se l’analisi automatizzata mostra tendenze discriminatorie o commette gravi errori? All’inizio il software era forse „solo uno strumento“, ora invece prende decisioni preliminari. La conseguenza: l’azienda ne è responsabile. Senza una rivalutazione dei rischi, si corre il pericolo di violare inconsapevolmente i principi di parità di trattamento o gli obblighi di diligenza.
La regolamentazione dell'IA e le sue conseguenze
Il regolamento sull'IA (EU AI Act) introduce nuovi obblighi. Esso classifica i sistemi di IA in base al rischio e prevede, per l'IA ad alto rischio, misure rigorose quali la gestione del rischio, Documentazione o dalla supervisione umana. La classificazione di un sistema come „ad alto rischio“ dipende dalla sua destinazione d’uso.
Uno strumento già esistente potrebbe improvvisamente passare a una classe di rischio superiore a seguito di un aggiornamento basato sull’IA. Un esempio potrebbe essere uno strumento di gestione del personale che, dopo un aggiornamento basato sull’IA, effettua una preselezione dei curriculum con l’ausilio dell’IA. Ciò rientrerebbe nella categoria „Impiego dell’IA nelle decisioni relative al personale“. In questo modo, in realtà Conformità- Sono necessarie misure ai sensi del regolamento sull'IA, ma finora nessuno se ne è accorto.
Inoltre, il regolamento sull’IA prevede sanzioni severe in caso di violazioni: fino a 35 milioni di euro o il 7% del fatturato globales in caso di violazioni. Questi dati evidenziano quanto possano diventare critiche le funzionalità di IA non verificate.
Suggerimento di lettura: Come affrontare la normativa sull'IA con la governance dell'IA di Ailance
Shadow AI: responsabilità non chiare durante l'operazione
Ma perché questi aggiornamenti dell’IA passano inosservati? Uno dei problemi principali è la mancanza di chiarezza riguardo alle responsabilità durante il funzionamento. Una volta che un software è stato introdotto e messo in funzione, spesso nessuno si sente più esplicitamente responsabile di effettuare nuove valutazioni approfondite.
Anche se in genere esiste un proprietario dell'applicazione o del processo per il sistema, la loro attenzione si concentra spesso sulle funzionalità e sui vantaggi nell'area specialistica e meno sui vantaggi per il sistema. Conformità. Il reparto IT garantisce il funzionamento tecnico del sistema e si occupa degli aggiornamenti, ma non si considera responsabile della protezione dei dati. I responsabili della protezione dei dati e ConformitàI team, dal canto loro, si concentrano per lo più su nuovi progetti e cambiamenti di ampia portata, poiché le loro risorse sono limitate. Non c’è quindi da stupirsi che nessuno abbia in programma un aggiornamento delle funzionalità apparentemente di poco conto.
Il risultato è una sorta di vuoto di responsabilità: un assistente basato sull’intelligenza artificiale viene messo in funzione, ma chi avrebbe dovuto valutarne l’idoneità? Il reparto specialistico? L’IT? Il reparto per la protezione dei dati? Tutti pensavano inconsciamente che qualcun altro se ne fosse già occupato. Formalmente, nessuno è incaricato di verificare i rischi dopo l’introduzione. Manca una catena di responsabilità per la gestione operativa. Mentre per i nuovi acquisti esistono chiare Persone responsabili spesso manca una regola altrettanto chiara su chi debba dare l'allarme in caso di Feature X nella versione Y.
Eppure le autorità di vigilanza come la BaFin richiedono già da tempo proprio questo per il settore finanziario: le responsabilità devono essere chiaramente attribuite e i rischi legati all’IA devono essere gestiti in modo continuativo. Tuttavia, molte aziende non hanno ancora istituito al proprio interno figure quali un „responsabile dell’IA per ciascun sistema“. Senza un tale responsabile della governance, l’IA nelle operazioni aziendali rischia di rimanere rapidamente senza controllo e i rischi non vengono affrontati.
Necessario cambio di prospettiva: la governance deve includere gli aggiornamenti dell'IA
Alla luce di questi sviluppi, le aziende devono cambiare prospettiva per quanto riguarda la propria governance. Non è più sufficiente applicare la governance solo ai grandi progetti o agli acquisti. È necessario concentrarsi anche sull’utilizzo quotidiano e sull’ulteriore sviluppo degli strumenti già implementati.
Cosa significa concretamente? La „Governance by Design“ non deve terminare il giorno del lancio in produzione. Devono invece esistere meccanismi che verifichino in modo continuo, o almeno regolare, se un sistema funzioni ancora correttamente. Gli aggiornamenti – che si tratti di piccole patch o di grandi salti di versione – dovrebbero attivare un processo ben definito. Si dovrebbe ad esempio effettuare una breve verifica per stabilire se le nuove funzionalità abbiano rilevanza in termini di protezione dei dati o di sicurezza. In caso affermativo, devono essere integrate nell’attuale Conformità-vengano importati i processi (ad es. integrazione alla DSFA, aggiornamento della Documentazione, ecc.).
Le aziende devono gestire in modo proattivo il proprio panorama di strumenti. Ciò comporta tenere d’occhio le roadmap dei fornitori di software: sono previste funzionalità di IA nella roadmap del prodotto? Esistono programmi beta che dovrebbero essere valutati? In questo modo è possibile valutare tempestivamente quali cambiamenti sono in arrivo. Idealmente, i team di governance dovrebbero mantenere un dialogo con i produttori e raccogliere tempestivamente informazioni sulle funzionalità di IA previste.
Anche internamente Consapevolezza La domanda è: i reparti e l'IT devono essere sensibilizzati a non considerare i cambiamenti dell'IA semplicemente come delle belle funzioni aggiuntive. Al contrario, dovrebbe essere chiaro: Ogni nuova funzione importante è un'opportunità per fermarsi un attimo e chiedersi: „Ci sono nuovi rischi o obblighi qui?“.“
Questo passaggio verso una governance dinamica e continua richiede sicuramente nuovi processi o strumenti. È tuttavia necessario per stare al passo con il rapido sviluppo tecnologico. I metodi agili non sono appannaggio esclusivo dello sviluppo software, ma sono necessari anche nella governance dell’IA: occorre abbandonare gli audit puntuali a favore di un monitoraggio e un adeguamento continui. Solo così è possibile mitigare i rischi più gravi.
Raccomandazioni concrete per gli aggiornamenti dell'IA
Come è possibile gestire concretamente i rischi descritti? Per concludere, ecco alcune raccomandazioni concrete che ogni azienda – sia essa una PMI o un grande gruppo – dovrebbe mettere in pratica:
- Definire le responsabilità per ogni sistema: Nominate un proprietario per ogni sistema IT importante che non sia solo responsabile della tecnologia, ma anche esplicitamente degli aspetti di governance. Questa persona o comitato ha il compito di tenere sotto controllo le modifiche, avviare le valutazioni dei rischi e fungere da collegamento tra il reparto specializzato, l'IT e l'organizzazione. Conformità di servire. La chiarezza dei ruoli impedisce un vuoto di responsabilità.
- Implementare una procedura per il monitoraggio degli aggiornamenti: Istituite una procedura che verifichi regolarmente la presenza di aggiornamenti, ad esempio un controllo trimestrale delle note di rilascio dei software più importanti o un abbonamento alle notizie dei produttori. È fondamentale valutare ogni aggiornamento imminente in base al criterio „rilevante per la protezione dei dati/la governance – sì/no?“. Parole chiave sospette come IA, AI, Machine Learning, Nuvola- I servizi, le analisi ecc. dovrebbero attivare automaticamente una segnalazione al team di governance.
- Definire i criteri per una nuova valutazione: Stabilite a livello aziendale in quali casi un aggiornamento richieda una nuova valutazione. Ad esempio: „L’aggiornamento comporta una nuova elaborazione Dati personali? Ci sono trasferimenti di dati a nuovi destinatari? C'è un nuovo scopo per il Elaborazione? Si stanno introducendo decisioni automatizzate?“. Non appena uno di questi criteri viene soddisfatto, il responsabile della protezione dei dati deve essere informato e, se necessario, deve essere inviata una richiesta di informazioni. Valutazione d'impatto sulla protezione dei dati essere aggiornato. Questo catalogo di criteri deve essere noto e facile da applicare.
- Alimentare le nuove funzioni nei processi di protezione, sicurezza e governance dei dati: Assicurarsi che nessuna funzionalità venga pubblicata senza aver prima effettuato una Conformità-essere stati sottoposti a verifica. In pratica, ciò può tradursi, ad esempio, nel fatto che il reparto IT comunichi al reparto protezione dei dati l’introduzione di nuovi “feature toggle” o moduli già prima della loro attivazione. Oppure che il reparto operativo possa utilizzare una nuova funzione di intelligenza artificiale solo dopo che la Conformità-I team hanno dato il loro via libera. Ciò può essere attuato a livello di processi o anche dal punto di vista tecnico (ad esempio disattivando le impostazioni predefinite). È importante che la protezione dei dati e la sicurezza siano automaticamente prese in considerazione quando si sviluppano nuove funzionalità.
Automatizzare il processo di aggiornamento dell'AI con Ailance AI Governance
Valutate l'utilizzo di una piattaforma di governance come „Ailance KI-Governance“ per gestire in modo efficace tutte le misure sopra menzionate. Tali strumenti offrono, ad esempio, mappe dei modelli, flussi di lavoro automatizzati per la valutazione dei rischi e le approvazioni, nonché l'integrazione nei processi esistenti di protezione dei dati.
Suggerimento di lettura: Ecco perché le mappe modellistiche sono così importanti per la documentazione
Ailance KI-Governance consente di gestire ogni IA-Elaborazione registrarsi, Persone responsabili assegnare e avviare automaticamente i controlli sulla protezione dei dati non appena Dati personali sono in gioco. I flussi di lavoro impongono che non venga data alcuna approvazione senza informazioni complete, mentre i promemoria assicurano che vengano effettuati regolarmente dei re-audit. Una piattaforma di questo tipo può Trasparenza ed eliminare il punto cieco rendendo visibili e controllabili a livello centrale aggiornamenti, rischi e prove.
Assicuratevi che l'IA sia di utilità senza perdere il controllo. Infatti, in definitiva, l'IA dovrebbe creare valore all'interno dell'azienda e non rappresentare un rischio incontrollato.
Marcus Belke è CEO di 2B Advice e avvocato ed esperto di informatica per la protezione dei dati e la digitalizzazione. Conformità. Scrive regolarmente di governance dell'IA, GDPR-Conformità e la gestione dei rischi. Per saperne di più su di lui, visitate il suo Pagina del profilo dell'autore.
German 
English 
Italian 
French