App fatta con intelligenza artificiale: quali sono gli obblighi di chi l’ha costruita?

In un mondo in cui ogni giorno vengono sviluppate nuove app basate sull’intelligenza artificiale, diventa fondamentale capire quali obblighi gravano su chi le crea. Il Regolamento (UE) 2024/1689, noto come AI Act, è il primo quadro giuridico completo che disciplina l’uso dell'intelligenza artificiale nell’Unione Europea. Entrato in vigore il 1° agosto 2024, introduce un approccio modulare basato sul rischio, distinguendo tra usi vietati, alto rischio e basso rischio, e definendo obblighi specifici anche per le app basate su modelli generativi general‑purpose (GPAI).

Questo articolo ti accompagna passo dopo passo: ti dirò chi è considerato responsabile secondo l’AI Act, quali obblighi deve osservare – dalla trasparenza alla sicurezza, dalla supervisione umana alla documentazione tecnica – e come l’app perfettamente conforme possa diventare un vantaggio competitivo, rispettando le nuove regole europee.

Per qualsiasi ulteriore necessità puoi affidarti alla nostra assistenza legale specializzata in Intelligenza Artificiale.

Chi è il “fornitore” (provider) secondo l’AI Act?

Nel contesto del Regolamento (UE) 2024/1689 (AI Act), il soggetto giuridico che assume la responsabilità principale in tema di obblighi per un’app basata su intelligenza artificiale è chiamato "provider" — in italiano, fornitore.

Ai sensi dell’articolo 3, comma 3, il provider è:

• una persona fisica o giuridica, un’autorità pubblica, un’agenzia o altro ente;
• che sviluppa un sistema di intelligenza artificiale o un modello AI general‑purpose, oppure fa sviluppare tale sistema o modello, e lo immette sul mercato o lo mette in servizio con il proprio nome o marchio, sia a pagamento sia gratuitamente.

Tale definizione include chi:

• realizza direttamente l’app basata su intelligenza artificiale,
• oppure affida lo sviluppo a terzi, ma mantiene il controllo e promuove l’app sotto il suo marchio.
• L’app in questione diventa disponibile o viene offerta al pubblico — anche solo per uso in ambito UE: non conta dove il provider sia fisicamente stabilito.

In questo quadro, il fornitore è il principale tenuto a garantire il rispetto degli obblighi legali previsti dall’AI Act per le app di intelligenza artificiale — dalla trasparenza alla sicurezza, fino alla conformità tecnica e operativa.

Leggi la guida l'obbligo di alfabetizzazione digitale.

Categorie di rischio per un’app di intelligenza artificiale: quale regime di obblighi si applica?

Nel contesto dell’AI Act (Regolamento (UE) 2024/1689), ogni app basata su intelligenza artificiale viene classificata secondo un approccio basato sul rischio, che determina i diversi obblighi legali a carico del provider.

L’AI Act distingue principalmente quattro livelli di rischio per i sistemi AI:

1. Rischio inaccettabile – Applicazioni vietate (es. manipolazione comportamentale, social scoring, riconoscimento biometrico in tempo reale in luoghi pubblici).
2. Rischio alto – App con possibili impatti significativi su salute, sicurezza o diritti fondamentali (es. ambito sanitario, reclutamento, infrastrutture critiche, giustizia); per queste valgono obblighi rigorosi: conformità, trasparenza, supervisione umana, valutazione del rischio.
3. Rischio limitato – App con obblighi di trasparenza: è necessario informare l’utente che sta interagendo con un sistema AI, ad esempio nei casi di generazione di immagini o deepfake.
4. Rischio minimo – Applicazioni “banali” (es. filtri spam, videogiochi): non soggette a regolamentazioni, ma si incoraggia l’adozione di codici di condotta volontari .

Oltretutto, l’AI Act introduce una categoria dedicata alle General-Purpose AI (GPAI), ossia modelli generativi come ChatGPT. Spesso non rientrano perfettamente nelle categorie di cui sopra perché la classificazione può dipendere dal potenziale rischio sistemico. Le GPAI devono rispettare obblighi di trasparenza: rendere disponibili informazioni sull’allenamento del modello, garantire il rispetto del diritto d’autore; quelle che comportano un rischio sistemico (es. modelli con elevata capacità computazionale, oltre 10²⁵ FLOPS) sono soggette a valutazioni approfondite .

Obblighi generali del provider per un’app di intelligenza artificiale

Nel quadro del Regolamento (UE) 2024/1689 – AI Act, il provider di un’app basata su intelligenza artificiale è tenuto a rispettare una serie di obblighi generali volti a garantire trasparenza verso gli utenti e verso chi integra o utilizza l’app nella propria offerta.

Trasparenza verso l’utente

Il provider deve informare chiaramente gli utenti finali quando stanno interagendo con un sistema AI, salvo che sia già evidente all’utente ragionevolmente informato, attento e circospetto. Questo obbligo è particolarmente rilevante se la app genera contenuti artificiali (es. deepfake) o utilizza tecniche di riconoscimento biometrico ed emotivo, che devono essere adeguatamente segnalati.

Trasparenza verso i “deployer” o utilizzatori professionali

Per le app classificate come ad alto rischio, il provider deve garantire l’operatività trasparente del sistema, mettendo a disposizione:

• Istruzioni d’uso in formato digitale o accessibile, con informazioni concise, corrette e comprensibili.
• Dettagli sul funzionamento, limiti, potenziali rischi, modalità di interpretazione dei risultati, manutenzione e dati del provider (identità e riferimenti).

Documentazione tecnica e tracciabilità

Il provider dovrebbe predisporre e aggiornare regolarmente la documentazione tecnica, adeguata alla complessità dell’app di intelligenza artificiale. Questa documentazione serve sia agli utenti professionali che alle autorità di controllo, e deve includere dettagli su come utilizzare e monitorare l’app, oltre ai principali cambiamenti o aggiornamenti apportati.

Obbligo per casi a rischio limitato

Anche per le app AI a rischio limitato, esiste un obbligo minimo di trasparenza: fornire istruzioni d’uso e indicazioni chiare sulle funzionalità, limiti e modalità di interazione—sempre nel rispetto della chiarezza verso l’utente finale o l’utente professionale.

Obblighi per APP con sistemi di Intelligenza Artificiale ad alto rischio

Quando un’app basata su intelligenza artificiale rientra nella categoria degli “AI system ad alto rischio”, il provider (fornitore) è soggetto agli obblighi più stringenti previsti dall’AI Act. Questa categoria riguarda, ad esempio, app utilizzate in sanità, giustizia, infrastrutture critiche, istruzione o gestione del personale, ossia ambiti in cui errori o malfunzionamenti possono incidere direttamente sui diritti fondamentali delle persone o sulla loro sicurezza.

Gli obblighi principali per i provider di queste app includono:

1. Sistema di gestione del rischio
   L’app deve essere progettata e aggiornata con un processo continuo di identificazione, valutazione e mitigazione dei rischi, lungo tutto il ciclo di vita del sistema AI.
2. Qualità dei dati e dataset di training
   I dati utilizzati per addestrare e validare il modello devono essere pertinenti, rappresentativi, privi di errori e non discriminatori, per evitare bias o decisioni scorrette.
3. Documentazione tecnica e registri
   Il provider deve predisporre una documentazione completa che descriva l’app di intelligenza artificiale, le sue funzionalità, i limiti e le modalità di utilizzo. Devono inoltre essere tenuti log e registrazioni automatiche delle operazioni per garantire tracciabilità e accountability.
4. Trasparenza e istruzioni d’uso
   L’utente professionale (deployer) deve ricevere informazioni chiare e dettagliate su come utilizzare l’app, sui limiti di affidabilità, sulle performance attese e sui rischi residui.
5. Supervisione umana
   L’app deve essere progettata in modo da permettere un intervento umano significativo, che consenta di correggere o fermare decisioni automatizzate potenzialmente dannose.
6. Robustezza, accuratezza e cybersecurity
   L’app deve dimostrare un livello elevato di precisione e di resilienza tecnica, garantendo protezione contro attacchi informatici e manipolazioni esterne.
7. Valutazione di conformità e marchio CE
   Prima dell’immissione sul mercato, il provider deve sottoporre l’app a una valutazione di conformità, rilasciare la dichiarazione UE di conformità e apporre il marchio CE.
8. Registrazione nell’apposito database UE
   Tutte le app di intelligenza artificiale ad alto rischio devono essere registrate in un registro pubblico europeo.
9. Monitoraggio post-commercializzazione e incident reporting
   Una volta rilasciata, l’app deve essere costantemente monitorata. In caso di incidenti gravi o malfunzionamenti, il provider ha l’obbligo di segnalarli immediatamente alle autorità competenti.

Obblighi per APP generative

Le app che utilizzano modelli di intelligenza artificiale general-purpose (GPAI) – come quelli alla base di strumenti generativi di testi, immagini o codice – sono disciplinate in maniera specifica dall’AI Act. In questo caso, gli obblighi del provider si concentrano soprattutto su trasparenza, sicurezza e tracciabilità.

Gli obblighi principali includono:

1. Documentazione del modello
   Il provider dell’app deve fornire informazioni chiare sui dati di training, validazione e testing del modello GPAI, così da permettere alle autorità e agli utilizzatori professionali di comprenderne i limiti e i rischi.
2. Trasparenza verso l’utente
   Quando un utente interagisce con l’app, deve essere informato in modo esplicito e comprensibile che i contenuti (testi, immagini, suoni, video) sono stati generati da un sistema di intelligenza artificiale.
3. Rispetto del diritto d’autore
   I modelli GPAI devono essere progettati e utilizzati in modo da rispettare la normativa sul copyright, anche tramite sistemi che identificano i dati di addestramento o i contenuti generati.
4. Supervisione umana proporzionata al rischio
   Il provider deve garantire che l’app consenta controlli e correzioni umane adeguate al livello di rischio, per evitare utilizzi impropri o dannosi.
5. Monitoraggio post-commercializzazione
   Anche dopo il rilascio, l’app deve essere sottoposta a un sistema di sorveglianza continua, in grado di individuare e correggere comportamenti anomali o rischiosi.
6. Codice di Buona Pratica (Code of Practice)
   In attesa dell’adozione di standard tecnici armonizzati, i provider di GPAI devono aderire al Codice di Buona Pratica europeo, che offre linee guida operative su trasparenza, sicurezza e gestione dei dati.
7. Obblighi aggiuntivi per GPAI a rischio sistemico
   Se il modello sottostante all’app supera determinate soglie di capacità computazionale, può essere classificato come rischio sistemico. In tal caso, il provider deve rispettare obblighi ancora più stringenti, come audit indipendenti, report dettagliati e piani di mitigazione dei rischi.

APP con Intelligenza Artificiali: sanzioni

L’AI Act introduce un regime sanzionatorio molto severo per chi sviluppa o immette sul mercato un’app basata su intelligenza artificiale senza rispettare gli obblighi di legge. Le multe sono calcolate in percentuale sul fatturato globale annuo dell’impresa, seguendo un approccio simile a quello già previsto dal GDPR.

Ecco la panoramica:

1. Violazioni dei divieti assoluti (AI ad uso inaccettabile)
   • Esempi: sistemi di social scoring, manipolazione cognitiva di minori, riconoscimento biometrico in tempo reale in spazi pubblici.
   • Sanzione: fino a 35 milioni di euro o il 7% del fatturato annuo globale (se superiore).
2. Violazioni degli obblighi per sistemi di intelligenza artificiale ad alto rischio
   • Esempi: mancata valutazione di conformità, assenza di supervisione umana, dataset non conformi, assenza di documentazione tecnica.
   • Sanzione: fino a 20 milioni di euro o il 4% del fatturato annuo globale.
3. Violazioni degli obblighi per modelli general-purpose AI (GPAI)
   • Esempi: mancanza di trasparenza, assenza di documentazione sul training, violazione del diritto d’autore, mancato rispetto del Codice di Buona Pratica.
   • Sanzione: fino a 15 milioni di euro o il 3% del fatturato annuo globale.
4. Comunicazioni scorrette o incomplete alle autorità di vigilanza
   • Esempio: fornire informazioni false o fuorvianti durante controlli e audit.
   • Sanzione: fino a 7,5 milioni di euro o l’1% del fatturato annuo globale.

Perché queste sanzioni contano anche fuori dall’UE

Un aspetto cruciale dell’AI Act è la sua portata extraterritoriale: gli obblighi e le sanzioni si applicano anche a provider stabiliti fuori dall’Unione Europea, se la loro app di intelligenza artificiale è utilizzata da utenti o imprese europee, o se i suoi output hanno effetti nel mercato UE.

Questo significa che anche una start-up USA o asiatica che lancia un’app AI scaricabile in Europa deve rispettare gli obblighi previsti dall’AI Act, pena pesanti sanzioni economiche.