Uno strumento di intelligenza artificiale non è sicuro o pericoloso in astratto. Il rischio dipende dall'esatto caso d'uso, dal tipo di account, dal piano, dai dati immessi, dal percorso del modello, dalle integrazioni, dalle autorizzazioni, dalla posizione, dalla conservazione, dal contratto e dalle decisioni prese dall'output. Lo stesso prodotto può essere ragionevole per le bozze di marketing pubblico e inaccettabile per le cartelle cliniche dei pazienti, i risultati finanziari non pubblicati, le credenziali di produzione o le decisioni di lavoro.
Questa guida fornisce un processo pratico di revisione dei fornitori per i team che adottano assistenti, generatori, strumenti di codifica, registratori di riunioni, agenti, prodotti di ricerca e piattaforme di analisi dei dati. Non costituisce una consulenza legale e non sostituisce una revisione qualificata in materia di privacy, sicurezza, appalti, occupazione, medica, finanziaria o normativa. Gli obblighi applicabili variano in base alla giurisdizione, al settore, ai dati e all'utilizzo.
L'obiettivo non è raccogliere il maggior numero di badge di sicurezza. Si tratta di produrre una decisione supportata da prove: cosa può essere utilizzato, da chi, con quali dati, sotto quali controlli, per quanto tempo e cosa deve accadere quando lo strumento cambia o si verifica un incidente.
Inizia con il caso d'uso, non con il questionario del fornitore
Scrivi un record del caso d'uso di una pagina prima di leggere le affermazioni di marketing. Identificare il proprietario dell'azienda, gli utenti, le persone interessate, l'attività prevista, i dati di input, i sistemi connessi, l'output generato, il revisore umano, la decisione a valle, il volume previsto e la conseguenza del fallimento.
Classifica i dati a più alto rischio che potrebbero entrare nel flusso di lavoro, non solo il campione mostrato in una demo. Prendi in considerazione dati personali, informazioni sanitarie e biometriche, dati di bambini, documenti finanziari, materiale legale, informazioni riservate dei clienti, comunicazioni dei dipendenti, codice sorgente, segreti, strategie inedite, contenuti concessi in licenza, dati di ricerca e dati soggetti a restrizioni di residenza o contrattuali.
Quindi definire il limite di approvazione. Un prodotto può essere approvato per la ricerca di fonte pubblica ma proibito per il lavoro non pubblicato del cliente. Un assistente di codifica può essere consentito per un repository isolato ma non per un ambiente di pagamento. Un assistente alla riunione può essere autorizzato a partecipare a chiamate di progetti interni dopo il preavviso ma può essere bloccato dalle riunioni cliniche, delle risorse umane, legali o del consiglio.
Il AI Risk Management Framework del NIST organizza il lavoro in corso su Governare, Mappare, Misurare e Gestire. Tale inquadramento è più utile di un singolo elenco di controllo superato/fallito perché il rischio cambia durante la distribuzione e l'utilizzo.
Mappa il flusso di dati reale
Disegna ogni sistema in grado di ricevere o derivare informazioni:
- browser, desktop, dispositivo mobile, estensione, componente aggiuntivo, bot, API, CLI, server MCP o client Slack;
- profilo dell'account, istruzioni, file caricati, archivi di sorgenti, audio della riunione, immagini, schemi di database e credenziali;
- indice di recupero, incorporamenti, elaborazione temporanea, archiviazione del prodotto, cache, log, analisi, feedback, monitoraggio degli abusi e sistemi di supporto;
- modelli di prima parte, fornitori di modelli di terze parti, fornitori di OCR o di trascrizione, servizi di ricerca, infrastruttura cloud e altri subresponsabili del trattamento;
- output generati, esportazioni, collegamenti condivisi, pagine pubbliche, webhook, applicazioni connesse, report pianificati, backup e archivi di elementi eliminati.
Non fermarti a "il venditore utilizza la crittografia". Chiedi quale servizio riceve ciascuna classe di dati, per quale scopo, in base a quale account e contratto e per quanto tempo rimane ciascuna copia. Una promessa di assenza di formazione risponde a una domanda sullo scopo; non risponde all'archiviazione, alla registrazione, alla revisione umana, alla divulgazione legale, all'analisi, al backup o alla cancellazione.
Testare tutte le superfici separatamente. Un account web consumer, un'area di lavoro aziendale, un'API, un GPT personalizzato, un'estensione del browser, un'app mobile e un'integrazione di terze parti connessa possono avere fornitori, impostazioni, fidelizzazione e termini diversi anche quando portano lo stesso marchio.
Verificare il conto controllante, il piano e l'accordo
Identificare chi possiede l'account e quale persona giuridica fornisce il servizio. Registrare il nome del piano, il percorso di fatturazione, la regione, l'inquilino, gli amministratori, i termini accettati, il modulo d'ordine, l'addendum sull'elaborazione dei dati, l'allegato sulla sicurezza, l'accordo sul livello di servizio, l'accordo di partenariato aziendale ove pertinente e qualsiasi emendamento negoziato.
Le richieste di risarcimento specifiche del piano contano. "I dati aziendali non vengono utilizzati per la formazione per impostazione predefinita" non dimostra lo stesso trattamento per un account gratuito. Una pagina di sicurezza generale potrebbe entrare in conflitto con un articolo della guida del prodotto o con una precedente informativa sulla privacy. Chiedere al fornitore di risolvere le incongruenze materiali per iscritto e allegare la risposta al verbale della decisione.
Non fare affidamento sul messaggio di un venditore se il contratto dice qualcosa di diverso. Stabilire una gerarchia di prove: accordo firmato e modulo d'ordine, termini specifici del piano attuali, documentazione ufficiale attuale sulla sicurezza e sulla privacy, materiale di aiuto ufficiale, quindi pagine di marketing. Le recensioni di terze parti e gli snippet di ricerca sono indizi, non prove di controllo.
Verificare il comportamento di rinnovo e downgrade. La privacy aziendale, la conservazione, il SSO, il controllo o i controlli regionali potrebbero scomparire al termine di una prova o al cambio del piano di un'area di lavoro.
Fai domande sulla privacy in base allo scopo dei dati
Utilizza una tabella che separi le domande che i fornitori spesso crollano:
| Domanda | Prove da richiedere | Errore comune | | --- | --- | --- | | Quali dati vengono raccolti? | Inventario di campi ed eventi che copre richieste, file, output, metadati, analisi, feedback e integrazioni | Revisione solo dei contenuti caricati | | Perché viene elaborato ciascun tipo di dati? | Tabella degli scopi per l'erogazione dei servizi, la sicurezza, l'analisi, il miglioramento, la formazione, il supporto e la conformità legale | Trattare “migliorare i servizi” come scopo preciso | | I dati vengono utilizzati per addestrare i modelli? | Termini di formazione di prima e di terza parte specifici del piano, impostazioni predefinite, comportamento di rinuncia e data di entrata in vigore | Supponendo che nessuna formazione significhi nessuna archiviazione | | Quali fornitori ricevono i contenuti? | Elenco attuale dei subresponsabili del trattamento e dei fornitori di modelli con servizio, ubicazione e processo di notifica | Revisione solo del fornitore contraente | | Per quanto tempo viene conservata ciascuna copia? | Pianificazione di prompt, file, output, registri, feedback, supporto, incorporamenti, backup e dati del provider | Accettare un numero di conservazione per ogni negozio | | Come vengono cancellati i dati? | Processo di eliminazione di utenti, amministratori, API, account, backup, provider e risoluzione del contratto | Supponendo che l'eliminazione di una chat elimini tutti i dati derivati | | Dove vengono trattati i dati? | Regioni di archiviazione ed elaborazione, meccanismo di trasferimento, supporto remoto e posizioni dei fornitori | Confondere una regione di archiviazione con tutta l'elaborazione | | Quali diritti possono esercitare gli utenti? | Accesso, correzione, cancellazione, opposizione, limitazione, portabilità e processo di contatto ove applicabile | Supponendo che il venditore gestisca automaticamente gli avvisi del cliente |
Il NIST Privacy Framework distingue il rischio per la privacy dal rischio per la sicurezza informatica e utilizza i risultati di Identificazione, Governo, Controllo, Comunicazione e Protezione. Un sistema può essere ben protetto contro le intrusioni pur creando danni alla privacy attraverso una raccolta eccessiva, un uso inaspettato, un'inferenza imprecisa o un processo decisionale opaco.
Formazione, inferenza, registrazione e feedback separati
"Non effettuiamo formazione sui tuoi dati" può significare diverse cose. Determinare se copre i modelli di base del fornitore, i modelli specifici del prodotto, i fornitori di terze parti, la messa a punto, la valutazione, la revisione umana, il monitoraggio degli abusi, gli indici di recupero e l'analisi. Controlla se la protezione è un'impostazione predefinita, un'impostazione, una rinuncia o solo una clausola del contratto aziendale.
L'inferenza richiede ancora che il contenuto raggiunga un modello o un servizio di elaborazione. Un fornitore può operare con conservazione zero, conservare temporaneamente i dati per il monitoraggio degli abusi o mantenerli in base a un diverso accordo API. Un modello premium abilitato dall'amministratore può utilizzare un percorso diverso dal modello predefinito.
Il feedback spesso cambia la regola. L'invio di un rifiuto, di un ticket di supporto, di una conversazione condivisa o di un registro diagnostico può autorizzare la raccolta del prompt, del file, dell'output e del contesto circostante per la revisione. Documentalo per gli utenti e disabilita la condivisione opzionale del feedback quando il rischio lo richiede.
Non riscrivere mai "non utilizzato per la formazione" come "non archiviato", "privato", "non visualizzato" o "non inviato a terzi". Ogni affermazione richiede prove separate.
Esamina i controlli di accesso, identità e tenant
Per l'utilizzo da parte del team, testare l'identità anziché accettare un elenco di funzionalità. Conferma il protocollo SSO, l'autenticazione a più fattori, l'acquisizione del dominio, il provisioning just-in-time, SCIM, la progettazione dei ruoli, le restrizioni degli ospiti, la durata della sessione, i criteri del dispositivo o della rete, gli account di servizio, le chiavi API, gli ambiti OAuth e l'accesso amministrativo di emergenza.
Usa il privilegio minimo. Un agente di ricerca non necessita dell'accesso in scrittura a un database di produzione. Un assistente di codifica non deve ricevere segreti cloud perché può leggere un repository. Un bot per riunioni non ha bisogno di tutti gli eventi del calendario. Un'attività di arricchimento del foglio di calcolo non deve ereditare l'accesso a tutti i record dei clienti connessi.
Esaminare i limiti del tenant e le impostazioni predefinite di condivisione. Testa la creazione di collegamenti pubblici, l'indicizzazione delle ricerche, il rilevamento a livello di spazio di lavoro, le esportazioni, la duplicazione, gli ospiti esterni, il trasferimento di proprietà, la revoca, le copie memorizzate nella cache e l'offboarding dei dipendenti. Verifica se un amministratore può ispezionare, esportare, conservare ed eliminare le conversazioni degli utenti.
I log di controllo devono contenere eventi utili: accesso, modifica dell'amministratore, autorizzazione all'integrazione, esportazione dei dati, condivisione pubblica, azione della chiave API, modifica del ruolo, eliminazione, esecuzione dell'agente e attività sensibile del connettore. Verifica la conservazione, il formato di esportazione, gli avvisi e chi può manomettere il registro.
Tratta gli agenti e gli strumenti collegati come software privilegiato
Un assistente che si limita a scrivere testi ha una superficie d'azione minore rispetto a un agente che legge le email, interroga un magazzino, modifica codici, crea account, pubblica un sito, invia messaggi o sposta denaro. Inventaria ogni strumento, credenziale, schema, azione, passaggio di approvazione, destinazione di rete e canale di output.
La Top 10 delle applicazioni LLM e di intelligenza artificiale generativa di OWASP evidenzia l'inserimento tempestivo, la divulgazione di informazioni sensibili, il rischio della catena di fornitura, la gestione impropria dell'output, un'agenzia eccessiva e altri errori a livello di applicazione. Un'istruzione dannosa può arrivare attraverso una pagina Web, un'e-mail, un PDF, un commento di codice, una riga di database, un evento di calendario o un documento recuperato, non solo tramite il messaggio dell'utente.
Utilizza azioni consentite, credenziali di sola lettura, schemi limitati, codice sandbox, convalida di URL e file, codifica di output, limiti di tariffa e di costo e approvazione umana per azioni irreversibili o esterne. Mantieni i segreti al di fuori dei prompt e del codice generato. Non lasciare che l'output del modello diventi un'istruzione SQL, un comando shell, un frammento HTML, una modifica dei permessi o un messaggio in uscita senza una convalida adeguata alla conseguenza.
Testa l'inserimento di prompt indiretto con un file o una pagina controllata che indica all'agente di ignorare il suo compito, rivelare un valore canary, accedere a un'altra fonte o inviare dati altrove. Il risultato atteso è il contenimento, non un semplice rifiuto educato nella finestra della chat.
Comprendi cosa fanno e cosa non dimostrano le certificazioni
I report SOC 2, i certificati ISO, i test di penetrazione, i trust center, le dichiarazioni di crittografia, i bug bounty e gli attestati di conformità possono fornire prove utili. Non dimostrano che ogni superficie del prodotto, piano, subprocessore, modello di intelligenza artificiale, integrazione o configurazione del cliente sia coperta.
Richiedi l'ambito, il periodo, l'entità legale, i limiti del servizio, le eccezioni, i controlli complementari dell'entità utente, il revisore e lo stato della riparazione. Un rapporto SOC 2 Tipo II descrive i controlli durante un periodo compreso nell'ambito; il logo da solo non mostra il contenuto del report. Un test di penetrazione è un campione datato, non un'assenza permanente di vulnerabilità.
La crittografia a riposo e in transito è una prova di base, non una revisione completa dell'architettura. Richiedi informazioni su proprietà e rotazione delle chiavi, crittografia di backup, isolamento dei tenant, gestione dei segreti, separazione degli ambienti, sviluppo sicuro, scansione delle dipendenze, risposta alle vulnerabilità, ripristino di emergenza e accesso amministrativo.
Verifica se le chiavi gestite dal cliente o BYOK coprono i dati di prodotto archiviati, l'inferenza del modello o solo un livello. BYOK può spostare il costo del modello e la visibilità del fornitore senza rimuovere i registri del fornitore, i dati recuperati o l'archiviazione delle applicazioni.
Testare la conservazione e l'eliminazione dall'inizio alla fine
Crea una tabella del ciclo di vita per ogni archivio dati: creato, attivo, archiviato, esportato, condiviso, eliminato, account chiuso, contratto terminato, backup scaduto e conservazione a fini giudiziari. Identificare l'attore che può attivare ciascuna fase e le prove restituite.
Esegui un test di eliminazione con dati Canary sintetici. Carica un file con un nome univoco, crea una conversazione e un artefatto derivato, condividilo, esportalo, elimina l'origine, rimuovi l'utente, quindi chiudi l'area di lavoro se il progetto pilota lo consente. Controlla l'interfaccia utente, l'API, il collegamento condiviso, la ricerca, le integrazioni, la visualizzazione amministratore, il percorso di supporto e la conferma dell'eliminazione contrattuale.
La perdita immediata dell'accesso dell'utente non equivale all'eliminazione fisica. Un servizio può conservare copie di ripristino, registri di sicurezza, record di fatturazione o dati del fornitore per periodi definiti. Ciò può essere legittimo, ma la pianificazione, lo scopo, l’accesso e la cancellazione finale devono essere documentati.
Testa anche la portabilità. Prima di approvare una dipendenza operativa, esportare richieste, identificatori di origine, file, codice, flussi di lavoro, decisioni, registri e configurazione in formati utilizzabili. Una revisione della privacy non dovrebbe creare un problema di lock-in evitabile.
Affrontare la trasparenza, l'uso legale e le persone interessate
Se sono coinvolti dati personali, identificare il ruolo dell’organizzazione, lo scopo, la base giuridica ove richiesto, le categorie di dati, le persone interessate, gli avvisi, il processo relativo ai diritti, la conservazione, i destinatari, i trasferimenti e se è necessaria una valutazione dell’impatto sulla protezione dei dati. Gli obblighi di protezione dei dati della Commissione Europea e le linee guida sulla trasparenza dell'IA dell'ICO forniscono punti di partenza ufficiali, ma i consulenti locali devono determinarne l'applicabilità.
Il consenso alla registrazione di una riunione non equivale al consenso a ogni utilizzo successivo della trascrizione. L'autorizzazione ad accedere a un documento non è l'autorizzazione per addestrare un modello, pubblicare un riepilogo generato o condividerlo con un altro fornitore. Una pagina web pubblica non è automaticamente esente da restrizioni relative a copyright, contratti o dati personali.
L'uso ad alto impatto necessita di un'ulteriore revisione. Le decisioni in materia di occupazione, credito, alloggio, istruzione, assistenza sanitaria, legale, assicurativa, biometrica, sicurezza e accesso possono innescare requisiti specializzati e danni materiali. Non utilizzare un output dell'IA generico come unica base decisionale. Definire l'autorità umana, il ricorso, la correzione, i test, la documentazione e le condizioni di arresto.
L’EU AI Act utilizza un quadro basato sul rischio con requisiti che dipendono dal sistema e dal ruolo. Non etichettare un flusso di lavoro "conforme all'AI Act" in base al badge del fornitore; classificare l'uso, identificare se l'organizzazione è un fornitore, distributore, importatore o distributore, ove applicabile, e verificare la tempistica e gli obblighi attuali.
Valutare i reclami dei fornitori e il rischio di output
La FTC consiglia alle aziende di onorare le promesse sulla privacy e di mantenere una sicurezza adeguata ai dati in loro possesso. Le sue linee guida Inizia con la sicurezza sottolineano la conoscenza di quali dati vengono conservati, la conservazione solo di ciò che è necessario, il controllo dell'accesso, la protezione dei fornitori, il mantenimento delle protezioni e la pianificazione degli incidenti.
Richiedere prove per affermazioni come "anonimo", "fidelizzazione zero", "conforme all'HIPAA", "conforme al GDPR", "sicuro per l'azienda", "non si forma mai" o "precisione a livello umano". Chiedi quale account, funzionalità, dati, periodo e contratto copre il reclamo. Evitare di trasformare la dichiarazione di un prodotto in una dichiarazione editoriale più ampia.
La revisione della sicurezza deve includere l'output. Il codice generato può introdurre vulnerabilità; una risposta di ricerca può fabbricare una citazione; un'immagine può rivelare materiale di origine privata; una sintesi può esporre un fatto riservato; un'automazione può inviare il record sbagliato. Definire convalida, moderazione, provenienza, approvazione, monitoraggio e rollback per la destinazione effettiva dell'output.
Esegui un pilota controllato con dati Canary
Utilizzare dati pubblici, sintetici o costruiti deliberatamente fino al superamento della revisione. Crea valori canary che non dovrebbero mai apparire al di fuori del documento, tenant, ruolo o attività assegnati. Non utilizzare segreti reali o dati personali come indicatori di test.
Prova almeno questi scenari:
- Un'attività normale con risultati corretti noti e un revisore documentato.
- Un utente senza autorizzazione tenta di trovare, esportare o condividere contenuto limitato.
- Un file recuperato contiene un prompt injection indiretto e una richiesta di esporre un canary.
- Un'azione generata tenta di superare l'ambito di sola lettura, i domini consentiti, i costi o i limiti dei destinatari.
- L'utente elimina i dati di origine, il contenuto derivato, i collegamenti condivisi e l'account.
- Un amministratore rimuove un utente, ruota una credenziale, revoca un'integrazione ed esamina i log.
- Un fornitore, un modello, un termine sulla privacy, un sub-responsabile o un'impostazione del piano cambiano.
Registrare le prove invece di limitarsi a “passarle”. Salva screenshot o esportazioni ove consentito, timestamp degli eventi, voci di registro, ID di richiesta, conferme di eliminazione, versioni delle policy, revisore, lacune irrisolte, controlli di compensazione e data di scadenza per l'approvazione.
Produrre una decisione di approvazione mirata
Una decisione utile è uno dei quattro risultati:
- approvato per utenti nominativi, piani, classi di dati, integrazioni e finalità;
- approvato con controlli, ad esempio assenza di dati sensibili, accesso di sola lettura, revisione umana obbligatoria o condivisione disabilitata;
- pilota solo fino all'arrivo delle prove o dei termini contrattuali specificati;
- rifiutato per l'uso proposto, con motivazione e trigger di rivalutazione.
Elencare esplicitamente gli usi vietati. Assegnare il proprietario dell'azienda, il proprietario tecnico, il contatto legale o per la privacy, il contatto per la sicurezza, la data di revisione, il canale dell'incidente e il processo di offboarding. Gli utenti hanno bisogno di una politica operativa breve, non dell'intero dossier del fornitore.
L'approvazione scade quando cambia un fatto materiale: proprietà, termini, informativa sulla privacy, fornitore del modello, impostazione predefinita della formazione, subresponsabile, regione, incidente di sicurezza, ambito di integrazione, architettura del prodotto, caso d'uso o sensibilità dei dati. Esamina gli strumenti ad alto rischio più frequentemente rispetto alle utilità a contenuto pubblico.
Una checklist compatta per gli appalti
Prima della produzione, verificare che il team possa rispondere a tutte le seguenti domande con prove attuali:
- Quali usi e dati esatti sono approvati e quali sono vietati?
- Quale account, piano, inquilino, persona giuridica, regione e contratti controllano?
- Dove vanno a finire i prompt, i file, i metadati, l'output, i registri, il feedback e i backup?
- Quali venditori e fornitori di modelli li ricevono, per quali scopi e per quanto tempo?
- Quali sono le impostazioni predefinite e facoltative di formazione, fidelizzazione, revisione umana e feedback?
- Gli amministratori possono applicare controlli di identità, privilegio minimo, condivisione, connettore, agente, spesa e audit?
- Il team può esportare, revocare, eliminare e dimostrare il ciclo di vita delle origini e dei dati derivati?
- Come vengono testati l'inserimento tempestivo, l'output non sicuro, l'agenzia eccessiva, i segreti e i contenuti di terze parti?
- Quali persone sono interessate, quali avvisi e diritti si applicano e a chi spetta la decisione finale?
- Quali prove, monitoraggio, piano degli incidenti, attivazione della rivalutazione e scadenza dell'approvazione vengono registrati?
Se più risposte sono "probabilmente se ne occupa il venditore", la revisione non è completa.
Applica il framework a tutte le categorie di strumenti AI
Per assistenti come ChatGPT, esamina i termini consumer rispetto a quelli aziendali, connettori, memoria, collegamenti condivisi e percorsi del modello. Per strumenti di scrittura e marketing come Jasper, esamina la conoscenza del marchio, i contenuti dei clienti, le integrazioni editoriali e l'approvazione effettiva. Per i prodotti di immagini e video, esamina le risorse caricate, i diritti di volto e voce, i fornitori di generazione, le gallerie pubbliche, l'uso della formazione e i termini commerciali attraverso le guide Immagine e design AI e Video AI.
Per strumenti di codifica come Cursore, considera l'accesso al repository, i comandi del terminale, gli agenti in background, l'esecuzione remota, i segreti e le dipendenze generate come privilegiati. Per strumenti per riunioni come Otter AI, rivedere l'avviso dei partecipanti, il consenso, l'accesso al calendario, i bot di registrazione, la condivisione delle trascrizioni, la formazione, la conservazione e l'eliminazione. Per le piattaforme di automazione come n8n, concentrati su credenziali, approvazione umana, confini deterministici, log di esecuzione, compiti di self-hosting e licenze.
Per strumenti di presentazione come Gamma, esamina i pacchetti di fonti riservate, la visibilità dei collegamenti, l'analisi dei visitatori, le esportazioni e l'offboarding dell'account. Per strumenti di ricerca come Elicit, separare la letteratura pubblica dalla ricerca non pubblicata e verificare i termini del fornitore, della formazione, della conservazione e dell'esportazione specifici del piano. Sfoglia tutte le categorie di strumenti AI per applicare le stesse domande sui casi d'uso e sul flusso di dati al flusso di lavoro effettivo.
Le nostre norme sulla privacy spiegano le pratiche relative ai dati di questo sito, mentre la metodologia di revisione e le norme editoriali spiegano come le prove, i test, l'incertezza, la sponsorizzazione e gli aggiornamenti dovrebbero essere rappresentati nelle recensioni.
Guide correlate
Continua con i migliori strumenti di intelligenza artificiale per le piccole imprese e i migliori strumenti di automazione dell'intelligenza artificiale per collegare questa decisione con flussi di lavoro adiacenti e un processo di valutazione coerente.
