AI 工具本身不能被抽象地定義為安全或不安全。風險取決於實際用例、帳號類型、方案、輸入資料、模型路徑、集成、權限、地區、留存、合約,以及團隊如何使用輸出做決定。同一產品可以合理用於公開營銷草稿,卻不適合患者記錄、未公開財務資料、生產憑證或招聘決定。
本指南為採用助手、生成工具、編程工具、會議記錄工具、Agent、研究產品和資料分析平台的團隊提供實用供應商審查流程。它不是法律意見,也不能取代合格的隱私權、安全、採購、勞動、醫療、金融或監管審查。適用義務會因司法轄區、行業、資料和用途而不同。
目標不是收集最多安全徽章,而是形成有證據的決策:誰可以在什麼控制下使用哪些資料、用於什麼目的、保留多久,以及工具發生變化或事故時應採取什麼行動。
從用例開始,而不是先填供應商問卷
閱讀營銷聲明前先寫一頁用例記錄,確定業務負責人、使用者、受影響人員、目標任務、輸入資料、連接系統、生成輸出、人工審核人、下游決策、預期用量和失敗後果。
按真實流程可能進入的最高風險資料分類,而不是只看演示樣本。範圍可能包括個人資料、健康和生物識別資訊、兒童資料、財務記錄、法律材料、客戶機密、員工通信、原始碼、密鑰、未公開戰略、授權內容、研究資料,以及受資料駐留或合約限制的資料。
隨後定義批准邊界。產品可以被批准用於公開來源研究,同時禁止處理未發表客戶項目;編程助手可以用於隔離代碼庫,卻不能進入支付環境;會議助手可以在完成告知後用於內部項目會議,但在臨床、人力資源、法律或董事會會議中被禁止。
NIST AI 風險管理框架把持續工作組織為治理、映射、測量和管理。相比一次性的通過/不通過清單,這個思路更有用,因為部署和使用過程中的風險會變化。
繪制真實資料流
把所有可能接收或衍生資訊的系統畫出來:
- 瀏覽器、桌面端、移動端、擴展、增益集、機器人、API、CLI、MCP 伺服器或 Slack 客戶端;
- 帳號資料、提示、上傳檔案、代碼庫、會議音頻、圖片、資料庫結構和憑證;
- 檢索索引、嵌入向量、臨時處理、產品存儲、緩存、記錄、分析、反饋、濫用監控和客服系統;
- 第一方模型、第三方模型供應商、OCR 或轉寫供應商、搜索服務、雲基礎設施和其他子處理者;
- 生成輸出、匯出檔案、分享鏈接、公開頁面、Webhook、連接應用程式、定時報告、備份和已刪除項目存儲。
不要停在“供應商使用加密”。要問每種資料進入哪個服務、用於什麼目的、受哪個帳號和協議控制,以及每份副本保留多久。不訓練承諾只回答一個目的問題,並沒有回答存儲、記錄、人工審查、依法披露、分析、備份或刪除。
分別測試所有入口。消費者網頁帳號、企業工作區、API、自訂 GPT、瀏覽器擴展、移動應用程式和第三方集成即使使用同一品牌,也可能採用不同供應商、設置、留存和條款。
核驗控制性帳號、方案與協議
確定誰擁有帳號以及哪個法律實體提供服務。記錄方案名稱、計費路徑、地區、租戶、管理員、已接受條款、訂單、資料處理協議、安全附件、服務等級協議、適用時的商業夥伴協議和所有協商修訂。
方案級聲明非常重要。“Enterprise 資料預設不用於訓練”不能證明免費帳號獲得相同待遇。通用安全頁也可能與某篇產品幫助文章或較舊隱私權政策衝突,應要求供應商書面解釋重大不一致,並把答復附到決策記錄。
如果合約表述不同,不要只依賴銷售人員消息。建立證據優先級:已簽署協議和訂單、目前方案級條款、當期官方安全與隱私權資料、官方幫助材料,再到營銷頁面。第三方評測和搜索摘要只能用於發現線索,不能作為控制性證據。
還要核驗續費與降級行為。試用結束或工作區更換方案後,Enterprise 的隱私權、留存、SSO、稽核或地區控制可能消失。
按資料目的提出隱私權問題
使用一張表,把供應商經常混在一起的問題拆開:
| 問題 | 應索取的證據 | 常見錯誤 | | --- | --- | --- | | 收集哪些資料? | 覆蓋提示、檔案、輸出、元資料、分析、反饋和集成的欄位與事件清單 | 只審查上傳內容 | | 每類資料為何被處理? | 區分提供服務、安全、分析、改進、訓練、客服和法律法遵的目的表 | 把“改進服務”當成精確目的 | | 資料是否用於訓練模型? | 方案級第一方與第三方訓練條款、預設值、退出行為和生效日期 | 認為不訓練就等於不存儲 | | 哪些供應商接收內容? | 目前子處理者與模型供應商名單,包括服務、地區和變更通知流程 | 只審查簽約供應商 | | 每份副本保留多久? | 提示、檔案、輸出、記錄、反饋、支援、嵌入向量、備份和供應商資料的留存計劃 | 用一個留存數字代表全部存儲 | | 如何刪除資料? | 使用者、管理員、API、帳號、備份、供應商和合約終止刪除流程 | 假定刪除對話就會刪除所有衍生資料 | | 資料在哪裡處理? | 存儲與處理地區、傳輸機制、遠程支援和供應商位置 | 把存儲地區誤認為全部處理地區 | | 使用者可行使哪些權利? | 適用時的存取、更正、刪除、反對、限制、可攜帶和聯繫流程 | 假定供應商會自動完成客戶的告知義務 |
NIST 隱私權框架區分隱私權風險與網路安全風險,並以識別、治理、控制、溝通和保護管理結果。一個系統可以很好地抵御入侵,卻仍因過度收集、意外用途、不準確推斷或不透明決策造成隱私權傷害。
拆開訓練、推理、記錄與反饋
“我們不會使用你的資料訓練”可能包含多種不同含義。確認它是否覆蓋供應商自己的基礎模型、產品專用模型、第三方供應商、微調、評估、人工審查、濫用監控、檢索索引和分析;還要確認保護是預設值、設置、退出選項,還是僅屬於 Enterprise 合約。
推理仍需要把內容發送給模型或處理服務。供應商可能採用零留存,也可能為濫用監控臨時保留,或在 API 協議下採用另一規則。管理員啓用的高階模型也可能走不同於預設模型的路徑。
反饋經常改變規則。提交負面反饋、客服工單、共享對話或診斷記錄,可能允許收集提示、檔案、輸出和上下文用於審查。應向使用者說明,在風險需要時關閉可選反饋分享。
絕不能把“不用於訓練”改寫成“不存儲”“私密”“無人查看”或“不發送第三方”。每個陳述都需要獨立證據。
審查存取、身份和租戶控制
團隊使用時應實際測試身份控制,而不是只接受功能列表。確認 SSO 協議、多因素驗證、域名接管、即時配置、SCIM、角色設計、訪客限制、會話時長、設備或網路政策、服務帳號、API 密鑰、OAuth 權限範圍和緊急管理員存取。
遵循最小權限。研究 Agent 不需要生產資料庫寫權限;編程助手能讀取代碼庫,不代表應接觸雲密鑰;會議機器人不需要存取全部日曆事件;電子錶格資料豐富任務也不應繼承全部客戶記錄權限。
檢查租戶邊界與預設分享方式。測試公開鏈接建立、搜索引擎索引、工作區發現、匯出、複製、外部訪客、所有權轉移、撤銷、緩存副本和員工離職。還要確認管理員能否查看、匯出、留存和刪除使用者對話。
稽核記錄要包含有用事件:登錄、管理員變更、集成授權、資料匯出、公開分享、API 密鑰操作、角色變化、刪除、Agent 執行和敏感連接器行為。核驗記錄留存、匯出格式、提醒機制,以及誰有權篡改記錄。
把 Agent 和連接工具視為高權限軟件
只起草文字的助手,行動範圍小於能夠讀取郵件、查詢資料倉庫、修改代碼、建立帳號、發佈網站、發送消息或轉移資金的 Agent。清點每個工具、憑證、資料庫結構、動作、審批步驟、網路目的地和輸出渠道。
OWASP 大型語言模型與生成式 AI 應用程式 Top 10列出提示注入、敏感資訊洩露、供應鏈風險、不當輸出處理、過度代理等應用程式層問題。惡意指令可能來自網頁、電子郵件、PDF、代碼注釋、資料庫行、日曆事件或檢索文件,而不只是使用者提示。
使用動作白名單、只讀憑證、受限資料庫結構、沙盒代碼、URL 與檔案驗證、輸出編碼、速率和成本限制,並要求不可逆或外部動作經過人工批准。密鑰不得放進提示或生成代碼;模型輸出在進入 SQL、Shell 命令、HTML、權限變更或外發消息前,必須按後果等級驗證。
用受控檔案或頁面測試間接提示注入,例如要求 Agent 忽略原任務、暴露標記值、存取另一來源或把資料發送到外部。預期結果應是隔離風險,而不只是聊天窗口裡禮貌拒絕。
理解認證能證明什麼、不能證明什麼
SOC 2 報告、ISO 證書、滲透測試、信任中心、加密聲明、漏洞獎勵和法遵證明都能提供有用證據,但不能證明每個產品入口、方案、子處理者、AI 模型、集成或客戶配置都在範圍內。
索取認證範圍、期間、法律實體、服務邊界、例外、客戶需配合的控制、稽核方和整改狀態。SOC 2 Type II 報告描述範圍內控制在一段期間的運行情況,僅有徽章看不到報告內容。滲透測試也是有日期的抽樣,不代表永久沒有漏洞。
靜態和傳輸加密是基線證據,不是完整架構審查。還要詢問密鑰歸屬與輪換、備份加密、租戶隔離、密鑰管理、環境分離、安全開發、依賴掃描、漏洞響應、災難恢復和管理員存取。
確認客戶管理密鑰或 BYOK 覆蓋的是存儲產品資料、模型推理還是單一層級。BYOK 可能把模型成本和可見性轉移給模型供應商,卻不會消除產品記錄、檢索資料或應用程式存儲。
端到端測試留存與刪除
為每種資料存儲建立生命週期表:建立、活躍、歸檔、匯出、共享、刪除、關閉帳號、合約終止、備份到期和法律保留。說明誰可以觸發各階段,以及會返回什麼證據。
使用合成標記資料做一次刪除測試。上傳具有唯一名稱的檔案,建立對話與衍生成果、分享和匯出,然後刪除來源、移除使用者,並在試行允許時關閉工作區。檢查使用者介面、API、共享鏈接、搜索、集成、管理員視圖、客服路徑和合約刪除確認。
使用者立即無法存取,不等於物理刪除。服務可能在明確期限內保留恢復副本、安全記錄、帳務記錄或供應商資料,這可能有合理理由,但需要記錄期限、目的、存取方式和最終清除。
也要測試可遷移性。批准運營依賴前,嘗試以可用格式匯出提示、來源標識、檔案、代碼、工作流程、決策、記錄和配置。隱私權審查不應製造本可避免的鎖定。
處理透明度、合法使用和受影響人員
涉及個人資料時,確定組織角色、目的、適用時的合法依據、資料類別、受影響人員、告知、權利流程、留存、接收方、跨境傳輸,以及是否需要資料保護影響評估。歐盟委員會的資料保護義務和 ICO 的 AI 透明度指南是官方起點,但是否適用應由當地合格專業人員判斷。
同意錄制會議,不等於同意轉寫內容的所有後續用途。允許存取文件,也不等於允許訓練模型、發佈生成摘要或分享給另一供應商。網頁公開可見,同樣不代表不存在版權、合約或個人資料限制。
高影響用途需要額外審查。招聘、信貸、住房、教育、醫療、法律、保險、生物識別、安全和存取決定可能觸發專門義務並造成重大傷害。不要把通用 AI 輸出作為唯一決策依據;應定義人工權限、申訴、更正、測試、記錄和停止條件。
歐盟 AI 法案採用基於風險的框架,要求會隨系統和角色而變化。不能僅憑供應商徽章把流程標為“符合 AI 法案”;在適用時應給用例分類,確定組織屬於提供者、部署者、進口商還是分銷商,並核驗當期時間表和義務。
評估供應商聲明與輸出風險
美國聯邦貿易委員會建議企業履行隱私權承諾,並保持與所持資料相匹配的安全水平。其 Start with Security指南強調了解所持資料、只保留需要的資訊、控制存取、保護供應商、持續維護防護和準備事故響應。
對“匿名”“零留存”“符合 HIPAA”“符合 GDPR”“企業級安全”“永不訓練”或“達到人類準確率”等聲明索取證據。詢問它覆蓋哪個帳號、功能、資料、期間和合約,不能把產品的局部說法擴寫成更廣編輯結論。
安全審查必須包含輸出。生成代碼可能引入漏洞,研究回答可能虛構引用,圖片可能洩露來源資料,摘要可能暴露機密,自動化也可能發送錯誤記錄。根據輸出的真實去向定義驗證、審核、來源追蹤、批准、監控和回滾。
使用標記資料運行受控試行
審查通過前只使用公開、合成或專門構造的資料。建立只應出現在指定文件、租戶、角色或任務中的標記值,但不要用真實密鑰或個人資料作為測試標記。
至少測試以下場景:
- 一個答案已知並指定審核人的正常任務。
- 無權限使用者嘗試尋找、匯出或分享受限內容。
- 檢索檔案包含間接提示注入,並要求暴露標記值。
- 生成動作嘗試突破只讀範圍、允許域名、成本或收件人限制。
- 使用者刪除來源資料、衍生內容、共享鏈接和帳號。
- 管理員移除使用者、輪換憑證、撤銷集成並檢查記錄。
- 供應商、模型、隱私權條款、子處理者或方案設置發生變化。
記錄證據,而不只寫“通過”。在允許範圍內保存螢幕截圖或匯出、事件時間、記錄條目、請求 ID、刪除確認、政策版本、審核人、未解決缺口、補償控制和批准到期日。
形成有範圍的審批結論
有用決策應屬於以下四種之一:
- 批准指定使用者、方案、資料類別、集成和用途;
- 附條件批准,例如禁止敏感資料、只讀存取、強制人工復核或關閉分享;
- 在收到指定證據或合約條款前僅限試行;
- 拒絕擬議用途,並說明原因和重新評估觸發條件。
明確列出禁止用途,指定業務負責人、技術負責人、隱私權或法律聯繫人、安全聯繫人、復核日期、事故渠道和離職流程。使用者需要一份短運營政策,而不是整套供應商材料。
當所有權、條款、隱私權政策、模型供應商、訓練預設值、子處理者、地區、安全事故、集成範圍、產品架構、用例或資料敏感度發生重大變化時,批准應失效。高風險工具的復核頻率應高於僅處理公開內容的工具。
精簡採購檢查表
進入生產前,確認團隊能用目前證據回答以下全部問題:
- 哪些具體用途和資料獲得批准,哪些被禁止?
- 哪個帳號、方案、租戶、法律實體、地區和協議具有控制力?
- 提示、檔案、元資料、輸出、記錄、反饋和備份分別去向哪裡?
- 哪些供應商和模型提供商會接收,目的是什麼,保留多久?
- 預設與可選的訓練、留存、人工審查和反饋設置是什麼?
- 管理員能否強制身份、最小權限、分享、連接器、Agent、支出和稽核控制?
- 團隊能否匯出、撤銷、刪除並證明來源與衍生資料的生命週期?
- 如何測試提示注入、不安全輸出、過度代理、密鑰和第三方內容?
- 哪些人會受到影響,適用什麼告知與權利,誰負責最終決定?
- 記錄了哪些證據、監控、事故方案、重新評估條件和批准期限?
如果多個答案還是“供應商應該處理了”,審查就沒有完成。
把框架應用程式到不同 AI 工具分類
對於 ChatGPT 等助手,要檢查消費者與商業條款、連接器、記憶、分享鏈接和模型路徑。對於 Jasper 等寫作營銷工具,審查品牌知識、客戶內容、發佈集成與事實批准。對於圖像和視頻產品,通過 AI 圖像與設計和 AI 視頻指南審查上傳資產、人臉與聲音權利、生成供應商、公開畫廊、訓練使用和商業條款。
對於 Cursor 等編程工具,把代碼庫存取、終端命令、後台 Agent、遠程執行、密鑰和生成依賴視為高權限。對於 Otter AI 等會議工具,檢查參與者告知、同意、日曆存取、錄制機器人、轉寫分享、訓練、留存和刪除。對於 n8n 等自動化平台,重點關注憑證、人工批准、確定性邊界、執行記錄、自托管責任和許可證。
對於 Gamma 等簡報工具,審查機密來源包、連結可見性、訪客分析、匯出和帳號移交。對於 Elicit 等研究工具,區分公開文獻與未發表研究,並核驗方案級供應商、訓練、留存和匯出條款。瀏覽全部 AI 工具分類,把相同的使用情境與資料流問題套用到實際流程。
我們的隱私權政策說明本站自身的資料實踐,評測方法與編輯政策則說明如何在評測中呈現證據、實測、不確定性、贊助和更新。
延伸閱讀
繼續查看小型企業最佳 AI 工具和最佳 AI 自動化工具,把目前選擇與相鄰工作流程及統一評估方法連結起來。