ToolBrief
菜单

评估 AI 工具的隐私与安全

如何评估 AI 工具的隐私与安全

在机密、个人、受监管、受版权保护或生产数据进入 AI 服务前,采用基于风险的流程完成审查。

本指南不以认证徽章代替信任,而是审查实际账号、方案、数据路径、权限、供应商、留存、合同和运营控制,并形成可追踪结论。

如何评估 AI 工具的隐私与安全

AI 工具本身不能被抽象地定义为安全或不安全。风险取决于实际用例、账号类型、方案、输入数据、模型路径、集成、权限、地区、留存、合同,以及团队如何使用输出做决定。同一产品可以合理用于公开营销草稿,却不适合患者记录、未公开财务数据、生产凭证或招聘决定。

本指南为采用助手、生成工具、编程工具、会议记录工具、Agent、研究产品和数据分析平台的团队提供实用供应商审查流程。它不是法律意见,也不能取代合格的隐私、安全、采购、劳动、医疗、金融或监管审查。适用义务会因司法辖区、行业、数据和用途而不同。

目标不是收集最多安全徽章,而是形成有证据的决策:谁可以在什么控制下使用哪些数据、用于什么目的、保留多久,以及工具发生变化或事故时应采取什么行动。

从用例开始,而不是先填供应商问卷

阅读营销声明前先写一页用例记录,确定业务负责人、用户、受影响人员、目标任务、输入数据、连接系统、生成输出、人工审核人、下游决策、预期用量和失败后果。

按真实流程可能进入的最高风险数据分类,而不是只看演示样本。范围可能包括个人数据、健康和生物识别信息、儿童数据、财务记录、法律材料、客户机密、员工通信、源代码、密钥、未公开战略、授权内容、研究数据,以及受数据驻留或合同限制的数据。

随后定义批准边界。产品可以被批准用于公开来源研究,同时禁止处理未发表客户项目;编程助手可以用于隔离代码库,却不能进入支付环境;会议助手可以在完成告知后用于内部项目会议,但在临床、人力资源、法律或董事会会议中被禁止。

NIST AI 风险管理框架把持续工作组织为治理、映射、测量和管理。相比一次性的通过/不通过清单,这个思路更有用,因为部署和使用过程中的风险会变化。

绘制真实数据流

把所有可能接收或衍生信息的系统画出来:

  • 浏览器、桌面端、移动端、扩展、增益集、机器人、API、CLI、MCP 服务器或 Slack 客户端;
  • 账号资料、提示、上传文件、代码库、会议音频、图片、数据库结构和凭证;
  • 检索索引、向量表示、临时处理、产品存储、缓存、日志、分析、反馈、滥用监控和客服系统;
  • 第一方模型、第三方模型供应商、OCR 或转写供应商、搜索服务、云基础设施和其他子处理者;
  • 生成输出、导出文件、分享链接、公开页面、Webhook、连接应用、定时报告、备份和已删除项目存储。

不要停在“供应商使用加密”。要问每种数据进入哪个服务、用于什么目的、受哪个账号和协议控制,以及每份副本保留多久。不训练承诺只回答一个目的问题,并没有回答存储、日志、人工审查、依法披露、分析、备份或删除。

分别测试所有入口。消费者网页账号、企业工作区、API、自定义 GPT、浏览器扩展、移动应用和第三方集成即使使用同一品牌,也可能采用不同供应商、设置、留存和条款。

核验控制性账号、方案与协议

确定谁拥有账号以及哪个法律实体提供服务。记录方案名称、计费路径、地区、租户、管理员、已接受条款、订单、数据处理协议、安全附件、服务等级协议、适用时的商业伙伴协议和所有协商修订。

方案级声明非常重要。“Enterprise 数据默认不用于训练”不能证明免费账号获得相同待遇。通用安全页也可能与某篇产品帮助文章或较旧隐私政策冲突,应要求供应商书面解释重大不一致,并把答复附到决策记录。

如果合同表述不同,不要只依赖销售人员消息。建立证据优先级:已签署协议和订单、当前方案级条款、当期官方安全与隐私资料、官方帮助材料,再到营销页面。第三方评测和搜索摘要只能用于发现线索,不能作为控制性证据。

还要核验续费与降级行为。试用结束或工作区更换方案后,Enterprise 的隐私、留存、SSO、审计或地区控制可能消失。

按数据目的提出隐私问题

使用一张表,把供应商经常混在一起的问题拆开:

| 问题 | 应索取的证据 | 常见错误 | | --- | --- | --- | | 收集哪些数据? | 覆盖提示、文件、输出、元数据、分析、反馈和集成的字段与事件清单 | 只审查上传内容 | | 每类数据为何被处理? | 区分提供服务、安全、分析、改进、训练、客服和法律合规的目的表 | 把“改进服务”当成精确目的 | | 数据是否用于训练模型? | 方案级第一方与第三方训练条款、默认值、退出行为和生效日期 | 认为不训练就等于不存储 | | 哪些供应商接收内容? | 当前子处理者与模型供应商名单,包括服务、地区和变更通知流程 | 只审查签约供应商 | | 每份副本保留多久? | 提示、文件、输出、日志、反馈、支持、向量表示、备份和供应商数据的留存计划 | 用一个留存数字代表全部存储 | | 如何删除数据? | 用户、管理员、API、账号、备份、供应商和合同终止删除流程 | 假定删除对话就会删除所有衍生数据 | | 数据在哪里处理? | 存储与处理地区、传输机制、远程支持和供应商位置 | 把存储地区误认为全部处理地区 | | 用户可行使哪些权利? | 适用时的访问、更正、删除、反对、限制、可携带和联系流程 | 假定供应商会自动完成客户的告知义务 |

NIST 隐私框架区分隐私风险与网络安全风险,并以识别、治理、控制、沟通和保护管理结果。一个系统可以很好地抵御入侵,却仍因过度收集、意外用途、不准确推断或不透明决策造成隐私伤害。

拆开训练、推理、日志与反馈

“我们不会使用你的数据训练”可能包含多种不同含义。确认它是否覆盖供应商自己的基础模型、产品专用模型、第三方供应商、微调、评估、人工审查、滥用监控、检索索引和分析;还要确认保护是默认值、设置、退出选项,还是仅属于 Enterprise 合同。

推理仍需要把内容发送给模型或处理服务。供应商可能采用零留存,也可能为滥用监控临时保留,或在 API 协议下采用另一规则。管理员启用的高阶模型也可能走不同于默认模型的路径。

反馈经常改变规则。提交负面反馈、客服工单、共享对话或诊断日志,可能允许收集提示、文件、输出和上下文用于审查。应向用户说明,在风险需要时关闭可选反馈分享。

绝不能把“不用于训练”改写成“不存储”“私密”“无人查看”或“不发送第三方”。每个陈述都需要独立证据。

审查访问、身份和租户控制

团队使用时应实际测试身份控制,而不是只接受功能列表。确认 SSO 协议、多因素验证、域名接管、即时配置、SCIM、角色设计、访客限制、会话时长、设备或网络政策、服务账号、API 密钥、OAuth 权限范围和紧急管理员访问。

遵循最小权限。研究 Agent 不需要生产数据库写权限;编程助手能读取代码库,不代表应接触云密钥;会议机器人不需要访问全部日历事件;电子表格数据丰富任务也不应继承全部客户记录权限。

检查租户边界与默认分享方式。测试公开链接创建、搜索引擎索引、工作区发现、导出、复制、外部访客、所有权转移、撤销、缓存副本和员工离职。还要确认管理员能否查看、导出、留存和删除用户对话。

审计日志要包含有用事件:登录、管理员变更、集成授权、数据导出、公开分享、API 密钥操作、角色变化、删除、Agent 执行和敏感连接器行为。核验日志留存、导出格式、提醒机制,以及谁有权篡改日志。

把 Agent 和连接工具视为高权限软件

只起草文字的助手,行动范围小于能够读取邮件、查询数据仓库、修改代码、创建账号、发布网站、发送消息或转移资金的 Agent。清点每个工具、凭证、数据库结构、动作、审批步骤、网络目的地和输出渠道。

OWASP 大型语言模型与生成式 AI 应用 Top 10列出提示注入、敏感信息泄露、供应链风险、不当输出处理、过度代理等应用层问题。恶意指令可能来自网页、电子邮件、PDF、代码注释、数据库行、日历事件或检索文档,而不只是用户提示。

使用动作白名单、只读凭证、受限数据库结构、沙盒代码、URL 与文件验证、输出编码、速率和成本限制,并要求不可逆或外部动作经过人工批准。密钥不得放进提示或生成代码;模型输出在进入 SQL、Shell 命令、HTML、权限变更或外发消息前,必须按后果等级验证。

用受控文件或页面测试间接提示注入,例如要求 Agent 忽略原任务、暴露标记值、访问另一来源或把数据发送到外部。预期结果应是隔离风险,而不只是聊天窗口里礼貌拒绝。

理解认证能证明什么、不能证明什么

SOC 2 报告、ISO 证书、渗透测试、信任中心、加密声明、漏洞奖励和合规证明都能提供有用证据,但不能证明每个产品入口、方案、子处理者、AI 模型、集成或客户配置都在范围内。

索取认证范围、期间、法律实体、服务边界、例外、客户需配合的控制、审计方和整改状态。SOC 2 Type II 报告描述范围内控制在一段期间的运行情况,仅有徽章看不到报告内容。渗透测试也是有日期的抽样,不代表永久没有漏洞。

静态和传输加密是基线证据,不是完整架构审查。还要询问密钥归属与轮换、备份加密、租户隔离、密钥管理、环境分离、安全开发、依赖扫描、漏洞响应、灾难恢复和管理员访问。

确认客户管理密钥或 BYOK 覆盖的是存储产品数据、模型推理还是单一层级。BYOK 可能把模型成本和可见性转移给模型供应商,却不会消除产品日志、检索数据或应用存储。

端到端测试留存与删除

为每种数据存储建立生命周期表:创建、活跃、归档、导出、共享、删除、关闭账号、合同终止、备份到期和法律保留。说明谁可以触发各阶段,以及会返回什么证据。

使用合成标记数据做一次删除测试。上传具有唯一名称的文件,创建对话与衍生成果、分享和导出,然后删除来源、移除用户,并在试点允许时关闭工作区。检查用户界面、API、共享链接、搜索、集成、管理员视图、客服路径和合同删除确认。

用户立即无法访问,不等于物理删除。服务可能在明确期限内保留恢复副本、安全日志、账单记录或供应商数据,这可能有合理理由,但需要记录期限、目的、访问方式和最终清除。

也要测试可迁移性。批准运营依赖前,尝试以可用格式导出提示、来源标识、文件、代码、工作流、决策、日志和配置。隐私审查不应制造本可避免的锁定。

处理透明度、合法使用和受影响人员

涉及个人数据时,确定组织角色、目的、适用时的合法依据、数据类别、受影响人员、告知、权利流程、留存、接收方、跨境传输,以及是否需要数据保护影响评估。欧盟委员会的数据保护义务和 ICO 的 AI 透明度指南是官方起点,但是否适用应由当地合格专业人员判断。

同意录制会议,不等于同意转写内容的所有后续用途。允许访问文档,也不等于允许训练模型、发布生成摘要或分享给另一供应商。网页公开可见,同样不代表不存在版权、合同或个人数据限制。

高影响用途需要额外审查。招聘、信贷、住房、教育、医疗、法律、保险、生物识别、安全和访问决定可能触发专门义务并造成重大伤害。不要把通用 AI 输出作为唯一决策依据;应定义人工权限、申诉、更正、测试、记录和停止条件。

欧盟 AI 法案采用基于风险的框架,要求会随系统和角色而变化。不能仅凭供应商徽章把流程标为“符合 AI 法案”;在适用时应给用例分类,确定组织属于提供者、部署者、进口商还是分销商,并核验当期时间表和义务。

评估供应商声明与输出风险

美国联邦贸易委员会建议企业履行隐私承诺,并保持与所持数据相匹配的安全水平。其 Start with Security指南强调了解所持数据、只保留需要的信息、控制访问、保护供应商、持续维护防护和准备事故响应。

对“匿名”“零留存”“符合 HIPAA”“符合 GDPR”“企业级安全”“永不训练”或“达到人类准确率”等声明索取证据。询问它覆盖哪个账号、功能、数据、期间和合同,不能把产品的局部说法扩写成更广编辑结论。

安全审查必须包含输出。生成代码可能引入漏洞,研究回答可能虚构引用,图片可能泄露源材料,摘要可能暴露机密,自动化也可能发送错误记录。根据输出的真实去向定义验证、审核、来源追踪、批准、监控和回滚。

使用标记数据运行受控试点

审查通过前只使用公开、合成或专门构造的数据。建立只应出现在指定文档、租户、角色或任务中的标记值,但不要用真实密钥或个人数据作为测试标记。

至少测试以下场景:

  1. 一个答案已知并指定审核人的正常任务。
  2. 无权限用户尝试寻找、导出或分享受限内容。
  3. 检索文件包含间接提示注入,并要求暴露标记值。
  4. 生成动作尝试突破只读范围、允许域名、成本或收件人限制。
  5. 用户删除来源数据、衍生内容、共享链接和账号。
  6. 管理员移除用户、轮换凭证、撤销集成并检查日志。
  7. 供应商、模型、隐私条款、子处理者或方案设置发生变化。

记录证据,而不只写“通过”。在允许范围内保存截图或导出、事件时间、日志条目、请求 ID、删除确认、政策版本、审核人、未解决缺口、补偿控制和批准到期日。

形成有范围的审批结论

有用决策应属于以下四种之一:

  • 批准指定用户、方案、数据类别、集成和用途;
  • 附条件批准,例如禁止敏感数据、只读访问、强制人工复核或关闭分享;
  • 在收到指定证据或合同条款前仅限试点;
  • 拒绝拟议用途,并说明原因和重新评估触发条件。

明确列出禁止用途,指定业务负责人、技术负责人、隐私或法律联系人、安全联系人、复核日期、事故渠道和离职流程。用户需要一份短运营政策,而不是整套供应商材料。

当所有权、条款、隐私政策、模型供应商、训练默认值、子处理者、地区、安全事故、集成范围、产品架构、用例或数据敏感度发生重大变化时,批准应失效。高风险工具的复核频率应高于仅处理公开内容的工具。

精简采购检查表

进入生产前,确认团队能用当前证据回答以下全部问题:

  • 哪些具体用途和数据获得批准,哪些被禁止?
  • 哪个账号、方案、租户、法律实体、地区和协议具有控制力?
  • 提示、文件、元数据、输出、日志、反馈和备份分别去向哪里?
  • 哪些供应商和模型提供商会接收,目的是什么,保留多久?
  • 默认与可选的训练、留存、人工审查和反馈设置是什么?
  • 管理员能否强制身份、最小权限、分享、连接器、Agent、支出和审计控制?
  • 团队能否导出、撤销、删除并证明来源与衍生数据的生命周期?
  • 如何测试提示注入、不安全输出、过度代理、密钥和第三方内容?
  • 哪些人会受到影响,适用什么告知与权利,谁负责最终决定?
  • 记录了哪些证据、监控、事故方案、重新评估条件和批准期限?

如果多个答案还是“供应商应该处理了”,审查就没有完成。

把框架应用到不同 AI 工具分类

对于 ChatGPT 等助手,要检查消费者与商业条款、连接器、记忆、分享链接和模型路径。对于 Jasper 等写作营销工具,审查品牌知识、客户内容、发布集成与事实批准。对于图像和视频产品,通过 AI 图像与设计AI 视频指南审查上传资产、人脸与声音权利、生成供应商、公开画廊、训练使用和商业条款。

对于 Cursor 等编程工具,把代码库访问、终端命令、后台 Agent、远程执行、密钥和生成依赖视为高权限。对于 Otter AI 等会议工具,检查参与者告知、同意、日历访问、录制机器人、转写分享、训练、留存和删除。对于 n8n 等自动化平台,重点关注凭证、人工批准、确定性边界、执行日志、自托管责任和许可证。

对于 Gamma 等演示工具,审查机密来源包、链接可见性、访客分析、导出和账号移交。对于 Elicit 等研究工具,区分公开文献与未发表研究,并核验方案级供应商、训练、留存和导出条款。浏览全部 AI 工具分类,把相同的用例与数据流问题应用到实际流程。

我们的隐私政策说明本站自身的数据实践,评测方法编辑政策则说明如何在评测中呈现证据、实测、不确定性、赞助和更新。

相关阅读

继续查看小型企业最佳 AI 工具最佳 AI 自动化工具,把当前选择与相邻工作流及统一评估方法连接起来。

参考来源