企业使用大模型时，隐私泄露通常发生在哪里
企业引入大模型后，大家最先担心的是”模型会不会记住我的数据”。这个担心其实放错了位置——主流厂商的企业级 API 并不拿客户数据训练模型（见文末 FAQ）。真实的数据泄露大多发生在使用过程本身：Prompt 里带了什么、RAG 检索出了什么、Agent 调了什么工具、日志记了什么、输出又传给了谁。
| 风险环节 | 典型问题 | 企业应对方式 |
|---|---|---|
| 用户输入 | 员工把客户信息、合同条款、源代码、账号密钥直接粘贴到对话框 | 建立数据分级规则，敏感字段脱敏，禁止高敏数据进入外部模型 |
| 历史上下文 | 会话记忆携带上一轮隐私信息，被带入下一次调用 | 按会话、用户、应用隔离上下文，设置上下文生命周期 |
| 知识库 RAG | 检索时召回了用户无权查看的文档片段 | 文档入库绑定权限，检索阶段做权限过滤和引用追踪 |
| Tool / MCP / Skill 调用 | 模型选择了过高权限工具，或把敏感入参传给外部 API | 工具白名单、最小权限、入参检查、人工确认和调用日志 |
| 模型服务 | 数据被第三方服务留存、用于训练或跨境传输 | 选择企业级数据条款，必要时使用专有云或私有化部署 |
| 调试与日志 | Prompt、知识片段、接口参数、答案被写入日志 | 日志脱敏、分级存储、访问授权、保留周期和审计 |
几个容易忽略的细节：
- 用户输入是最大泄露面。员工贴进对话框的往往不是一条数据，而是整份客户名单或整个仓库的代码。相比事后追责，不如在入口就做分级拦截。
- 上下文串扰很隐蔽。同一会话里上一轮问了 A 客户的数据，下一轮切到 B 客户，模型可能把 A 的信息带出来。按会话、按用户隔离上下文，是成本最低的防线。
- RAG 不是搜索引擎。按相似度召回时，模型分不清哪些文档提问者有权看。权限过滤必须放在检索阶段，而不是等答案出来再审核。
- Agent 时代的风险等级变了。模型能调用工具之后，泄露不再只是”说错话”，而是”做了越权的事”。工具白名单和最小权限是底线，配置方法可参考 Hermes Agent 配置模型完全教程。
OpenAI 和 Anthropic 等厂商都提供企业级数据控制能力，例如 API 数据默认不用于训练、企业数据保留策略、零数据保留（Zero Data Retention）等选项。但要注意：这些保障只存在于企业级 API 条款里，个人免费版并不适用。采购时不能只看模型效果，要把合同条款、数据保留、区域、审计、加密和合规责任一起纳入评估。
企业如何规避大模型隐私和安全风险
第一，建立 AI 数据分级制度。明确哪些数据可以进公有云模型，哪些只能在专有云或私有化环境处理，哪些禁止进入任何生成式 AI 系统。分级要落实到业务系统、知识库、文件、字段和接口，而不是停留在制度文件里。
第二，做输入脱敏和最小必要上下文。很多泄露不是因为模型”主动偷数据”，而是应用把过多上下文发给了模型。系统应在进入模型前去除身份证号、手机号、客户名称、合同编号、源代码密钥等敏感字段，只保留完成任务所需的最小信息。
第三，建设统一 AI 安全网关。安全网关把应用访问、模型路由、数据脱敏、Prompt 防护、调用限流、日志审计和策略管理集中起来。这样 Agent、工作流、知识库和业务系统不需要各自重复实现安全策略，审计也只需要看一个地方。
第四，RAG 知识库必须做权限过滤。文档入库时记录来源、部门、角色、密级和可见范围；检索时先计算用户身份和资源权限，再召回可访问片段；答案中保留引用来源，便于审计。多租户场景还要注意向量库的隔离，避免跨租户检索到他人文档。
第五，限制 Tool、MCP 和 Skill 的执行边界。Agent 能调用工具后，风险从”回答错”升级为”误调用系统””越权查询数据””把参数发给外部接口”。企业应使用工具白名单、参数校验、沙箱执行、人工确认和可回放日志。高影响操作（发送邮件、转账、删除、写库）应默认要求人工确认。
第六，防御间接提示词注入。攻击者把恶意指令藏在网页、邮件、文档、工单里，模型读取这些不可信内容时误把攻击文本当成指令。处理外部知识源时应做内容隔离、提示词净化、行为监控和策略拦截，并假设注入迟早会发生——核心是缩小爆炸半径，而不是指望模型免疫。
行业里有一个更系统的参考框架：OWASP 发布的《LLM 应用 Top 10 风险清单（2025 版）》，把大模型应用的主要风险编号为 LLM01–LLM10，官方页面可查。其中与本文直接相关的有：提示词注入（LLM01，位列第一）、敏感信息泄露（LLM02）、过度权限（LLM06，Agent 拿了超出任务所需的权限）、系统提示词泄露（LLM07，密钥和权限规则不应写在提示词里）、向量库弱点（LLM08，RAG 场景专属）和无限消耗（LLM10，Token 成本失控）。做安全评审时可以直接拿这份清单逐项对照。
什么数据能进公有云：数据分级与部署方式选型
| 数据类型 | 示例 | 建议模型服务方式 | 关键控制点 |
|---|---|---|---|
| 公开信息 | 官网资料、公开新闻、公开政策 | 公有云 API 可用 | 关注服务条款、调用成本和可用性 |
| 内部低敏数据 | 通用制度、非敏感知识问答、公开培训材料 | 公有云 API 或专有云 | 文档权限、检索日志、输出审核 |
| 内部经营数据 | 销售数据、工单数据、供应链数据 | 专有云、VPC 或私有化 | 数据脱敏、接口鉴权、日志审计 |
| 高敏业务数据 | 合同原文、客户隐私、财务明细、源代码 | 优先私有化部署 | 禁止外发、权限过滤、专网运行 |
| 受监管数据 | 医疗、金融、政务、涉密或行业监管数据 | 按监管要求私有化或专属环境 | 合规审计、密钥管理、数据留存策略 |
几个术语经常被混用，这里说清楚：
- 公有云：服务商统一运营共享硬件，客户按需租用，依托 VPC 做逻辑网络隔离；
- 专有云：厂商交付整套独立云平台，硬件专属独享，可部署在客户本地或专属机房；
- VPC：虚拟私有云，是一套逻辑隔离网络环境，公有云、专有云内部都可使用；
- 私有化（私有化部署）：应用或系统部署在客户自有基础设施，不托管至厂商公共云环境，是部署实施方式。
选型的核心判断就一句话：数据密级越高、监管越强，就越往右走（私有化）。但私有化不等于万事大吉——模型本身、推理框架、运维人员的权限同样要纳入审计范围。另外提醒一点：别拿企业数据去试个人版产品。个人免费版的数据条款和企业版完全不同，把合同或客户名单贴进个人版对话框，等于主动放弃数据保障。
企业落地清单：使用大模型但不泄露隐私
- 数据分级制度已建立，并落实到字段、接口和知识库
- 输入端脱敏：身份证、手机号、密钥等字段在进入模型前被移除
- 上下文按会话、用户、应用隔离，设置了保留周期
- RAG 检索前做权限过滤，答案保留引用来源
- 工具白名单 + 最小权限，高影响操作需人工确认
- 日志脱敏、分级存储、访问授权和审计
- 采购评估包含数据条款、区域、零保留选项和合规责任
- 针对 OWASP LLM Top 10 做过一轮安全评审
想快速了解各类 AI 工具怎么选怎么用，可以看站内的 AI 工具完全指南（2026）；如果是配置 Agent 模型时遇到问题，Hermes Agent 配置模型完全教程 里有交互式配置、多模型切换和 401 排障的完整说明。
常见问题
企业用 ChatGPT 或大模型 API 处理数据，数据会被拿去训练吗？
OpenAI、Anthropic 等主流厂商的企业级 API 条款默认不使用客户数据训练模型，并提供零数据保留（Zero Data Retention）选项。但个人免费版不受此保障，企业数据不应粘贴到个人版对话框。采购时应把数据条款写进合同，并确认数据区域、保留周期和审计能力。
什么是间接提示词注入？
攻击者把恶意指令藏在网页、邮件、文档、工单等不可信内容里，大模型读取这些内容后误把攻击文本当作指令执行，可能泄露数据或调用高权限工具。OWASP LLM Top 10 把提示词注入列为第一大风险，且当前模型技术无法彻底防御。
RAG 知识库为什么必须做权限过滤？
RAG 按相似度召回文档，如果不校验用户身份和资源权限，任何用户都可能通过巧妙提问间接获取无权查看的文档内容。正确做法是文档入库时绑定权限，检索时先鉴权再召回，答案保留引用来源便于审计。
企业数据应该用公有云 API 还是私有化部署？
取决于数据密级。公开信息和低敏数据可用公有云 API；内部经营数据建议专有云或 VPC；合同原文、客户隐私、源代码等高敏数据优先私有化部署；受监管数据（医疗、金融、政务）必须按监管要求选择部署环境。
AI Agent 的工具调用有什么安全风险？
Agent 能调用工具后，风险从回答错误升级为误操作：越权查询数据、把敏感参数发给外部接口、误触发写操作。需要用工具白名单、最小权限、参数校验、人工确认和可回放日志来约束。
提示词注入能完全防御吗？
不能。当前模型技术无法彻底区分指令和数据。务实做法是缩小爆炸半径：最小权限工具、输出校验、内容来源标记（检索内容信任级低于用户指令）、高影响操作人工审批。