
现在越来越多业务系统开始集成大模型能力:AI问答助手、知识库检索、单据智能解析、业务辅助决策、智能报表生成。
很多开发人员沿用传统接口的安全思路,做好接口鉴权、参数校验就直接上线。
但大模型属于生成式AI,存在传统系统没有的新型安全风险。外部用户通过构造特殊提示词,就有可能绕过业务限制,诱导模型泄露内部文档、篡改输出逻辑、甚至间接调用内部接口,造成业务故障和数据泄露。
很多安全事故并不是大模型本身漏洞,而是业务侧接入时缺少防护,没有针对LLM做专门的安全约束。
本篇从真实线上案例出发,梳理大模型业务最容易踩的几类安全坑,给出生产环境可用的加固手段。
一、大模型业务最常见的4类安全风险
1、直接Prompt注入攻击

这是落地大模型业务最高发的一类风险。
业务会把用户输入直接拼接进Prompt模板交给大模型处理,攻击者输入特殊指令,覆盖掉系统预设指令。
举个场景:系统原本设定“只允许回答产品公开资料,禁止输出内部合同与报价”。用户输入恶意提示词,强制模型忽略前面所有规则,输出内部知识库内容。
一旦防护缺失,业务规则会被直接绕过,造成内部资料外泄。
2、知识库检索带来的数据泄露
RAG知识库是企业大模型最常用的方案,把内部文档、合同、工单、内部规范存入向量库,用户提问时检索相关片段交给大模型整理回答。
很多项目只做简单的相似度检索,没有做权限过滤。
普通用户提问,向量库把高权限文档、内部工单、未公开合同检索出来送入上下文,大模型直接整理输出返回给普通用户,发生越权泄露。
很多人误以为向量数据库自带权限控制,实际上绝大多数向量库本身并不处理业务权限,权限需要业务层自己实现。
3、间接诱导执行业务逻辑,造成业务篡改
部分系统支持大模型调用后端工具函数:查询订单、生成单据、发起审批、修改部分业务字段。
攻击者通过提示词诱导,欺骗大模型调用错误工具、传入恶意参数,实现查询他人订单、伪造单据、触发异常业务流程。
风险点不在于工具本身,在于大模型输出的工具调用参数没有做严格校验,直接信任AI输出去执行业务逻辑。
4、输出侧污染,生成虚假与误导业务内容
大模型存在幻觉问题,同时也可被用户诱导生成虚假业务数据。
如果业务直接采信AI输出结果,不经人工复核直接入库、生成合同、生成报表,会产生大量错误业务数据,干扰经营判断。
这类问题不会直接泄露数据,但会慢慢污染业务库,带来隐性业务风险。
二、很多项目防护失效的几个典型错误做法

错误1:完全依赖大模型自身的系统提示词做安全约束
很多开发把全部安全规则写在system prompt里面,寄希望大模型自己拒绝恶意请求。
大模型的指令遵从存在上限,复杂构造的注入提示词,有概率覆盖系统prompt,仅靠模型本身无法做到100%防御。
错误2:用户输入简单关键词过滤
简单屏蔽少数敏感关键词,攻击者很容易通过拆分、变体、混淆句式绕过过滤,防护效果很有限。
错误3:RAG检索之后不做权限过滤
向量检索只看文本相似度,不识别业务权限。检索出来的文档片段,必须根据当前登录用户身份再做一轮权限过滤,否则极易越权泄露。
错误4:直接信任AI输出,不加校验调用工具
把大模型输出的参数直接交给后端函数执行,没有参数校验、没有权限判断,等同于把接口交给大模型全权代理。
三、生产环境大模型应用完整加固方案

1、输入层:对用户输入做前置检测
对用户原始query做注入风险检测,识别高风险提示词特征,高危请求直接拦截,不要送入大模型。
做输入长度限制,避免超长输入消耗大量token,同时降低注入构造空间。
2、Prompt模板做好隔离,不要简单字符串拼接
区分系统预设指令与用户输入,使用占位符的方式填充用户内容,避免用户输入的内容逃逸成为系统指令。
在prompt中明确划定边界,告知模型哪些部分属于用户输入,哪些是系统规则。
3、RAG知识库必须增加业务权限层
向量检索完成之后,拿到文档id列表,再根据当前用户角色,过滤掉无访问权限的文档片段,再送入大模型上下文。
不要把所有文档一股脑全部丢给大模型,检索不等于有权查看。
4、工具调用:AI输出只作为候选,业务层强制校验
大模型输出的工具名称、参数,只能当作建议。
后端拿到参数之后,和普通接口入参一样做参数校验、权限校验、业务合法性校验,校验通过才执行真实逻辑。坚决不直接信任AI生成的内容。
5、输出侧风险管控
对外返回之前,增加输出敏感信息检测,拦截手机号、身份证、内部合同编号等敏感内容外泄。
业务重要场景,AI输出结果强制增加人工复核环节,不允许AI结果直接落库生效。
6、做好日志与审计
完整记录用户原始提问、送入大模型的完整上下文、模型返回结果、工具调用记录。
出现异常访问时,可以回溯完整链路,方便定位攻击与排查问题。
四、不同业务场景的安全落地优先级

内部办公AI助手:重点做好知识库权限隔离,防止不同部门之间文档越权查看。
面向外部客户的AI问答:重点防御Prompt注入,防止内部知识库泄露。
带工具调用的智能业务助手:最高优先级,严格校验工具入参,防止诱导篡改业务。
AI生成内容辅助场景:重点防幻觉输出,重要业务必须人工确认。
五、总结
大模型业务安全,不能只依靠大模型本身,不能把安全全部交给prompt。
传统接口安全思想依然有效,同时要额外处理提示注入、知识库权限、工具调用校验、输出审计这几类LLM特有风险。
很多企业只关注AI好不好用,忽略安全建设,等到发生数据泄露才发现防护缺失。接入大模型时,安全加固要和业务功能同步上线。
在线
电话
微信
需求
TOP