400-920-5594
173-6014-8050
首页 > 资讯中心 > 技术分享
大模型应用安全实战复盘:接入AI之后容易忽略的 Prompt注入、数据泄露、业务篡改风险
2026-09-08 8 技术分享

成都软件开发

  现在越来越多业务系统开始集成大模型能力:AI问答助手、知识库检索、单据智能解析、业务辅助决策、智能报表生成。

很多开发人员沿用传统接口的安全思路,做好接口鉴权、参数校验就直接上线。

  但大模型属于生成式AI,存在传统系统没有的新型安全风险。外部用户通过构造特殊提示词,就有可能绕过业务限制,诱导模型泄露内部文档、篡改输出逻辑、甚至间接调用内部接口,造成业务故障和数据泄露。

  很多安全事故并不是大模型本身漏洞,而是业务侧接入时缺少防护,没有针对LLM做专门的安全约束。

  本篇从真实线上案例出发,梳理大模型业务最容易踩的几类安全坑,给出生产环境可用的加固手段。

一、大模型业务最常见的4类安全风险

1、直接Prompt注入攻击

成都软件开发

  这是落地大模型业务最高发的一类风险。

  业务会把用户输入直接拼接进Prompt模板交给大模型处理,攻击者输入特殊指令,覆盖掉系统预设指令。

  举个场景:系统原本设定“只允许回答产品公开资料,禁止输出内部合同与报价”。用户输入恶意提示词,强制模型忽略前面所有规则,输出内部知识库内容。

  一旦防护缺失,业务规则会被直接绕过,造成内部资料外泄。

2、知识库检索带来的数据泄露

  RAG知识库是企业大模型最常用的方案,把内部文档、合同、工单、内部规范存入向量库,用户提问时检索相关片段交给大模型整理回答。

  很多项目只做简单的相似度检索,没有做权限过滤。

  普通用户提问,向量库把高权限文档、内部工单、未公开合同检索出来送入上下文,大模型直接整理输出返回给普通用户,发生越权泄露。

  很多人误以为向量数据库自带权限控制,实际上绝大多数向量库本身并不处理业务权限,权限需要业务层自己实现。

3、间接诱导执行业务逻辑,造成业务篡改

  部分系统支持大模型调用后端工具函数:查询订单、生成单据、发起审批、修改部分业务字段。

  攻击者通过提示词诱导,欺骗大模型调用错误工具、传入恶意参数,实现查询他人订单、伪造单据、触发异常业务流程。

  风险点不在于工具本身,在于大模型输出的工具调用参数没有做严格校验,直接信任AI输出去执行业务逻辑。

4、输出侧污染,生成虚假与误导业务内容

  大模型存在幻觉问题,同时也可被用户诱导生成虚假业务数据。

  如果业务直接采信AI输出结果,不经人工复核直接入库、生成合同、生成报表,会产生大量错误业务数据,干扰经营判断。

  这类问题不会直接泄露数据,但会慢慢污染业务库,带来隐性业务风险。

二、很多项目防护失效的几个典型错误做法

成都软件开发

错误1:完全依赖大模型自身的系统提示词做安全约束

  很多开发把全部安全规则写在system prompt里面,寄希望大模型自己拒绝恶意请求。

  大模型的指令遵从存在上限,复杂构造的注入提示词,有概率覆盖系统prompt,仅靠模型本身无法做到100%防御。

错误2:用户输入简单关键词过滤

  简单屏蔽少数敏感关键词,攻击者很容易通过拆分、变体、混淆句式绕过过滤,防护效果很有限。

错误3:RAG检索之后不做权限过滤

  向量检索只看文本相似度,不识别业务权限。检索出来的文档片段,必须根据当前登录用户身份再做一轮权限过滤,否则极易越权泄露。

错误4:直接信任AI输出,不加校验调用工具

  把大模型输出的参数直接交给后端函数执行,没有参数校验、没有权限判断,等同于把接口交给大模型全权代理。

三、生产环境大模型应用完整加固方案

成都软件开发

1、输入层:对用户输入做前置检测

  • 对用户原始query做注入风险检测,识别高风险提示词特征,高危请求直接拦截,不要送入大模型。

  • 做输入长度限制,避免超长输入消耗大量token,同时降低注入构造空间。

2、Prompt模板做好隔离,不要简单字符串拼接

  • 区分系统预设指令与用户输入,使用占位符的方式填充用户内容,避免用户输入的内容逃逸成为系统指令。

  • 在prompt中明确划定边界,告知模型哪些部分属于用户输入,哪些是系统规则。

3、RAG知识库必须增加业务权限层

  • 向量检索完成之后,拿到文档id列表,再根据当前用户角色,过滤掉无访问权限的文档片段,再送入大模型上下文。

  • 不要把所有文档一股脑全部丢给大模型,检索不等于有权查看。

4、工具调用:AI输出只作为候选,业务层强制校验

  • 大模型输出的工具名称、参数,只能当作建议。

  • 后端拿到参数之后,和普通接口入参一样做参数校验、权限校验、业务合法性校验,校验通过才执行真实逻辑。坚决不直接信任AI生成的内容。

5、输出侧风险管控

  • 对外返回之前,增加输出敏感信息检测,拦截手机号、身份证、内部合同编号等敏感内容外泄。

  • 业务重要场景,AI输出结果强制增加人工复核环节,不允许AI结果直接落库生效。

6、做好日志与审计

  • 完整记录用户原始提问、送入大模型的完整上下文、模型返回结果、工具调用记录。

  • 出现异常访问时,可以回溯完整链路,方便定位攻击与排查问题。

四、不同业务场景的安全落地优先级

成都软件开发

  • 内部办公AI助手:重点做好知识库权限隔离,防止不同部门之间文档越权查看。

  • 面向外部客户的AI问答:重点防御Prompt注入,防止内部知识库泄露。

  • 带工具调用的智能业务助手:最高优先级,严格校验工具入参,防止诱导篡改业务。

  • AI生成内容辅助场景:重点防幻觉输出,重要业务必须人工确认。

五、总结

  大模型业务安全,不能只依靠大模型本身,不能把安全全部交给prompt。

  传统接口安全思想依然有效,同时要额外处理提示注入、知识库权限、工具调用校验、输出审计这几类LLM特有风险。

  很多企业只关注AI好不好用,忽略安全建设,等到发生数据泄露才发现防护缺失。接入大模型时,安全加固要和业务功能同步上线。

推荐文章查看更多》