产品描述

　　是Large Language Model的简称，中文名是大语言模型，是一种基于海量文本数据训练的深度学习模型（人工智能模型）。

　　私有LLM应用场景一般是私有化部署，给企业内部员工使用，聚焦垂直领域，训练数据涵盖公司特有数据，比如：辅助工程师编程的LLM应用。

　　公共LLM大范围的应用于各领域，采用SaaS形态，广大新老用户在互联网共同使用，可用于辅助写文章、作画、制作视频等，这类LLM应用有：国外的OpenAI ChatGPT、国内的百度文心一言等。

　　这里指的是独立售卖的LLM产品，无须部署，就像手机一样买来就可以用，比如：聊天机器人。

　　LLM应用也属于Web应用范畴，采用了HTTP/HTTPS协议，常见的Web应用攻击也会威胁到LLM应用，如：XSS、SQL注入攻击等。

　　LLM应用除了受到常见Web应用攻击的威胁，还会受到针对LLM应用场景的新型攻击的威胁，结合创宇安全智脑威胁情报，安全专家分析后发现，针对LLM应用最常见的攻击是：提示词攻击、API攻击、数据投毒攻击、个人可识别信息泄露攻击、模型拒绝服务攻击。

　　这种攻击涉及策略性地设计和操纵输入提示，以影响LLM的输出。这包括两种主要的策略：

　　1）提示注入：通过精心制作的提示操作模型，绕过过滤器，导致模型产生非预期的后果，如数据泄露、没有经过授权的访问、仇恨言论产生、假新闻产生等。

　　2）攻击、目标劫持和提示泄漏：这一些方法通过操纵原始提示的目标，误导模型生成特定的目标短语或重现原提示的部分或全部，违背用户指令。

　　目前从市场来看，由于人工智能技术的复杂性和不确定性，开发、测试和部署人工智能模型常常要使用很多API，并将它们组合成复杂的系统。API的安全性和稳定能力，对于保证整个AI系统的稳定运行至关重要。如果API发生问题，将会影响整个AI系统，导致系统崩溃或无法正常工作。

　　在使用AI系统时，很多应用场景都一定要通过这些API处理复杂计算、获取用户敏感信息、输出模型结果，所以跟其他Web应用类似，LLM的API通常也被黑客作为重点攻击对象。如果这些API的安全性得不到有效保障，就会影响AI应用的可靠性、稳定性，而由于LLM在实时进化、输出结果的不唯一性等特点，API攻击带来的威胁会被放大。

　　数据投毒攻击（Data Poisoning Attack）是一种针对大型语言模型（LLM）的攻击方式。攻击者通过在训练数据中添加有毒样本，故意扰乱语言模型的决策过程，由此产生错误的输出。常见的攻击手段包括直接向训练数据中注入不安全代码，以及通过触发词植入后门，数据投毒攻击常跟后门攻击组合使用。

　　个人可识别信息泄露攻击(PII Leakage Attack)是一种针对大型语言模型（LLM）的隐私攻击方式。攻击者通过模型输出获取训练数据中的个人可识别信息，如：姓名、联系方式等敏感信息。训练数据来源复杂，LLM训练数据来源复杂，可能包含大量PII，模型可能记忆并泄露这些PII。

　　攻击手段：攻击手段包括直接询问模型获取PII、利用模型记忆能力恢复PII、以及利用模型生成包含PII的内容。

　　模型拒绝服务攻击，指攻击者对大型语言模型（LLM）进行资源密集型操作，导致模型服务降级、不可用，或资源成本极大的提升。由于LLM的资源密集型、用户输入的不可预测性、模型输出的不唯一性等特征，跟非LLM应用相比，LLM应用的该漏洞攻击会被放大。

　　OWASP 也于2023年10月发布了《OWASP 大语言模型AI应用Top 10 安全威胁》，指出了针对LLM应用的Top 10安全威胁，这跟我们的分析结果是高度吻合的。

　　《OWASP 大语言模型AI应用Top 10 安全威胁》原文中文版链接：

　　结合近期LLM应用的攻击态势，我们基于云防御推出了LLM应用防护方案，涵盖LLMDDoS清洗、应用安全、API安全、内容安全等防护服务。

　　采用抗D保CC防火墙、IP限制、APP专用防CC策略等功能，对IP的访问频率、流量进行限制，对APP端的伪造CC请求进行清理洗涤，阻挡“模型拒绝服务攻击”。

　　采用创宇盾网站防火墙、协同防御、精准访问控制等功能，拦截XSS、SQL注入等常见Web应用攻击，并对包含恶意输入内容的“提示词攻击”进行拦截。

　　采用创宇盾智能限速、屏蔽时间、精准访问控制等功能，保护LLM API免受恶意攻击。API安全作为AI生态链的关键环节，在保障用户数据安全、防止黑客攻击、保护知识产权等方面发挥着至关重要的作用。只有慢慢地增加API安全的保障，才能确保整个AI生态链的稳定运行和长期发展。

　　采用净网盾、隐私盾，对LLM应用源站因遭受恶意攻击，返回的个人敏感信息、仇恨言论、假新闻等内容做过滤，防止这些敏感数据泄露到互联网，被人非法利用。