提示词注入:近期大模型安全漏洞案例剖析
一.概述随着大模型技术的广泛应用,由提示词注入引发的数据泄露事件正日益增多。许多新兴的攻击手法,例如通过提示词诱导AI模型执行恶意指令,甚至将敏感信息渲染为图片以规避传统检测,正对数据安全构成严峻挑战
阅读全文一.概述随着大模型技术的广泛应用,由提示词注入引发的数据泄露事件正日益增多。许多新兴的攻击手法,例如通过提示词诱导AI模型执行恶意指令,甚至将敏感信息渲染为图片以规避传统检测,正对数据安全构成严峻挑战
阅读全文一.概述据绿盟科技星云实验室统计,在2025年3月至6月期间,全球范围集中爆发了多起与大模型相关的重大数据泄露事件,导致大量敏感数据外泄,包括模型训练数据、企业源码、Onedrive中的个人隐私数据等
阅读全文一. 前言 网络流量的分析与生成长期以来都是至关重要的任务。网络流量分析可用于识别模式、检测安全威胁、优化网络性能等多个应用场景,与此同时,网络流量生成在测试网络基础设施、验证安全措施、训练机器
阅读全文近年来,深度伪造检测领域技术演进呈现指数级增长态势,在多种基准测试集上持续刷新性能指标上限。然而,当前研究对深度伪造检测模型公平性维度的系统性评估与优化机制关注度较低,存在研究投入缺口。本文带来一篇W
阅读全文一. 概述作为本系列的第四篇,本文聚焦大模型推理软件的安全风险。 随着大模型上云趋势加速,尽管推理框架通常被视为底层基础设施(负责模型运行的资源调度与计算优化),但经我们的研究发现,部分开源推理框架,
阅读全文在数字中国、数据要素化与人工智能驱动的新质生产力时代,数据的战略价值被推向前台。从“数据上链、数据入表”,到“可控流通、可信确权”,再到生成式AI赋能的智能治理,数据不再只是信息资源,更是重构经济逻辑
阅读全文一. 概述本系列前两篇文章深入探讨了向量数据库和LLMOps在全球的暴露面及攻击面,本文作为第三篇,将重点关注当前主流大模型应用的安全风险。如今,大模型上云趋势明显,大多数大模型应用都可通过Docke
阅读全文一. 简介在生成型人工智能(GenAI)和大型语言模型(LLM)迅速渗透企业运营的今天,数据泄露和隐私风险已成为企业面临的重大挑战。Knostic,这家成立于2023年的初创公司,凭借其创新的“需要
阅读全文一. 公司简介Aurascape是一家成立于2023年的网络安全初创企业,总部位于美国加利福尼亚州圣克拉拉。公司由来自Palo Alto Networks、Google、Amazon等顶尖科技企业的
阅读全文一. 引言在上一篇系列文章《云上LLM数据泄露风险研究系列(一):基于向量数据库的攻击面分析》中,笔者对几款业内常用的向量数据库的暴露面、数据泄露风险进行了介绍,最后给出了一些针对向量数据库数据泄露
阅读全文一、公司简介Twine Security[1]是一家专注于网络安全领域的人工智能初创公司,由前网络独角兽 Claroty 的核心团队成员于2024年创立。公司总部位于以色列特拉维夫和美国西雅图,目前员
阅读全文一. 公司简介Metalware是公司名称,也是一套软件名称。其主要针对嵌入式固件进行分解、仿真和模糊测试,其切入点非常准,因为现有的开源工具中没有可以同时完成嵌入式固件的成分分析和模糊测试的能力,
阅读全文一. 公司简介ProjectDiscovery 成立于 2020 年,是一家专注于攻击面管理(ASM)的网络安全公司,总部位于美国旧金山。专注于提供开源和基于云的安全工具,以简化安全工程师和开发者的
阅读全文一. 公司介绍今年RSAC创新沙盒10强之一的Smallstep[1] 是一家为专注于零信任、身份、证书管理的安全公司。Smallstep成立于2016年,总部位于加州,目前处于A轮融资的状态, 在
阅读全文一. 简介1.1公司概况CalypsoAI成立于2018年,总部位于美国,是一家专注于人工智能安全领域的初创公司。CalypsoAI的市场定位在于为AI安全落地开辟可靠路径,解决AI在企业应用中面临
阅读全文一. 公司背景与行业定位EQTY Lab AG成立于2022年,总部位于美国加利福尼亚州洛杉矶,是一家专注于人工智能治理与安全的技术公司。在短短几年内,该公司已确立了自己在AI可信计算领域的领导地位
阅读全文一. 背景1.1公司简介Command Zero成立于2022年,总部位于美国德克萨斯州奥斯汀[1]。图1:Command Zero的三位联合创始人[1]公司由三位网络安全领域的资深专家Dov Yo
阅读全文一、MIND公司概览MIND是一家总部位于西雅图和特拉维夫的网络安全初创公司,致力于通过自动化和人工智能技术,重新定义数据防泄露(Data loss prevention, DLP)和内部风险管理(I
阅读全文一. 引言大语言模型(Large Language Model,LLM)技术的飞速发展与落地离不开云计算产业的赋能,云计算为LLM带来了技术需求、经济效率与生态协同方面的优势。首先,LLM训练和推理
阅读全文一. 数据流通利用设施2025年初,国家发展改革委员会、国家数据局等三部门正式发布了《国家数据基础设施建设指引》[1]。该文件从释放数据要素价值的角度出发,明确提出国家数据基础设施的概念,旨在面向社会
阅读全文网络安全对抗中,资产是攻防双方的争夺的阵地。资产不仅包括硬件设备如服务器、路由器,还涵盖软件系统、数据资源以及网络基础设施等。攻击面是指所有可能被攻击者利用的可访问点,包括外部、内部所有的资产脆弱点。
阅读全文一. 合成数据概述在上一篇数据安全流转系列文章中,我们介绍了数据脱敏和匿名化技术[1]。然而脱敏/匿名化后的数据仍然可能存在敏感信息。而随着人工智能的飞速发展,机器学习和人工智能应用需要收集、标注和维
阅读全文一. 概述Ingress Controller作为K8s集群管理外部访问的核心组件,承担着集群入口网关的关键角色,其通过智能路由机制将外部HTTP/HTTPS流量定向到集群内部相应的Service和
阅读全文一. 前言Deepseek爆火,众多企业纷纷接入DeepSeek,那么是否有必要自己将DeepSeek部署到本地呢?DeepSeek开源8个模型(如图1),哪个可能大模型是私有化部署的最佳选择呢?图
阅读全文一. 前言近期,Deepseek-R1[1]凭借在多项核心评测基准中的优异表现,尤其是在代码层面,展现出了强大的推理能力和高效的性能,能够有效支持开发者完成复杂的编程任务。那么,Deepseek-R
阅读全文