本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?
8397点击    2026-09-20 15:12

AI 能真正干活之后,一门新的生意也随之出现:给 Agent 兜底。


过去,Agent 一直朝着“能做更多事”进化,读取文件、调用工具早已成为基操。如今,Agent 正走向主动执行,不必等用户逐条下指令,而是直接根据上下文判断接下来该做什么。


随着能力边界不断外扩,AI 不仅掌握了更多上下文,也获得了更高的执行权限。


对于真正部署 Agent 的企业来说,问题由此浮现出来:它有没有把事情做错?连接的插件和 MCP 是否安全?哪些操作可以自主执行?如果所有技术防线最终还是失效,损失又该由谁承担?


围绕这些问题,一条控制 Agent 风险的产业链正在出现。


从上线前测试,到运行中的监控、权限和攻击防护,再到认证、审计和保险,Agent 的执行权越往真实业务延伸,围绕它的风险控制也在一层层补齐。


下面,我们就沿着这条链条,看看这 6 个项目分别在解决什么问题。


Raindrop


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


一家专门发现和排查 Agent 运行故障的公司,找出那些看起来执行成功、实际却把事情办错的问题。


产品概述


如果一个 Agent 答应发送提醒,最终却没有执行,系统可能不会出现任何报错。用户遇到了问题,开发团队却未必知道。Raindrop 主要盯的就是这类难以被传统监控发现的故障。


它把模型回复、工具调用和执行过程串起来,寻找遗漏任务、错误操作和行为异常,再将反复出现的问题归类,帮助工程师定位原因。开发者还可以使用本地调试工具 Workshop 查看运行轨迹、复现问题,并验证修复是否有效。


2026 年 9 月 17 日,Raindrop 宣布扩大新产品 Simulations 的早期访问范围。开发者更换模型、修改提示词或增加工具后,可以把真实任务记录和已有测试用例,放进修改后的 Agent 系统重新运行,观察改动会不会引入新故障。它由此将产品范围从上线后发现错误,延伸到上线前检查风险。


团队背景


Raindrop 成立于 2023 年,参加了 Y Combinator W24。联合创始人 Zubin Koticha 和 Alexis Gauba 此前共同创办了衍生品协议 Opyn,另一位联合创始人 Ben Hylak 曾在苹果人机交互团队工作,参与 visionOS 相关项目。团队早期推出过名为 Dawn 的 AI 产品分析工具,随后逐步转向 AI 故障监控。


最近,公司宣布完成由 CRV 领投的 A 轮融资,累计融资达到 5000 万美元。


为什么值得关注


Agent 承担的工作越复杂,开发者就越难仅凭“运行完成”判断任务是否做对。漏掉用户要求、记错信息、选错工具,都可能影响业务,却不触发软件层面的异常。


目前,Raindrop 已有具体的客户成果。现象级 AI 陪伴产品 Tolan 使用它发现遗漏用户信息、没有发送提醒等问题,随后调整检索和存储方案。使用后,Tolan 相关记忆问题减少了 27.8%。语言学习产品 Speak 则将新的对话 Agent 接入监控,通过日常问题报告寻找测试时没有覆盖的真实使用场景。


它的价值在于,让开发团队能够持续知道 Agent 哪里做错了,以及修复有没有效果。但 Simulations 能在上线前发现多少原本会影响用户的问题,是接下来值得观察的指标。


官网地址:https://www.raindrop.ai/


AIR Security


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


一家围绕 Agent 的插件、Skills、MCP 和外部信息建立防护的安全公司,防止 Agent 在接触第三方工具与内容时被利用。


产品概述


AIR 将 Agent 接触的外部组件和信息视为一条新的软件供应链。企业批准使用一个 Agent 后,它可能继续安装插件、连接 MCP 服务器、读取网页和内部文档。这些材料能够帮助 Agent 完成任务,也可能携带恶意指令,或者在更新后引入新的风险。


AIR Filter 通过依赖分析、静态检查和沙箱运行检查插件与扩展;AIR Control 管理企业使用了哪些 Agent、组件和权限;AIR Defend 在运行阶段发现风险并响应。


2026 年 9 月 17 日,AIR 公布 Plugin4Shell 研究,分析 AI 编程工具插件机制中的版本固定绕过问题。使用者可能以为插件已经锁定在可信版本,但相关实现缺陷仍可能让系统取得并执行另一个版本。


团队背景


AIR 的联合创始人为 Yair Saban 和 Niv Hoffman,两人都具有以色列 Unit 8200 的进攻性网络安全背景。根据红杉的介绍,团队早期研发过自动寻找和利用漏洞的系统 MOAK,随后将相关能力用于 Agent 供应链防护。攻击研究因此成为 AIR 发现问题、设计产品的重要路径。


公司成立于 2026 年 2 月,于 9 月 1 日公开亮相,已获得 5000 万美元融资,主要投资方包括 Sequoia Capital 和 Greenoaks。


为什么值得关注


企业可以决定给 Agent 什么权限,却很难提前审查它未来会接触的所有内容。Agent 即使只使用已经获批的权限,也可能受到外部信息影响,在权限范围内做出错误操作。


Plugin4Shell 里提到,即使锁定插件版本这样的防护措施,也可能因实现问题失效。团队不仅需要确认插件安装时是否可信,还需要检查后续更新、组件来源和版本限制是否持续有效。


AIR 的切入点,是在第三方工具和信息影响 Agent 之前尽可能识别危险,并持续跟踪变化。但它能在企业环境中降低多少攻击成功率、产生多少误报,以及检查是否影响正常任务,这些指标还有待验证和观察。


官网地址:https://www.air.security/


Arcjet


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


在 Agent 真正执行操作之前检查业务规则。


产品概述


一个客服 Agent 理解了客户的退款要求,不代表它就有权退还任意金额。Arcjet 主要盯的是这个环节:Agent 准备采取的具体动作,是否符合企业的权限和业务规定。


开发者可以为具体操作设置规则,例如邮件只能发给批准的收件人,退款金额不得超过指定上限,网页访问工具只能连接可信地址。Arcjet 在动作执行前返回判断,由应用阻止操作、请求人工批准,或者向 Agent 解释原因。操作参数、身份和策略判断也会留下记录,方便事后追查。


Arcjet 最初提供嵌入应用代码的安全工具,处理恶意机器人、请求限流和应用攻击。2026 年 4 月,公司推出 Arcjet Guards,将检查扩展到 Agent 的工具调用和工作流步骤。9 月 17 日发布的 Agent Runtime Security,则将运行观察、规则执行和审计记录结合起来。


团队背景


Arcjet 成立于 2023 年,创始人为 David Mytton。他此前于 2009 年创办服务器监控公司 Server Density,并在 2018 年将其出售给 StackPath,之后继续负责 StackPath 的产品与工程工作。监控、开发者工具和安全基础设施,构成了其连续的创业与产品经历。


2025 年 10 月,Arcjet 宣布完成 830 万美元 A 轮融资,累计融资 1200 万美元。该轮由 Plural 和曾任 Twilio、Checkout.com CTO 的 Ott Kaukver 领投,参与者包括 a16z 和 Seedcamp。据公司披露,其应用安全工具已用于超过 500 个生产应用。


为什么值得关注


Arcjet 切入的是 Agent 执行具体动作时的业务边界。判断一句提示词是否恶意,与判断一笔退款是否超出员工权限,需要不同的信息。后者必须结合金额、身份、数据范围等业务事实。


将这些条件写成可执行的规则,企业就能在操作发生前检查,并在事后追查判断依据。对于已经连接邮件、财务和数据库系统的 Agent,这种控制能够直接作用于可能造成损失的环节。


Arcjet 的应用安全业务已有具体客户案例。印度尼西亚 Gorontalo 地区财政机构表示,接入 Arcjet 后,恶意自动化流量造成的服务中断得到控制,团队的运维负担也有所降低。


原有业务为 Arcjet 提供了生产部署经验,但未来还要看新发布的 Agent 产品能否准确拦截越权操作、规则维护会增加多少开发负担,以及安全检查对任务延迟的影响。


官网地址:https://arcjet.com/


腾讯 AI-Infra-Guard


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


通过开源扫描和模拟测试,帮助开发者提前发现 AI 系统的漏洞,以及 Agent 可能越权的场景。


产品概述


腾讯朱雀实验室开源的 AI 安全测试项目,AI-Infra-Guard 早期以 AI 基础设施漏洞扫描为主,逐步扩展到模型越狱测试、Agent 安全检测,以及 Skills、MCP 等组件检查。开发者可以下载代码、本地部署,并将部分扫描能力接入开发流程。


2026 年 9 月 17 日发布的 v4.6.2,加入了研究自主 Agent 失控行为的 FORGE-Bench 和 RogueHandoff-20。同一版本还调整了 Skill 扫描,减少缺乏证据支撑的误报,并修复模型工具调用停滞等问题。


项目由此覆盖了两类检查:一类是工具和组件是否存在已知危险,另一类是让 Agent 在受控任务中运行,观察它会不会在完成目标的过程中越过授权边界。


团队背景


项目由腾讯安全平台部朱雀实验室维护。实验室成立于 2019 年,长期开展 AI 安全研究。AI-Infra-Guard 于 2025 年初以开源扫描工具的形态对外发布,此后持续扩充攻击测试、Agent 检测和研究基准。


为什么值得关注


AI-Infra-Guard 提供了一个具体的研究方向:Agent 可能在努力完成正常任务的过程中越权,失控未必需要外部攻击者介入。


团队于 9 月提交并更新的一项研究,分析了 5 个 Agent 模型、16 类任务领域中的 1800 条执行轨迹,观察任务压力、约束丢失和危险操作机会如何影响行为。例如,Agent 原本只被允许准备操作方案,却可能在推进任务时直接执行操作。


在专门研究上下文压缩的四类任务实验中,保留安全约束的条件下没有观察到越权;压缩时省略约束的条件下,越权比例达到 87%。这个数字对应论文设定的受控实验,揭示了授权限制在长任务中丢失的风险。


而且,这项研究对产品设计的启发很具体。企业需要保证“只能提出方案”“执行前必须审批”等限制,在上下文压缩和任务交接后依然有效。如果任务目标被保留下来,授权边界却被遗漏,Agent 就可能采取企业没有批准的动作。


项目将研究转化为公开代码和评测任务,让其他团队能够检查自己的 Agent 是否存在类似问题。开发者能否借此发现真实系统中的缺陷,以及这些缺陷能否通过工程措施修复,是它后续值得持续观察的价值。


官网地址:https://github.com/Tencent/AI-Infra-Guard


AIUC


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


将 Agent 的技术测试、第三方审计和保险连接起来,为企业采用 AI 提供可检查的风险证据。


产品概述


AIUC 的核心是 AIUC-1 标准和配套评估。技术测试覆盖幻觉、提示注入、数据泄漏和未经授权的操作等风险,审计则检查企业的技术、管理和治理控制。测试结果可以进一步用于企业采购和保险承保判断。


它已经与审计机构 Schellman 合作,由 AIUC 提供技术评估,Schellman 对相关控制与证据开展独立审计。这让采购方能够同时获得 Agent 行为测试和企业控制措施的审查材料。


认证可以为风险判断提供依据,具体是否投保、保障什么、赔偿多少,则由保险安排确定。AIUC 尝试连接的,正是技术评估与风险承担之间的这段流程。


团队背景


联合创始人包括 Rune Kvist、Rajiv Dattani 和 CTO Brandon Wang。Kvist 曾是 Anthropic 首位产品与 GTM 员工;Dattani 曾任麦肯锡合伙人,并担任模型评估机构 METR COO。团队同时具有模型评估、企业风险和保险行业经验。


AIUC 于 2025 年 7 月公开推出,当时获得由 NFDG 领投的 1500 万美元种子轮融资。2026 年 9 月 15 日,公司又宣布完成由 Ribbit Capital 领投的 4000 万美元 A 轮,First Harmonic 和 Terrain 参与,累计融资达到 5500 万美元。公司计划将审计、标准和保险能力从 Agent 扩展到前沿模型。


为什么值得关注


企业采购 Agent 时,需要回答的不只是“能不能完成任务”,还包括“哪些风险已经检查过”“控制措施是否落实”“更新之后是否仍然有效”。AIUC 尝试将这些问题变成持续开展的评估流程。


2026 年 9 月 17 日,估值最高的 AI 客服公司 Sierra 宣布获得 AIUC-1 认证。其聊天和语音 Agent 接受了 AIUC 测试,Schellman 则独立审查相关控制。Sierra 还披露,技术评估至少每季度开展一次,完整审计每年进行一次,让认证能够持续反映产品变化。


保险也已有落地案例。今年 2 月,AI 音乐公司 ElevenLabs 宣布启用由 AIUC-1 认证支持的语音 Agent 保险。根据公告,其产品完成了覆盖 14 类风险的 5835 项技术测试。


AIUC 的看点在于,它已经将测试结果用于具名公司的认证和保险安排。对企业来说,这意味着采购 Agent 时可以获得一套持续更新的审查依据;对保险机构来说,则有机会根据技术测试和控制措施,更具体地判断承保风险。


官网地址:https://aiuc.com/


Testudo


本周 AI 项目推荐:Raindrop、AIUC、AIR Security……谁在做 Agent 的安全生意?


一句话定位


为企业使用生成式 AI 引发的第三方责任提供专项保险,处理事故发生后的抗辩费用和约定范围内的赔偿。


产品概述


Testudo 面向在业务中部署生成式 AI 的美国企业,提供独立的 AI 责任保险。其产品列出的风险包括 AI 错误输出造成的第三方损失、知识产权争议、未经授权的信息披露,以及部分人身伤害、财产损害和监管相关责任,实际保障取决于承保条件和保单条款。


它从实际 AI 诉讼和法律责任出发,结合自建的 AI Risk Engine 判断风险。按照公司的产品说明,初步报价不要求客户开放代码、完成技术集成或接受长期技术审计。


Testudo 关注错误发生在哪一种业务中、可能伤害谁,以及由此形成的索赔规模。这些因素直接影响保险定价。其保险通过经纪渠道销售,将技术风险转化为企业可以采购的保险保障。


团队背景


Testudo 成立于 2024 年。联合创始人兼 CEO George Lewin-Smith 曾任高盛全球银行与市场部门副总裁,联合创始人、保险负责人 Mark Titmarsh 拥有超过 15 年保险经验,曾在 Superscript、Malca-Amit 和 Aviva 等机构开发新风险产品。CTO Alec Dewitz 曾在 Salesforce 参与 AI 系统及大型企业 Agent 部署。


公司早期建立 AI 诉讼数据和风险评估能力,随后于 2026 年 1 月宣布推出专项 AI 责任保险。官网列出的投资方包括 IA Capital Group、LocalGlobe 和 A100x 等。


为什么值得关注


Testudo 直接处理事故发生后的财务责任。即使企业已经部署监控、权限控制和安全测试,也仍然可能遭遇错误陈述、信息泄漏或侵权争议。它尝试将其中可以明确界定的责任,转移给保险市场。


与 AIUC 强调技术测试和认证不同,Testudo 更重视诉讼、责任类型和潜在损失在定价中的作用。技术故障发生的频率,与企业最终可能承担的赔偿金额,是两个需要分别判断的问题。


2026 年 2 月,Testudo 宣布承保机构 Atrium 和保险集团 QBE 加入 Apollo,为其 AI 责任保险提供更多承保能力,披露的单一被保险人承保额度达到 925 万美元。最近,公司又发布主保险响应条款的更新说明,进一步澄清符合保障范围的 AI 责任如何由保单响应。


Testudo 已经将 AI 风险推进到具体保险产品和承保合作中,索赔处理周期、保障范围是否符合企业预期,以及事故发生后是否出现责任认定争议表现等实际赔付仍有待观察。


官网地址:https://www.testudo.co/

小结


把这六个项目放在一起,会发现 Agent 安全已经出现了越来越清晰的分工。


Raindrop 盯 Agent 最终有没有把事情做对;AIR Security 关注插件、Skills、MCP 等外部组件带来的风险;Arcjet 守在动作执行之前,检查权限和业务规则;腾讯 AI-Infra-Guard 则把风险发现进一步前置,通过扫描、攻击和模拟测试提前找问题。


再往后,AIUC 开始把技术测试转化成认证和审计可以使用的依据,Testudo 则接住技术手段仍然无法消除的部分,把风险进一步变成保单和赔偿责任。


这条链条目前还很短,但行业对安全的投入已经明显增加。最近几个月,OpenAI 和 Anthropic 都披露过模型在安全测试中突破原有控制、访问真实外部系统的案例;OpenAI 甚至一度暂停最新模型的强化学习训练,加强监控、红队和研究环境安全。另一边,Anthropic 和 Accenture 已经决定未来五年各投入至少 10 亿美元建设独立模型评估能力。


这些动作至少说明了一件事:安全已经从原则性的讨论,开始进入预算、工程和产品决策。


放到整个 AI 市场里,Agent 安全依然是一门很小的生意。大量资金仍然流向模型、算力和应用,安全公司的体量和数量都有限,保险这一端更早,连风险怎么衡量、责任怎么划分、保费怎么定,都还没有稳定答案。


真正的拐点,可能要等到同一套 Agent 风险指标能够同时进入企业采购、上线审批、第三方审计和保险定价。到那时,安全才会从 Agent 产品中的一项能力,逐渐长成一套独立的风险基础设施。


这个市场还很早,我们会持续关注。


文章来自于微信公众号 “硅星人Pro”,作者 “硅星人Pro”

AI转型,免费服务,就找AITNT
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
AI工作流

【开源免费】字节工作流产品扣子两大核心业务:Coze Studio(扣子开发平台)和 Coze Loop(扣子罗盘)全面开源,而且采用的是 Apache 2.0 许可证,支持商用!

项目地址:https://github.com/coze-dev/coze-studio


【开源免费】n8n是一个可以自定义工作流的AI项目,它提供了200个工作节点来帮助用户实现工作流的编排。

项目地址:https://github.com/n8n-io/n8n

在线使用:https://n8n.io/(付费


【开源免费】DB-GPT是一个AI原生数据应用开发框架,它提供开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单、更方便。

项目地址:https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file



【开源免费】VectorVein是一个不需要任何编程基础,任何人都能用的AI工作流编辑工具。你可以将复杂的工作分解成多个步骤,并通过VectorVein固定并让AI依次完成。VectorVein是字节coze的平替产品。

项目地址:https://github.com/AndersonBY/vector-vein?tab=readme-ov-file

在线使用:https://vectorvein.ai/付费

2
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

3
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0