AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源
6076点击    2026-06-16 10:24

AI写代码的风险隐藏在看似正确的代码中,可能引发数据泄露或资产损失。Narwhal AI Code Risks开源项目整理了真实案例、早期信号和典型风险路径,帮助开发者提前识别隐患,避免重蹈覆辙。


2026年,代码正以越来越快的速度生成,却以越来越少的审视被部署。


越来越多时候,用户的需求被放进对话框,AI读完上下文,补全函数,拉起依赖,改好配置,再顺手生成测试。


等回过神来,一段代码已经躺在仓库里,等待合并。


用户都已经形成了新的习惯,先让AI写出来跑起来,有问题再看哪里需要改。


但软件世界里,最危险的东西往往是看起来平平无奇的代码:语法正确,接口合法,测试通过,注释完美。


可它仍然可能引入不存在的包名,打开过宽的权限,暴露数据库......甚至让一个能直接调用系统工具的 Agent 在提示词注入下,把敏感数据带出内部系统。


真正危险的,不是报错红灯亮起。而是所有风险仪表都显示正常。


AI 写代码的风险,过去散落在各处:一篇安全博客藏着一个案例,一个 Issue 记着一段线索。等下一个团队遇到同类问题时,又需要从头拼凑风险来源、又要耗费大量时间精力对代码进行大规模实证测量。


而北京大学Narwhal-Lab刚刚开源的Narwhal AI Code Risks已经把信息碎片整理好,按照真实事件、早期信号和典型风险路径这三种类型归类,供研究者查看。


AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源

论文链接:https://github.com/Narwhal-Lab/Narwhal-aicode-risks


当28项检查全部通过

系统仍然偏航


第一条线索是一个已经合并的Pull Request,PR署名栏里赫然写着Claude Opus 4.6和Copilot,以及四位人类开发者。28项检查全部通过:没有人发现问题


然后,清算机器人花了几分钟,拿走了价值1,778,044.83美元的抵押品。


配置文件里cbETH的价格被设成了和ETH的换算比例,约等于1.12美元,而不是实际接近2,200美元的价格。


一个价格语义错误就这样穿过了开发、检查和合并流程,最后在金融系统里变成了真实损失。这就是Moonwell cbETH预言机配置事故最刺眼的地方。


问题就出在代码中没有语法报错,人类开发者也没有立刻阻断异常的流程。相反,它看起来很完整,很顺利,这就是一次正常的工程交付。


但正是这种暗流涌动的正常,才让它成为安全事件的典型例子。


AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源


AI Coding的风险在于它并不总是以报错的方式出现。


很多时候,它披着正确答案的外衣,安静地进入工程流程。代码能跑,检查能过,PR能合并,但业务语义已经偏离了真实世界。


在低风险项目里,这种语义偏离可能只是一次返工;但在金融、企业数据系统等敏感场景中,它将直接泄露数据、暴露权限和损失资产。


当AI参与写代码、改配置、做review、甚至共同署名进入PR时,我们有没有足够把握知道每一次偏航是怎么发生的?


绿色通行信号

照不到所有角落


早期的AI帮你写代码,大多停留在局部补全。如果语法写错了,编译器会报错,单元测试会失败,CI流程会将其拒之门外。


今天的AI Coding走得更远而监管却迟迟却未跟上。


它能读文件,能改配置,能安装依赖,能生成基础设施脚本,也能通过Agent在多个任务之间自行规划。


AI不再只是坐在旁边递工具,它开始进入软件工程的更长链路。


软件工程里原本清晰的边界,被AI Agent重新连成了一条更长、更难溯源的路径。


AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源


分散的记录

需要一份公共航行日志


安全事件很少一开始就有完整结论。有些事件证据充分,可以作为真实案例进入目录;有些还停留在社区截图、研究员讨论或初步披露阶段,只适合继续观察;还有一些不绑定单一真实事件,却已经形成清晰模式,适合拿来做提前推演。


Narwhal AI Code Risks 把材料分成三层:`cases/`、`inferred/` 和 `scenarios/`


cases/ 记录已经有公开来源和证据链支撑的真实事件;inferred/ 保存还没有完全坐实、但值得持续追踪的早期信号;scenarios/ 整理暂不绑定单一事件、但风险路径足够清晰的典型场景。


AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源


如果没有这样的公共记录,AI Coding 的风险很容易变成互联网里的短期记忆。


今天大家记得某个包名,明天讨论某次数据暴露,过几个月又被新的工具热潮覆盖。等相似问题再次出现,团队仍像无头苍蝇撞进风险未知的航区。


Narwhal AI Code Risks做的,就是把这些零散风险片段固定下来,让后来的人可以翻到同一页。


沿着七类索引

看见风险的来路


AI写代码带来的问题,不只在代码里。它在依赖里,在权限里,在Agent的工具调用里,更在人类对AI输出的信任方式里。


Narwhal AI Code Risks目前把风险分成7类:供应链、代码级漏洞、云与基础设施配置、Agent风险、垂直领域风险、知识产权与合规风险,以及人为因素。


AI应用元年,只会yes,无视风险?软件开发的航行日志全面开源


在供应链风险里 ,AI可能推荐不存在的依赖。代码级漏洞里,AI可能把路径遍历、输入校验缺失、鉴权问题重新写进业务代码。云与基础设施配置里,AI可能为了先把代码跑起来给出过宽的权限、公开的存储桶或暴露的端口。Agent风险则更复杂,不只是生成文本,而是开始执行动作。AI生成物正在给真实系统埋下隐患。


AI引擎在点火

而航行日志才刚刚翻开


当AI一步步走进真实世界,相关的风险防治不应该只停留在事后复盘或零散讨论中。


Narwhal AI Code Risks真正重要的地方,是把风险案例变成可以复用的知识


开发者可以用它识别相似问题;安全研究人员可以把它作为样本库;工具厂商可以从中提取检测规则和评测基准;开源社区也可以继续补充新的案例、新的证据和新的风险类型。


AI 的引擎正在轰鸣,每一次偏航也都应该留下坐标。风险从来不会因为被忽视而消失,但经验可以被记录与传递。真正有价值的并非发现一次漏洞,而是让后来者不必再踏入同一个陷阱。


Narwhal AI Code Risks正在做的,就是为AI应用元年的软件世界,留下一份开源的航行日志。


参考资料:

https://github.com/Narwhal-Lab/Narwhal-aicode-risks


文章来自于"新智元",作者 "LRST"。

AITNT-国内领先的一站式人工智能新闻资讯网站
AITNT资源拓展
根据文章内容,系统为您匹配了更有价值的资源信息。内容由AI生成,仅供参考
1
智能体

【开源免费】AutoGPT是一个允许用户创建和运行智能体的(AI Agents)项目。用户创建的智能体能够自动执行各种任务,从而让AI有步骤的去解决实际问题。

项目地址:https://github.com/Significant-Gravitas/AutoGPT


【开源免费】MetaGPT是一个“软件开发公司”的智能体项目,只需要输入一句话的老板需求,MetaGPT即可输出用户故事 / 竞品分析 / 需求 / 数据结构 / APIs / 文件等软件开发的相关内容。MetaGPT内置了各种AI角色,包括产品经理 / 架构师 / 项目经理 / 工程师,MetaGPT提供了一个精心调配的软件公司研发全过程的SOP。

项目地址:https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md

2
prompt

【开源免费】LangGPT 是一个通过结构化和模板化的方法,编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词,进而高质量的帮助用户通过AI解决问题。

项目地址:https://github.com/langgptai/LangGPT/blob/main/README_zh.md

在线使用:https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0