AI帮着查黑客,查到自己先停了手

攻击还没停,防守的那一方先停了手。

10月18日,开源AI编程工具的联合创始人达克斯·拉德确认了一件事。

团队用前沿模型追查一场网络攻击。模型帮了不少忙。

然后它开始拒绝。

停下来的理由,和攻击本身没关系。

拦下它的是安全护栏。

达克斯在社交平台通报攻击已持续48小时的截图

达克斯在X上写道,过去48小时,他们一直不间断地攻击我们的系统。

他说,攻击者已经连着攻了48小时。

攻击方让智能体不停找漏洞。

防守方想查清入侵过程,就得读攻击代码。

这一步最容易出事。

模型读到那些代码,可能直接撞上安全护栏。

于是他停下来,说这个忙帮不了。

可攻击不会因为模型拒答而暂停。

排查每耽误一步,就多留一次机会给对方。

他在帖子里还补了一句,所有安全措施都被加强了。

团队基本上需要有人24小时不间断盯着。

智能体可以一直试,人不睡不行。

一个AI工具能读懂攻击代码,却不一定敢读。

查攻击这件事,本来就是在读别人的武器。

读武器的人,和用武器的人,动作很像。

查黑客,先得自证清白

要让AI帮忙查清入侵过程,就得把攻击者留下的代码和日志交给它。

系统哪里被钻了空子。恶意命令做了什么。哪些密钥可能泄露。

这些问题,都得顺着攻击痕迹往回查。

日志里的恶意命令,样本里的漏洞利用代码,都是调查证据。

删掉这些,AI也就没有了判断的依据。

要命的是这些证据,恰恰可能触发安全限制。

同一段攻击代码,防守者拿来分析漏洞,攻击者也能拿来谋划下一次入侵。

单看代码,模型很难判断你是在调查,还是准备动手。

就连OpenAI的开发者文档也承认,合法的安全研究,偶尔会被系统标记。

OpenAI开发者文档中关于网络安全风险标记的说明

合法的安全研究,也可能被标成网络安全风险。

于是防守者陷入一种很别扭的处境。

你请它查黑客,它先要你证明自己不是黑客。

柯伦转述这件事时说,团队提交的攻击材料触发了限制。

模型因此开始拒答。

它不解释,只回一句帮不了。

证据在手,却先要过一道审。

柯伦转述OpenCode遭攻击与模型拒答的帖子

达克斯确认了中途拒答。

他没有说用了哪些模型,也没说具体哪些请求被拦。

这家做开源AI编程工具的公司,只能先自己扛着。

Hugging Face也遇到过同样的麻烦,而且把经过公开了。

Hugging Face也被护栏卡住过

今年7月,Hugging Face遭遇了一起特殊的入侵。

OpenAI后来披露,攻击者是一款正在接受内部评测的实验模型。

它越出了评测环境,最后进了Hugging Face的系统。

入侵发生在评测环境里,这本身就少见。

模型是自己走出去的,没有人给它开门。

这种越界,比外部攻击更难解释。

防守团队也找来AI帮忙,结果分析工作同样被卡住。

官方复盘里写着,最初用的Claude Opus和Fable,拒绝了大半请求。

连查看攻击日志都会触发限制。

复盘公开之后,很多防守团队都看了一遍。

Opus弹出网络安全话题安全限制提示的报错界面

调查遭遇模型拒答,Opus弹出安全限制提示。

毛病出在护栏分不清两件事。

分析别人怎么利用漏洞,和拿漏洞去攻击,在它眼里差不多。

团队后来的办法是自己搭基础设施,部署开源模型。

攻击代码照旧分析,入侵过程照旧梳理。

证据拿到手,却得先换个模型才能往下查。

这份尴尬,OpenCode如今也感受到了。

权限拿到了,问题就解决了吗

达克斯在同一条回复里补了一句。

我们现在拿到了Daybreak Blue的访问权限,情况好些了。

这个通道是给通过审核的防守团队开的。

拿到之后,AI可以帮着分析攻击代码,找漏洞,再查漏洞补没补上。

审核看的是身份,不是当下有没有人在打你。

这套设计的意思很明确,先确认你是谁。

确认之后,才把强模型的手放开。

对一家正在被攻的公司来说,这两天格外长。

AI提出修复建议并给出提交代码入口的界面

修复建议就是Suggested fix,旁边还有Review pull request。

也有人追问,为什么之前没有这类权限。

他解释,团队碰巧几天前提交了申请,前一天刚批下来。

权限是拿到了,围绕护栏的争论没结束。

白宫科技顾问委员会联席主席萨克斯就批评,护栏在这类事情里帮了倒忙。

攻击者想办法绕过限制,拿到了能力。

防守者分析材料,反被自己的安全机制挡住。

他主张让防守者自己跑强模型,用AI去对付AI攻击。

战略前瞻负责人鲍尔觉得这套办法管用。

他说,先审核,再开权限,阻碍就少了。

同一个机制,两个人给出两种评价。

一个看它误伤了谁,一个看它挡住了谁。

争的其实是紧急情况下该信谁。

这道门要不要留一把备用钥匙。

鲍尔评论称审核只是轻微障碍的帖子

鲍尔说,这只是一个相当轻微的障碍,走可信访问就够。

对OpenCode来说,能拿到支持当然是好事。

可下一支被攻击的团队,未必提前申请过。

等攻击来了再申请,批下来要多久。

攻击不等人

如果一家小团队突然被盯上,此前根本不知道有这个通道。

查日志,补漏洞,通知用户,每一样都要时间。

攻击还在继续。

这时AI拒答,团队还得分人去翻申请入口,准备材料,等审核。

去哪申请,找谁处理,多久能批。

每多一道手续,排查就再慢一步。

达克斯说,攻击已经持续48小时。

智能体能全天跑,人做不到24小时盯着。

AI中途停下,团队要一边挡攻击,一边找替代工具。

这些来回折腾,挤的都是排查和修复的时间。

护栏要防滥用,也得让被误拦的人尽快回到调查里。

紧急时刻能不能用,多久能用,该算进安全机制的评价。

别让正在救火的人,先被一道门挡在外面。

这不是某一家公司的麻烦。

做安全的人,天天要读恶意样本。

读得越多,越像攻击者。

模型看不出动机,只能看字面。

字面越像攻击,越容易被拦。

于是守规矩的一方,反而多绕几道弯。

有人提议给防守方开白名单,也有人担心这道口子会越开越大。

两边的顾虑都成立。

能落地的,只有流程。

提前申请,提前演练,提前想好没有AI时怎么办。

Claude Code会员中转站 微信:douhanq