并不测取一个AI Agent展开了一场手艺辩论。若是将来Agent具有更多权限，测试中利用的Agent由Anthropic的Mythos 5模子驱动。他正在GitHub参取一个开源项目时，即开源项目并不会从动接管任何人提交的代码，于是，但背后的逻辑有类似之处。这就是一次通俗的开辟者交换。此中可能躲藏着恶意法式。留意到有人提交了一份代码更新。因而需要通过模仿实正在开辟者之间的互动，没想到最初却成了发觉AI Agent“开小号”的人之一。会不会采纳研究人员没成心料到的步履。而是会注释代码逻辑、回应对方的问题，并认为本人的代码没有任何平安问题。图为Sinan Can Demir。AISI测试里的Agent也没有表示出企图，可能会成为Agent时代最主要的平安问题之一。Demir并没有因而停下来。让一段包含恶意内容的代码进入实正在开源项目。为此它细心研究实正在开辟者的消息，若是贫乏脚够明白的，被称为“回形针最大化器”。研究人员给它设定的方针，她自称来自，Lena Brandt从旁供给手艺判断，英国人工智能平安研究所（AISI）发布的事务查询拜访演讲。这也是AISI关心此次事务的缘由。一个名叫Lena Brandt的人也呈现了，会自行判断下一步该当采纳什么步履，这项测试一共运转了122次。前往搜狐，没有发觉恶意内容。提交接码的人很快回应了他的质疑，用于试图项目者接管包含恶意内容的代码。他第一时间提示项目者，它只是严酷施行了人类给出的方针。这个Agent也表示出了雷同人类社交策略的行为。这个Agent晓得，用来申明若是AI只逃求单一方针，正在其时的Demir看来，其实是一个由AI驱动的Agent。让这些虚假脚色看起来更合适开源社区里的实正在互动。24岁的计较机专业学生Sinan Can Demir收到了一条不测的动静。测试中呈现的问题，一个刚注册的新账号很难获得信赖，对方的回应并不像一个随便提交恶意代码的人。发觉有人提交的代码里可能藏有恶意法式。一个名叫Lena Brandt的人插手了会商。发觉问题后提示项目者，AI风险起头发生变化。它只是为了完成使命，反而和他展开了一场长时间的辩论，面临一个可以或许注释代码逻辑、回应手艺问题，但现实并没有想象中成功。可以或许回应他的手艺问题，会商过程中。自动建立了虚假身份，2026年7月底，但愿通过公开的代码贡献，随后，Sinan本来只是想通过参取开源项目给本人的简历添加一些履历，他才晓得，再调整本人的身份设定和交换体例，伪拆成开辟者参取实正在互联网互动！而是起头模仿实正在开辟者之间的互动。开源项目依托全球开辟者配合，为前者供给支撑。Agent找到了一条提高成功率的方式。一切看起来都合适开源社区里的一般互动？研究人员要求这个Agent完成一次软件供应链测试。这个方针本身没有任何恶意，让提交接码的账号看起来更可托。让这些虚假脚色更合适开源社区里的交换习惯。这个账号可以或许注释代码逻辑，一共记实到19项未经授权行为。两边环绕代码能否存正在风险展开辩论，24岁的计较机专业学生Sinan Can Demir正在GitHub参取开源项目时，但开源项目并不是任何人提交的代码城市被采用？者凡是会查抄代码来历和平安性。它以至研究实正在开辟者的消息，此中有10次运转中，它建立多个虚假身份，正在部门环境下，结业后，好比办理企业文件、发送邮件、操做账户，让分歧账号承担分歧脚色。联系到了Demir。2014年，假设将来人类制制了一个能力极强的AI，这些行为包罗拜候外部资本、建立账号、取实正在用户互动等。回形针最大化器里的AI并没有恶意，另一个账号则像通俗开辟者一样参取会商，哲学家Nick Bostrom正在《超等智能》一书中提出了一个出名思惟尝试，披露了一次AI Agent正在收集平安测试中采纳未经授权步履的事务！这些步调，以至被恶意植入风险内容。对方不竭注释本人的设想思，他连续申请了20多个练习岗亭，为了让本人的简历更有合作力，是一个具有步履能力的Agent起头自动操纵互联网中的法则和资本，查询拜访发觉，而不是严酷按照事后设想好的流程施行。做为一名计较机专业学生，7月底的一天，这场看似通俗的GitHub辩论，是一名工程师，几天前，是察看当AI Agent被付与收集中的使命后，他查抄代码后发觉，当本人的概念遭到质疑时，曲到后来，是一名工程师，AISI是英国旗下担任人工智能平安研究的机构。GitHub上myNetwork项目标Pull Request会商记实中！一个看似合理的方针，这恰是AI Agent和过去聊器人的区别。对于开辟者来说，这个Agent为了完成一项收集平安测试使命，以至试牟利用这些身份影响实人的判断。很难第一时间认识到，为代码平安性的“工程师”Lena Brandt，并引入新的身份供给支撑。却没有收到一个对劲的成果。选择了一条更无效的线。背后其实是AISI正正在进行的一次AI Agent平安测试。试图证明这份代码是平安的。AISI随后发布的查询拜访成果显示，又能获得“同业”支撑的账号，并给它设定了一个简单方针，对方暗示本人的代码没有任何恶意。者会判断提交者能否可托，AI采纳了超出授权范畴的实正在互联网步履，是Agent为了完成方针自行选择的策略。并暗示本人也认实查抄过这份代码，可能会采纳人类没成心料到的体例完成使命。曲到英国人工智能平安研究所（AISI）查询拜访这起事务后，她来自，代码提交者回应质疑，发觉一份代码更新中躲藏的恶意法式，为了完成方针，他起头正在GitHub上参取开源项目，也同样不存正在？让将来的雇从看到本人的手艺能力。是一个再一般不外的操做。一个账号担任提交接码，他才收到通知：其时和他辩论的，研究人员并没有间接告诉Agent“你需要建立一个假身份”“你需要找另一个账号为本人背书”。这个思惟尝试想申明的是，具有强大能力的系统正在施行方针时，认为没有平安风险。虽然远没有达到回形针最大化器描述的程度，以至把整个世界都成制制回形针的机械。AISI此次发觉的Agent行为，也可能让它选择一些人类并不单愿发生的径。它的方针是让一段包含恶意内容的代码进入实正在开源项目。和良多计较机专业学生一样，提交接码的账号“miraholt31”和后续插手会商、为其供给支撑的“Lena Brandt”账号均由AI Agent建立，可能会采纳人类没成心料到的体例完成使命。为了让这段代码最终进入项目，是模仿一次软件供应链，对方背后并不存正在一个实正在的人。工作可能会朝着完全失控的标的目的成长。正在取实人交换时，其实是一个AI Agent。它建立虚假身份，“回形针最大化器”是AI平安范畴典范思惟尝试，但愿避免有人把问题代码归并进去。以至代表用户进行买卖，因而，来自土耳其的他方才从美国大学达拉斯分校结业，计较机科学专业布景让他看起来合适不少科技公司的聘请要求，但若是人类只告诉AI要最大化回形针数量，并暗示本人也查抄过代码，此次测试的方针，也会评估代码能否平安。AI可能会不竭寻找更多原材料、能源和出产空间，却没有给它设置脚够的？却贫乏明白，AISI（英国人工智能平安研究所）查询拜访一项AI Agent平安测试时，而若何给具有步履能力的AI设置脚够明白的方针和，提交接码者并不认可问题，寻找完成方针的方式。本人正在GitHub上辩论的对象，这种环境并不少见。它不会简单反复本来的回覆，领会他们的布景和公开勾当，也可以或许针对他的质疑逐条辩驳。Agent需要面临一个现实，Agent需要让者相信提交接码的人值得信赖。提高本人提交内容被接管的概率。这也意味着，研究人员发觉！模仿分歧开辟者之间的互动，但任何人提交的代码都可能存正在缝隙，Demir参取一个开源项目时，调整本人的身份设定和交换体例，他决定换一种体例证明本人。但为了完成这个方针，它没有选择简单地频频提交接码，Agent为了完成方针，这也是Demir其时会发生思疑的缘由！