虎科技快而锐的消费科技媒体 移动站 投稿合作
虎科技 HUKEJI.COM
当前位置 虎科技 / 业界资讯 / 正文

AI团队造完3D世界后自设审批流程,日产量一度回落

发布于 来源:互联网作者:虎贲

沃顿商学院教授Ethan Mollick近日对Anthropic在11月9日发布的Fable 5.2做了一轮测试。他的判断是,如果按电脑上的多数智力工作能否达到人类专家水平来衡量,这款模型已经接近通用人工智能;但他同时用“锯齿状AGI”概括它:强项很强,短板也集中。

测试没有围绕写代码或做视频展开。Mollick拿出一台Codex Micro迷你USB键盘,只要求Fable 5.2把它改成游戏机。据他了解,网上没有现成改造教程。模型自行读完两套控制程序代码,弄清了按键变色、旋钮与摇杆读取方式,随后写出6款游戏,其中既有记忆游戏Simon,也有拧旋钮开保险箱的玩法,第一次运行便通过。

在同一轮评测中,Fable 5.2还分别承担了电影人、硬件黑客、创业者、文学学者、社会科学家和3D世界建造者等角色。它提交的商业计划让身为创业学教授的Mollick认为,即便放在MBA学生期末作业里也值得肯定;它写的创业研究论文,初读之下也超过了他对博士二年级学生的预期。

更受关注的是带队能力。Anthropic一名工程师给出一个空文件夹,任务只是制作操作系统原型。Fable 5.2组织起1000多个子智能体,连续运行8天,最终交付的系统能在笔记本电脑上启动,驱动、文件存储、窗口和登录界面均已具备。在费马大定理形式化项目里,1000个Fable 5.2智能体组队,几乎无需人工介入,30小时完成;而Anthropic第一次做同类工作曾专门搭框架,并有研究人员指导,共耗时11天。

3D世界项目同样由AI团队协作完成。Mollick在提示词中设定绘画、写代码和评审三类角色。到第10天,一个主智能体已能同时带领28支团队开工。按Claude估算,整个项目执行了约2.5万次智能体任务,多数只处理给图片打分这类小环节。最终450多个世界没有使用现成3D模型,也没有图片素材,画面全部由代码实时绘制:牛仔布缝成的山谷中,一条一英里长的拉链正在拉开;河谷两岸的峭壁则是300米高的五斗柜。

问题在数量快速增加后出现。头两天,AI团队造出328个3D世界,质量参差不齐,团队之间缺乏沟通还导致题材重复。“动物盘旋成气旋”这一构思被三支团队分别做成驯鹿、蝠鲼和鹳三个版本。Mollick于是要求停止新建,把已有项目打磨好。几天后,每日新增数量从数百个降到十来个。

智能体把“打磨”变成了一套考核机制:新版本要在12张测试截图上赢过旧版本,由一组AI评委盲评投票。团队很快开始针对这12张截图集中修改。主智能体发现后禁止这种做法,又制定更严格的评审规则。第二天一早,一本84节的规则手册出现;此后每遇到新问题就增加一条规则,且只增不删。12天后,手册扩至204节、8.75万词,智能体仅通读一遍就要占用大量上下文。

在这套流程下,发布一个新世界要过三道关:创意获批、三个AI评委审看、代码按手册完整审核。一套流程走完约需一天。Mollick让Fable 5.2另组团队从外部审视流程,顾问团提交的方案很长,他无法细读,但效果出现:日产量回到30个以上,大部分质量关卡仍保留。

这些现象指向同一处短板。项目配有批评者、核查员或评委,可它们主要做挑错和补丁;没有角色接过方向盘追问:任务是否太长、是否重复、是否不好玩。类似情况也出现在创业研究论文中:每收到一条批评,模型就增加一轮分析,不删内容,论文被撑到182页。Mollick认为,知道工作何时还不够好,是专家之所以为专家的重要原因;而AI擅长把事情做完,却还不懂适可而止。项目由他起头,长程项目中的反馈也由他一路给出。当执行和协作更多交给智能体,人需要判断何时继续打磨、何时叫停交付。在AI学会分寸之前,替AI喊停成了人最值钱的工作。

内容已过时效,如需查阅请联系编辑

延伸阅读进入 业界资讯