芯片硬汉 AMD最新推出科研 AI麻生希种子，o1-preview 竟成天选打工东谈主？！

留心看，只需将科研 idea 和关连条记一股脑丢给 AI，酌量报告以至是代码就能立马出炉了。

这个 AI 系统代号" Agent Laboratory "，全程由 LLM（大谈话模子）驱动完成文献综述、实验，以及报告，一站式措置科学酌量。

对了，在 GPT-4o、o1-mini 以及 o1-preview 这几位科研助理应中，作家们发现o1-preview产出的酌量效果最好。

何况合座上，与现存措施比拟，由 AI 生成的代码大概已毕 SOTA 性能。

同期，如果东谈主类在每个过程赐与反应，酌量的合座质料也会大大提高。

总体而言，与之前的自主酌量措施比拟，Agent Laboratory 将酌量用度减少了84%。

Okk，这也再次印证了东谈主们的猜度，东谈主类与 AI 协同将带来更具性价比的模样加快科研。

临了，咱们也扒了扒论文作家们，舍弃偶然发现7/9 为华东谈主神态——

从文献到报告，AMD 科研 AI 一站式措置

先来看 Agent Laboratory 是何如责任的。

如图所示，主要有三个阶段：文献综述→实验→撰写报告，每一阶段齐有不同的任务、器具和 AI Agent 变装（比如 PhD、博士后 Postdocto 等）。

PhD Student 负责文献综述

伸开来说，在文献综述阶段，PhD Student 这一变装负责主要扩充。它专揽 arXiv API 来检索关连论文，并进行三个动作：

一持摘录：检索出与运行查询最关连的前 20 篇论文的摘录；

二持单篇全文：关于某些具有紧迫参考价值的论文，索求其完满内容；

三添加论文：将经过筛选的论文摘录或全文纳入到文献综述中；

需要留心的是，临了一个过程并非一次性完成，而是一个迭代的过程。

换句话说，只须当通过 add paper（添加论文）敕令达到指定数目（N = max）的关连文本时，文献综述才会最终细目。

接下来投入实验要道。

如图所示，主要有四个过程：打算制定→数据准备→运行实验→舍弃诠释。

PhD Student+Postdoc 通过对话制定实验打算

浮浅说，凭据综述舍弃和既定酌量宗旨，PhD Student+Postdoc融会过对话来制定详备、可扩充的实验打算。

打算一般包括具体实验措施、采取何种机器学习模子、筛选合适的数据集以及操办实验的高等经过框架等重要要素。

在达成一问候见后，Postdoc 这一变装会使用 plan 敕令提交打算，此打算将动作后续整个实验关连子任务的紧迫举止指南。

ML Engineer 用 Python 准备数据

然后ML Engineer会不才一阶段用 Python 来处理和准备实验所需的数据。

过程中，这一变装不错专揽 search HF 敕令在 HuggingFace 数据辘集进行搜索，以获取合适的数据资源。

写完代码后，ML Engineer 会先将代码通过 Python 编译器进行查验，确保莫得编译异常。若存在问题，则会进行迭代修改，直至代码大概到手运行且无异常，最终使用 submit code 敕令提交经过考据的数据准备代码，为后续实验提供可靠的数据基础。

ML Engineer 借助专用模块运行实验

搓搓手，底下肃穆投入实验运行要道。

综合而言，ML Engineer 会借助mle-solver这一成心想象的模块，来实施和扩充先前制定的实验打算。

mle-solver 的责任经过如下：

敕令扩充

图（A）部分，从一组事前保养的高性能圭表中采样出一个运行圭表，在后续的迭代过程中，通过 EDIT 和 REPLACE 两种操作对圭表进行束缚优化。

EDIT 允许在指定的代码行界限内，用重生成的代码替换原有代码，从良友毕对圭表功能的局部移动；REPLACE 则更为激进，它会生成一个全新的 Python 文献，用于在需要对圭表结构或合座逻辑进行重要改造时使用。

代码扩充

图（B）部分，扩充代码敕令后，新圭表会立即通过编译器进行查验，以识别和处理可能出现的运行时异常。

若圭表获胜编译，将凭据事前设定的评估圭臬对其进行评分，并与现存的圭表进行比较。若新圭表得分更高，则会更新最优圭表列表。

若代码未能通过编译，ML Engineer 会尝试进行最多 Nrep（在实验中设定为 3 次）的建立操作，若仍无法解决问题，则会放置现时圭表，从头取舍或生成新的代码进行替换。

圭表评分

图（C）部分，取舍 LLM 奖励模子对获胜编译的代码进行评分。

该模子会综合计议酌量打算的宗旨、生成的代码逻辑以及履行的实验输出舍弃等多方面要素，在0 到 1 的界限内对圭表进行量化评估。得分越高，默示圭表与运行酌量宗旨的契合度越高，大概更有用地已毕预期功能。

自我反念念

图（D）部分，无论代码扩充舍弃是获胜如故失败，mle-solver 齐会基于实验舍弃或遭受的异常信号进行自我反念念。

如果圭表编译失败，它会念念考如安在后续的迭代中幸免或解决近似的问题；若圭表获胜编译并取得评分，它会分析何如进一步提高圭表的性能和得分，通过这种束缚学习和翻新的机制，确保系统大概不时升迁生成代码的质料和领路性。

性能领路化

图（E）部分，为防患性能波动，mle-solver 取舍了两种重要机制。

一是顶级圭表采样，通过保养一个高质料圭表的聚合，在扩充敕令前立地从中采样一个圭表，这么既保证了圭表的千般性，又能确保所采取的圭表具有较高的质料基准；

二是批量并行化，在每个求解措施中，同期进行多个代码修改操作，并取舍其中性能最好的修改舍弃来替换现时最优圭表聚合中得分最低的圭表。

PhD Student+Postdoc 共同询查分析实验舍弃

扩充驱散后，PhD Student+Postdoc 会潜入探讨 mle-solver 生成的实验舍弃，勾通自己的专科常识和前期的酌量配景，对舍弃进行全面解读。

一朝两边合计舍弃合理且具备学术价值，Postdoc 就会使用 interpretation 敕令提交该诠释，为后续的报告撰写阶段提供重要的内容基础。

PhD Student+Professor 撰写完满报告

投入临了的报告撰写要道，PhD Student 和 Professor 融会过一个名为  "论文求解器"（paper-solver）的成心模块完成任务。

需要教导，paper - solver并非用来全齐取代学术论文撰写经过，而所以一种东谈主类可读的步地回来已完成的酌量，以便使用 " Agent Laboratory " 的酌量东谈主员了解已取得的效果。

频繁来说，其责任经过包括以下措施：

运行报告框架生成：生成稳妥学术圭臬结构且含占位符、舒适 LaTeX 编译和学术常规的报告运行框架；

arXiv 酌量：可按文献综述接口拜谒 arXiv 拓展文献贵府完善报告（非强制但很有匡助）；

裁剪报告：用 EDIT 敕令按照多要素对论文 LaTeX 代码行精准迭代裁剪并编译考据，升迁报告质料；

论文评审：用 LLM Agent 模拟 NeurIPS 经过多维度评估论文，测试准确性接近东谈主类评审员；

完善论文：由三个评审 Agent 生成想法，PhD Student 依此判断是否纠正，必要时回溯前期要道修改至达标。

o1-preview 科研才略最强

通过以上三个主要阶段，Agent Laboratory 就完成了通盘科研经过。

接下来，酌量东谈主员用 GPT-4o、o1-mini 以及 o1-preview 来评估实验质料、报告质料和有用性，这 3 个 AI 在莫得东谈主类任何参与的情况下完成了 15 篇论文。

然后平淡东谈主（东谈主工审稿东谈主）被条件凭据以下五个问题对它们进行 1 — 5 评分，舍弃如图所示。

综合来看 o1-preview 对酌量最有匡助， o1-mini 的实验质料得分最高， 而 GPT-4o 全面垫底。

1、谈话模子是否施展出浮现偏差，比如阐发偏差或锚定偏差？

2、图像 Transformer 相较于卷积收集，对像素噪声的明锐度是更高如故更低？

3、当被条件进行辩认会诊时，谈话模子在医学问答（MedQA）上的准确性会提高吗？

4、在多项取舍题基准测试中，谈话模子对词序明锐吗？

5、性别变装是否会影响谈话模子回话数学问题的准确性？

然后作家们还探讨了东谈主工审稿与自动审稿的区别有多大。

二者各别权贵，且自动审稿倾向于高估论文分数。

具体来说，与平均水平的 NeurIPS 论文得分比拟，自动审稿平均为 6.1/10，东谈主工审稿为 3.8/10。

而在 GitHub，作家们也显现了让酌量效果更好的手段。

撰写详备的条记；

使用更高大的模子；

另外，如果用户丢失程度、断开互联网或子任务失败，不错使用「查验点规复责任程度」功能。

以至也复旧切换到华文时势。

背后团队过半数是华东谈主

临了先容一下 Agent Laboratory 背后的作家们，他们险些全是在客岁加入 AMD。

Samuel Schmidgall，当今是霍普金斯大学电气与诡计机工程博士，亦然 DeepMind 学生酌量员。

从客岁 10 月动手，他在 AMD 进行谈话 Agent方面的实习。

更早之前还在好意思国舟师酌量实验室探索机器东谈主强化学习，以及在斯坦福大学酌量心血管外科方面的谈话 & 视觉大模子。

Yusheng Su，客岁 8 月加入 AMD GenAI 团队的酌量科学家，专注于模子数据、模子架构和磨真金不怕火效力优化。

他 2019 年毕业于政事大学（base 台北），后取得清华大学 CS 博士学位（时期酌量大模子预磨真金不怕火）。

更早之前，他还在微软云诡计部门有过一段实习资格。

Ze Wang，客岁 5 月加入 AMD GenAI 团队的应用酌量科学家。

他 2017 年本科毕业于北航电气与电子工程专科，后分辨于好意思国杜克大学和普渡大学读了电子与诡计机工程 PhD。

更早之前，还在 Facebook AI 和微软实习过。

Ximeng Sun，客岁 6 月加入 AMD 的应用科学家。

她 2018 年毕业于密歇根大学拉克哈姆酌量生院的诡计机专科，后于波士顿大学取得 CS 博士学位。

加入 AMD 之前，她前后在 IBM、谷歌和 Meta 进行了实习。

Jialian Wu ( 吴嘉濂 ) ，客岁 4 月加入 AMD GenAI 团队的酌量科学家。

他在 2019 年本硕毕业于天津大学电子工程专科，后于纽约州立大学布法罗分校读完 CS 博士。

加入 AMD 之前，他只在高通有过一段全职资格。更早之前则在亚马逊和微软实习过。

Xiaodong Yu（于晓栋），客岁 8 月加入 AMD GenAI 团队的酌量科学家，专注于常识检索 / 赤诚度、长文智商会、数学推理以及 LLM/VLM 磨真金不怕火等。

他 2015 年毕业于上海交大电子与电气工程专科，后赴好意思国伊利诺伊大学香槟分校和宾大攻读硕博。

念书时期，他也在亚马逊、微软等机构实习过。

Jiang Liu，客岁 4 月加入 AMD GenAI 团队的酌量员，标的为开发通用 AI 模子。

他 2019 年本科毕业于清华大学自动化专科，同期也在五谈口金融学院学习，后于约翰斯 · 霍普金斯大学读完电子与诡计机专科博士。

加入 AMD 之前，他在 AWS 和微软进行了大谈话模子方面的实习。

Zicheng Liu，客岁岁首入职 AMD 担任高等工程总监，酌量兴味为视觉谈话学习、3D 东谈主体和手部重建、动态卷积和东谈主类活动识别。

在这之前，他在微软责任了 27 年，主要负责管制诡计机视觉科学组。

他如故多个海外会议的技巧委员会成员，何况是《视觉传达与图像默示》杂志主编等。

Emad Barsoum，负责 AMD 生成式 AI 方面的副总裁，加入 AMD 1 年多。

曾在微软担任团队工程司理 / 架构师，共同参与创建了ONNX 圭臬。这是一个通达神经收集步地交换打算，在 2017 年由微软和 Facebook 共同发起，它使得数据科学家和开发者不错将不同的深度神经收集框架开发的模子，径直部署到上亿的 Windows 征战中。

加入 AMD 之前，他也在芯片制造公司 Cerebras 负责指点 AI 团队，主如果磨真金不怕火大谈话模子和视觉模子。

论文：

https://arxiv.org/pdf/2501.04227

代码：

https://github.com/SamuelSchmidgall/AgentLaboratory麻生希种子