咱们都知道以 ChatGPT 为代表的清华大型语言模子（LLM）具备代码天在行腕，事实代码自己也是员工一种语言。

克日
，都G的公档条清华大学孙茂松团队不光是司代让 LLM 当挨次员，还更进一步，码文基于 LLM 开拓出了一家「伪造软件开拓公司」ChatDev。龙效率这家公司的清华各总体员都是 LLM
，能端到端地实现从合成需要到写代码再到文档制作的员工全部软件开拓流程 ，实现软件开拓一条龙效率
。都G的公档条事实情景下 ，司代基于该框架，码文用户惟独提个需要
，龙效率就能收获一个文档配置装备部署精采的清华软件！这篇论文的员工第一作者为清华大学软件学院结业的钱忱博士 。

论文地址 
：https://arxiv.org/abs/2307.07924

软件零星的都G的公档条开拓、运行以及呵护需要有条理、有原则地实施 。

可是，由于开拓软件需要重大的智慧，因此良多抉择每一每一是基于直觉以及对于资深开拓者的有限咨询。深度学习技术的睁开让钻研者看到了新的可能性
：是否将深度学习用于软件工程，从而提升实用性以及功能并飞腾老本 ？以前已经有一些相关钻研处置了一些使命 ，波及软件需要 、妄想、实现 、测试以及呵护。软件开拓流程波及多种使命职能 ，搜罗机关调以及 、使命调配 、代码编写、零星测试、文档制作等 。因此重大的软件需要持久的开拓周期以及对于细节的高度关注。

近些年，大型语言模子（LLM）已经在做作语言处置（NLP）以及合计机视觉（CV）规模取患了严正妨碍 。重大来说
，LLM 的磨炼范式是基于大规模语料库来「预料下一个词」；而磨炼患上到的模子能卓越应答良多差距的卑劣使命
，如高下文感知型问答、机械翻译以及代码天生。事实上 ，软件开拓的中间元素（即代码以及文档）着实都可能被视为「语言」，即字符序列。

基于这一思考，清华大学
、北京邮电大学以及布朗大学的一个钻研团队妄想了一种框架 ，可用 LLM 来实现端到真个软件开拓。据介绍 ，该框架涵盖了全部开拓流程 ，搜罗合成需要、代码开拓、零星测试以及文档天生 ，目的是为软件开拓提供一个不同、高效  、低老本的范式。

钻研者的做法并非用 LLM 直接天生全部软件零星 ，由于这会泛起一些代码幻觉（code hallucinations）下场
，相似于做作语言知识查问中的幻觉天气。这些幻觉搜罗功能实现不残缺、缺少依赖以及尚未发现的可能过错。出今世码幻觉的原因主要有两个。

第一，当一步式地天生软件零星时
，由于难以指定详细使命，LLM 会感应怀疑  。LLM 在处置高层级使命时缺少细粒度思考，好比合成用户 / 客户需要以及抉择编程语言
，而这些细粒度使命能为软件开拓提供向导 。

第二 ，抉择规画历程缺少交织魔难具备严正危害 。差距的模子示例给出的谜底也不尽相同 ，这就需要辩说以及魔难各个模子的照应，进而收敛到单个或者多个更精确的配合谜底。这种措施搜罗代码同行评审以及建议反映。

为了处置前述难题，这些钻研者的做法是建树一家伪造公司。尽管 ，这并非一家真正的公司 ，而因此公司方式运行的一个模子框架。他们为其起名为 ChatDev。

该框架凭证典型的瀑布模子（Waterfall Model），将开拓历程分成了四个阶段：妄想 、写代码、测试以及做文档 。

ChatDev 在每一个阶段都市运用多个差距的智能体
，它们充任着公司的差距脚色 ，好比挨次员、评审员以及测试员。

为了增长实用的相同以及相助，钻研者为 ChatDev 提出了一种名为谈天链（chat chain）的妄想 ，即将每一个阶段都切分为易于实施的原子级子使命。在谈天链中
，每一个节点代表一个特定的子使命 ，两个脚色退出可感知高下文的多轮品评辩说 ，进而提出并验证处置妄想  。这种措施能确保客户需要患上到合成、发生出创意思绪、妄想并实现原型零星
 、识别以及处置潜在下场、批注调试信息
、建树吸引人的图形界面并天生用户手册
。经由沿谈天链向导软件开拓历程，ChatDev 能将最终的软件交付给用户 ，搜罗源代码、依赖情景尺度以及用户手册。

钻研者经由试验魔难了这一框架的可行性 ：他们妄想了 70 个用户需要 ，而后合成了 ChatDev 产出的软件。平均而言，ChatDev 天生的每一个软件有 17.04 个文件 、缓解由代码幻觉引起的潜在代码倾向 13.23 次 、软件天生光阴为 409.84 秒
、制组老本为 0.2967 美元
。

试验中
，品评辩说发挥了重大熏染：评审员以及挨次员之间的品评辩说乐成识别出并更正了近 20 种代码倾向规范 ，而测试员以及挨次员之间的品评辩说则乐成找到了 10 多种可能倾向并妨碍了更正。

本文的主要贡献搜罗
：

• 提出了 ChatDev，这是一个基于谈天的软件开拓框架。用户惟独重大指定一项使命，ChatDev 就会按挨次妨碍妄想 
  、写代码
  、测试以及做文档。这种新范式经由语言交流不同了主要开拓流程  ，从而无需在每一个阶段都运用特意的模子 ，这能极大简化软件的开拓历程。

• 钻研者提出了谈天链 ，可将开拓流程分解成按挨次实施的原子级子使命
  。每一个子使命都需要两个脚色之间的相助交互以及交织魔难。该框架反对于多智能体相助、用户对于中间输入妨碍魔难、过错诊断以及推理患上出干涉措施。这能确保对于每一次谈天中的特定子使命妨碍细粒度的关注 ，增长实用的相助，辅助患上到所需的输入
  。

• 为了进一步缓解与代码幻觉相关的潜在难题 ，钻研者引入了脑子调拨（thought instruction）机制 ，可用于写代码
  、魔难以及测试阶段的每一个自力谈天历程。经由实施「脚色翻转」 ，调拨员可将更正代码的详细思绪清晰地注入到指令中，从而更精准地向导辅助挨次员。

• 钻研者妨碍了试验验证 ，服从表明 ChatDev 能实用且高效地自动实现软件开拓历程
  。经由每一次谈天中脚色之间的实用相同 、倡讲以及相互魔难 ，该框架可能实现实用的抉择规画。

ChatDev

ChatDev 的简陋架构如图 1 所示，这是一家谈天驱动的软件技术「伪造公司」，其中搜罗差距的职能脚色，它们对于应于着实公司的差距职业岗位，好比种种首席官、业余挨次员、测试工程师以及艺术妄想师
。当接到使命时，ChatDev 的差距智能体将相助开拓所需的软件 ，搜罗可实施零星、情景指南以及用户手册
。这种范式的中间机绪是运用大型语言模子作为中间机虑组件，使智能体模拟全部软件开拓历程 ，防止格外的模子磨炼需要
，并在确定水平上减轻代码幻觉下场。

图 1：ChatDev 的简陋架构

谈天链

ChatDev 接管被普遍运用的瀑布模子，将软件开拓历程分成了四个差距阶段 ：妄想、写代码
、测试以及做文档。每一个阶段都需要多个脚色之间实用相同，而其中的难点就在于判断互动挨次以及退出脚色。

这里 ，钻研者提出的处置妄想是将每一个阶段分解为多个原子级谈天 ，每一个谈天都特定关注面向使命的两个差距脚色的脚色饰演。经由退出智能体之间的指令交流以及相助
，可能让每一个谈天都输入所需服从 ，而这些服从是组成目的软件的紧张组成部份。

图 2 形貌了这个历程 ，其中揭示了一个处置中间使命的谈天序列。在每一次谈天中
，调拨员都市收回指令
，向导对于话实现使命 ，而助手则凭证指令，提供适宜的处置妄想，并退出可行性品评辩说。调拨员以及助手经由多轮对于话相互相助，直至告竣共识 ，断界说务乐成实现。

图 2：新提出的 ChatDev 架构
，其中搜罗阶段级组件协议天级组件

妄想

在妄想阶段 ，ChatDev 从人类客户处取患上一个想法。该阶段波及三个预界说脚色：CEO（首席实施官）、CPO（首席产物官）以及 CTO（首席技术官）。而后，谈天链将妄想阶段分解为按挨次实施的原子级谈天使命，搜罗抉择目的软件方式的谈天（CEO 以及 CPO）以及抉择编程语言的谈天（CEO 以及 CTO） 。

1.脚色调配

在脚色饰演历程中 ，运用零星揭示 / 新闻为每一个智能体分主脚色 。与此外典型的对于话语言模子比照
，新框架的揭示工程仅限于脚色饰演场景的初始阶段 。在这个框架中
，调拨员最后是作为 CEO，退出互动妄想，而助手则担当 CPO 的脚色，实施使命以及提供照应。

为了实现脚色业余化（role specialization），钻研者接管了初始揭示（inception prompting） ，事实证实这可能实用地使智能体实施其脚色职能。调拨员以及助手 prompt 搜罗良多紧张细节，好比指定的使命以及脚色 、交流协议、妨碍尺度以及旨在防止不良行动（如指令冗余、无信息照应 、有限循环等）的约束 。

图 3 ：每一次谈天中运用的三个关键机制：脚色业余化、影像流
、自我反思

2.影像流（Memory Stream）

影像流机制的熏染是坚持智能体以前对于话的周全记实
，以一种可感知话语的方式辅助后续抉择规画。无关影像流的方式化形貌 ，请参看原论文。

3.自我反思

钻研者审核到，无意分对于话双方已经告竣共识，但不触爆发为妨碍条件的预界说的交流协议 。为此，他们引入了自我反思机制 ，其中波及到对于影像的提取以及检索
。为了实现这一机制 ，钻研者引入一个「伪自我」，将其作为质疑者来建议新谈天
。这个伪质疑者会将所有以前对于话的历史记实见告之后助手并要求对于对于话中的论断性信息妨碍摘要 ，如图 3 (c) 所示 
。

这一机制能实用地鼓舞助手反思对于话时期提出以及品评辩说的抉择 。

写代码

该阶段波及三个预界说脚色：CTO、挨次员以及艺术妄想师 。谈天链会将写代码阶段分解为按挨次实施的原子级谈天使命，好比天生残缺的代码（CTO 以及挨次员）以及妄想图形用户界面（妄想师以及挨次员）。

基于上一阶段品评辩说的主要妄想，CTO 会调拨挨次员运用 Markdown 格式实现软件零星。挨次员的照应是天生代码，并凭证 Markdown 格式提掏出对于应的代码 。妄想师的使命是提出一种对于用户友好的图形用户界面（GUI），它可运用图形图标妨碍用户交互，而非文本命令 。而后 ，妄想师运用外部的文本转图像工具建树吸人眼球的图形，挨次员再运用尺度的工具包将其整合到 GUI 妄想中 。

1.代码规画

为了应答重大的软件零星，ChatDev 运用了 Python 等面向工具的编程语言。面向工具的编程是模块化的，这能实现自搜罗的（self-contained）工具 ，有助于倾向清扫以及相助开拓。可复用性反对于经由秉持实今世码复用，削减冗余 。

钻研者引入了「版本演进」机制来限度脚色之间最新代码版本的可见性，从影像流中扔掉早期的代码版本。挨次员运用 Git 相关命令来规画名目。建议的代码更正以及变更会将软件版本号削减 1.0。版本演进可逐渐消除了代码幻觉
。面向工具编程与版本演进相散漫，适宜波及长段代码的对于话。

2.脑子调拨

传统的问答可能会导致泛起禁绝确或者不相关的信息，特意是在代码天生中，重大直接的指令可能会导致意想不到的幻觉  。在天生代码时 ，这个下场变患上特意突出 。

为了处置这个下场，钻研者在「脑子链揭示」的开辟下提出了「脑子调拨（thought instruction）」机制 。这波及到在指令中清晰处置特定的下场求解思绪，相似于按挨次处置子使命 。如图 4 (a) 以及 4 (b) 所示
 ，脑子调拨搜罗交流脚色以讯问哪些措施尚未实现过 ，而后切换归来，从而为挨次员提供更精确的调拨。

经由整合脑子调拨，写代码历程会变患上更关看重点以及有针对于性。指令中特定脑子的清晰表白有助于削减比方义并确保天生的代码与预期目的坚持不同。这种机制可能让写代码历程更精确且实现高下文感知，从而最大限度地削减幻觉，输入更坚贞更周全的代码
 。

图 4：脑子调拨可缓解编码以及测试阶段的代码幻觉

测试

纵然人类挨次员也不能保障自己第一次试验编写的代码不断不过错。人类个别不会直接扔掉不精确的代码
，而会集成以及审核代码实施服从以识别以及更正实现中的过错。ChatDev 的测试阶段波及三个脚色：挨次员 、魔难者以及测试者
。

这个历程搜罗的原子级使命有同行评审（挨次员以及魔难员）以及零星测试（挨次员以及测试员）。同行评审是动态调试 ，目的是经由魔难源代码来识别潜在下场。零星测试是一种动态调试，目的是经进挨次员运用讲冥具实施测试，从而验证软件的实施情景 。该测试的重点是经由黑盒测试评估运用挨次的功能展现。

假如讲冥具难以找到细粒度的逻辑下场
，则可能让人类客户退出到软件测试中 。

写文档

经由妄想、写代码以及测试阶段之后，ChatDev 运用四个智能体（CEO、CPO 、CTO 以及挨次员）来天生软件的名目文档。钻研者的做法是运用大型语言模子，经由基于高下文样本的少样本 prompt 妄想来天生文档
。CTO 调拨挨次员提供情景依赖项的配置装备部署指令，从而天生像 requirements.txt 这样的文档 。该文档可能让用户独即将配置装备部署情景。与此同时 ，CEO 可向 CPO 转达需要以及零星妄想，让 CPO 天生用户手册。

图 5 ：文档天生历程

试验

试验运用了 gpt3.5-turbo-16k 版本的 ChatGPT 来模拟多智能体软件开拓，详细的参数配置请参看原论文，下面咱们看看试验服从。

表 1：ChatDev 的软件开拓的统计数据合成  ，搜罗各方面数值的最小值（Min） 、最大值（Max）战争均值（Avg.）

ChatDev 开拓的软件个别会天生 39-359 行代码，平均 131.61 行。数据表明 ChatDev 倾向于产出代码规模相对于较小的软件 。部份原因是面向工具编程的妄想 ，其可复用性可能经由秉持实今世码重用 ，削减冗余 。

图 6：不断光阴扩散 。图中的条形按降序部署
，揭示了差距使命的软件开拓运行光阴的扩散情景 。

平均而言，运用 ChatDev 开拓小型软件以及界面需要 409.84 秒，不到 7 分钟 。比照之下，传统的定制软件开拓周期，纵然是运用灵便软件开拓措施，每一个周期个别也需要 2-4 周致使多少个月光阴 。

表 2：谈天链中所有对于话的统计合成图 7：魔难者建议的扩散情景。饼图中的每一种颜色代表魔难者提供的特定建议的种别。图 8：测试者建议的扩散情景。饼图中的每一种颜色代表测试者提供的倾向的种别。图 9：使命「design a basic Gomoku game」（计划一个根基五子棋游戏）所患上到的软件

右侧是一个不 GUI 的重大软件。该版本的游戏只能经由命令终端来玩，其交互性以及部份喜爱性有限。比照之下，经由散漫 GUI 妄想 ，ChatDev 可能缔造出视觉上美不雅的小游戏。此外
，ChatDev 的妄想师还可能辅助挨次员建树格外的图形 ，以增强 GUI 的美不雅性以及可用性 。

最后咱们看看 ChatDev 公司开拓五子棋游戏时 ，职员品评辩说若何抉择编程语言的谈天概况：