编程客栈（）6月26日 消息:微软的人工智能研究人员发布了一种新的、轻量级的代码生成模型 phi-1，并且其性能优于 ChatGPT 背后的大型语言模型 GPT-3.5。

据了解， 这个基于 Transformer 的模型仅拥有13亿个参数，相比之下，Codex拥有120亿个参数。

(资料图)

微软的研究人员仅用了四天时间就使用 Nvidia 的8个 A100芯片来训练 phi-1。该模型使用来自网络的60亿个token以及使用 GPT-3.5生成的另外10亿个token进行训练。

在性能方面，phi-1在HumanEval基准测试中获得了50.6% 的 pass@1准确率。尽管模型小得多，但微软模型击败了 Hugging Face 和 ServiceNow 的 StarCoder （33.6%）、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S 编程客栈(37.6% ) 。

在MBPP pass@1测试中，phi-1表现更好，取得了55.5% 的分数。上述许多模型尚未发布该基准测试的结果，但 WizardLM 的WizardCoder在本月早些时候进行的测试中得分为51.5%。WizardCoder 是一个150亿个参数模型，而 phi-1的参数模型为13亿个。

高质量数据带来差异

微软的研究人员认为，正是“高质量数据的力量”让 phi-1表现如此出色。为了说明这一点，研究人员将他们模型的论文js命名为“教科书就是你所需要的”。

他们写道:“正如一本全面、精心制作的教科书可以为学生提供掌握新学科所需的知识一样，我们的工作展示了高质量数据在磨练语言模型在代码生成任务中的熟练程度方面的显着影响。” 。

“通过制作‘教科书质量’数据，我们能够训练出一个模型，尽管模型大php小缩小了10倍，数据集大小缩小了100倍，但在编码基准（例如 HumanEval 和 MBPP）上，该模型超越了几乎所有开源模型。”

与其他可用的编码模型相比，Phi-1仅限于 python 编javascript码。他们表示，该模型的局限性还在于它缺乏大型模型的特定领域知识，例如使用特定 API 进行编程。

为了扩展他们的工作，微软的研究人员建议使用 GPT-4而不是 GPT-3.5来生成用于模型训练的合成数据。

研究人员还将寻求提高数据集的多样性和非重复性，尽管该团队表示，他们必须找到方法“在数据生成过程中注入随机性和创造力，同时仍然保持示例的质量和连贯性。”