admin管理员组

文章数量:1530013

AlphaCode——宏观上的推荐(DeepMind)

14位共同一作,74页论文。

认为CodeX只是做了一个简单的 自然语言-程序语言 的翻译任务,AlphaCode要做一个更难的。输入输出为:

方法

流程

模型训练分为预训练和微调,然后预测阶段先大规模采样(召回)得到一百万,然后聚类和过滤得到1000个(粗排),然后选出10个提交(精排)。

数据集

先在Github收集开源代码,经过预处理和清洗后715GB,作为预训练数据集;然后用CodeContests 数据集微调,格式如上图。

模型结构

本文标签: competitionAlphaCodeAI4CodeLevelDeepMind