admin管理员组

文章数量:1599904

ChatGPT 拓展资料:A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT

目录

  • A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
    • 论文摘要
    • 论文目录
    • 论文简介
      • 预训练基础模型PFMs和预训练
      • 贡献与组织
    • 基本组件
      • 2.1 Transformer for PFMs
  • Training language models to follow instructions with human feedback
  • 拓展资料:

A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT

论文摘要

预训练基础模型(PFM)被视为具有不同数据模式的各种下游任务的基础。预训练的基础模型,如BERT、GPT-3、MAE、DALLE-E和ChatGPT,在大规模数据上进行训练,为广泛的下游应用程序提供合理的参数初始化。PFM背后的预训练思想在大型模型的应用中发挥着重要作用。与以前应用卷积和递归模块进行特征提取的方法不同,生成预训练(GPT)方法应用Transformer作为特征提取器,并在具有自回归范式的大型数据集上进行训练。类似地,BERT使用transformer在大型数据集上作为上下文语言模型进行

本文标签: 论文资料SurveyComprehensivechatGPT