admin管理员组

文章数量:1656921

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了预训练PDF数据格式转换，希望对使用大语言模型的同学们有所帮助。

文章目录

  • 1. 前言
  • 2. PDF数据格式转换

1. 前言

  随着时间的齿轮转动到2024年，各种行业大模型如雨后春笋般涌现。如何基于基座模型和领域数据构建行业大模型成为了近期研究和落地的热点方向。

  根据前OpenAI创始成员Andrej Karpathy之前的公开演讲内容以及个人的长期实践，构建行业大模型的基本步骤包括：

  1. 挑选合适的基座模型
  2. 在基座模型基础上基于高质量文档、网页等数据进行继续预训练。
  3. 继续预训练后再使用高质量QA数据进行SFT(有监督微调)
  4. 最后再使用强化学习对齐行内通行的价值观。

本文标签： 格式转换数据PDF

版权声明：本文标题：预训练PDF数据格式转换 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1729755215a1212086.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。