admin管理员组

文章数量:1599906

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

火爆全网的ChatGPT究竟是什么？为什么这么强？ChatGPT会取代搜素引擎吗？ChatGPT凸显的能力会是metaverse的有力支撑吗？ChatGPT的火爆背后, AI发展路向何方?

2022年12月9日，AI TIME邀请了华为诺亚方舟语言语义首席科学家刘群、清华大学计算机科学与技术系副教授黄民烈、腾讯微信高级总监周杰、华为诺亚方舟实验室研究员尚利峰、智谱AI大模型事业部VP薛宇飞，北京聆心智能科技有限公司联合创始人，太魔人李文珏、香港科技大学哲学硕士生，太魔人赵俊杰，一起聊一聊ChatGPT。

ChatGPT可以理解为对话版本的GPT3.5，可以自动搜索信息，修复bug和撰写诗词、作文。ChatGPT一经发布便迅速火爆全网，一周之内达到了100万的用户量。埃隆马斯克甚至感叹：“我们离强大到危险的人工智能不远了”。

自2018年的BERT预训练模型被提出后，迅速刷新了各大NLP任务的榜单。NLP技术在近些年飞速发展，在许多任务上超过了人类的水平，近几年关于语言对话大模型的研究非常热门。

技术领域

曾有研究人员计算得出目前互联网上的纯文本数据大多已经被大模型所使用。从技术角度而言，除了人类的反馈外，模型在语言端的自我进化该如何继续呢？

刘群：对于纯文本数据大多已被大模型使用这个说法，我觉得网上数据的更新还是非常快的。数据永远是不够的，即使是现在这个大模型也会有很多地方没有覆盖到。在数据比较充分的情况下，如今的ChatGPT可以表现得非常好，但是如果数据没有那么充分，还是会表现出很多问题的。

黄民烈：今天的ChatGPT的数据可能还停留在2021年，大模型如何持续的更新是一个比较重要的问题，涉及到如训练成本、学习性能等问题。这些动态信息如何包含进来？以前的模型怎样持续更新并进行持续的学习？这些都是我们后续需要思考的问题。

薛宇飞：AlphaGo是可以自我训练并迭代的，在我们的语言模型训练过程中，有没有可能演化出一种新的范式使得语言模型自我迭代并且变得更强大呢？

周杰：按照ChatGPT目前的训练过程，已经在和人类进行交互和反馈并获得数据的优化了，但是和刚刚提到的下围棋还是有着不小的区别。首先是迭代的速度，对话能够收集到的和下围棋棋盘上收集语料的速度是不一样的。另外就是收集语料的目标，围棋有着非常清晰的loss function即目标。但是语言可能不是一个清晰的目标࿰

本文标签： 大佬自己的干货思辨如何打造

版权声明：本文标题：干货！​如何打造我们自己的“ChatGPT”？| 大佬思辨 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1728331113a1154551.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。