admin管理员组

文章数量:1534214

2024年6月17日发(作者：)

当大语言模型在你的手机游戏机甚至浏览器中跑起来会

怎么样

转自檬查查

这篇是后续的一系列为柴火创客的联合活动“AI+硬件创新社”的专

题供稿之一、最近的一个深刻感触是，这次的生成式AI+大语言模型

（LLM）的变革，已经在软件/互联网端产生了大量的实际应用案例了。但

是相对来说，在偏硬件/传统产业端还被讨论得较少。因此希望能通过和

柴火创客一起来做些相关的推动，让对AI+硬件方向感兴趣的研发者和行

业相关人士可以有个一起讨论的空间和平台。

现在提起AIGC这个国内用得比较多的词，大家首先想到的当然还是

ChatGPT和MidJourney这些较“封闭”的产品，但其实整个开源社区在

各种开源大模型及其周边的基础设施建设上已经做了很多的工作，而且全

新的创意还在每天不断产生中，很值得关注。

如果大语言模型确实能在各种各样的消费级设备上本地运行，这会带

来哪些机会？

个性化- 创造个性化的AI伴侣，最终实现每个人都有自己的专属

ChatGPT，而且不用担心隐私泄露；

专业化场景和应用集成–例如通过在游戏机上直接运行简化版本的大

模型变种，就能为每个玩家生成独特的游戏体验，想象一下和你对话的每

个游戏角色/NPC都能像真人一样和你互动；

离线模式和云端模式的混合使用-通过本地设备上的大语言模型做部

分计算和推理，实现一个无缝体验，这样再也不用担心手机信号不好了；

去中心化–虽然单个消费级设备的硬件能力是有限的，但当这些消费

级设备相互连接时，也许就可以完成许多强大的事情？

下文将MLC最新发布的介绍这项技术博客文章进行了全文翻译，其中

提出的很多对未来的畅想及其技术实现值得一读。

将大语言模型引入到消费级设备上运行

最近，生成式人工智能和大型语言模型领域取得了显著进展，其中蕴

含着卓越的潜力可以从根本上改变许多领域。由于开源社区的推动，我们

看到越来越多的大模型被开发出来，用来创建和服务它们的配套基础设施

也在不断完善中。此外，开发人员也有机会为数据集、模型和系统基础设

施做出贡献。

目前，这些大模型基本都需要部署强大的服务器来满足它们广泛的计

算、存储和硬件加速等需求。但是，这次的人工智能变革对于消费级设备，

例如笔记本电脑、手机和游戏机的影响尚不确定，尤其是-这些设备是否

具备独立运行这些模型的能力，还是说必须依赖与云服务器的不间断连接？

如果能解决这个难题将能显著提升AI+硬件设备的场景应用普及性。

虽然目前来推测这个问题无疑具有挑战性，但思考未来的各种可能性

仍然非常有趣。回想一下PC时代的预测，曾有人预言只需要六台大型计

算机就足以满足整个国家的计算需求，但如今我们知道这个预测是极其不

准确的。因此，我们不妨考虑一下未来可能出现的各种可能性和意想不到

的技术进步。基于这些猜测，我们来看看如果大型语言模型能被移植到消

费级设备中，并可能塑造怎样的未来人工智能生态系统。

大型语言模型（LLM）在消费级设备上的潜在机会

本文标签： 模型设备语言硬件手机

版权声明：本文标题：当大语言模型在你的手机游戏机甚至浏览器中跑起来会怎么样 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dongtai/1718626592a703493.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。