admin管理员组文章数量:1560320
写在最前面
这个系列的文章,大约会有8到10篇吧,现在已经写完了6篇了,分开来发吧,据说分开发流量会大一些。
自从前年年底大模型出来了以后,就想着搞一台台式机来学习学习大模型和机器学习,免得落伍太多了,看配置,看B站视频,选配置,看二手显卡,一手显卡,对比显存,仿佛又到了大学时期那个攒机器的时代,这么过去了几个月,一直没有下手,感觉这里面水实在是太深了,二手的不敢随便买,太便宜的怕遇到矿卡,太贵的又觉得有点亏,一手的新的又没有价格合适的显存又大的,就算有也基本上是缺货状态,得碰运气抢,本来预算大概是2万到3万左右,看了半年没看到什么合适的,如果直接买高配的品牌配置好的游戏主机吧,一般显存也不太够,而且也怕买回来以后沉迷到游戏里面去,加上自己本身也过了那个喜欢折腾的年龄了,就想安逸的搞个机器玩玩,于是就这么一直拖下来了。
后来,苹果开发布会了,看完苹果的产品发布会以后,Mac Studio给了我很深的印象,显存内存一体式的架构,这不轻松让显存达到100GB级别,一个100GB的显卡就搞定了么,网上一查,主流的机器学习库(torch,tf)也已经适配Mac的Metal架构和M系列芯片了,可以使用Mac的GPU加速能力,那这Mac Studio不就是专门搞大模型的了么,也玩不了什么游戏,于是想也没想,斥巨资搞了一台Mac Studio来“学习”了,是真学习。
经过我粗糙的计算:一个192GB的mac studio大概四万元,相当近200来GB的显存,你要买个200GB显存的nv显卡机器,配个六块3090或者4090也不够吧,在配个好点的其他配置,怎么也要个六七万吧,而且功率贼高,声音贼大,而同样价格的mac,功率200多W,还要怎样,就算速度慢十倍又如何,个人用,大部分时间是用来在本地模型上做推理的应用开发,开发一些好玩的东西,最多最多就用来微调微调模型,足够了,你还指望靠这个训练一个自己的大模型啊?使用Mac Studio可以在不使用量化的情况下,直接载入满血版的llama模型,试问消费显卡得配几张才做得到?而且我相信后面机器学习库对mac的适配性肯定会越来越好,真的万万没想到,苹果有一天也会和性价比沾上边。
机器到手以后,第一时间开机,熟悉的界面,熟悉的操作,首先得把环境配置好。
基础软件安装
FQ软件安装
DDDD,这里就不详细说了。
浏览器
Edge,没什么好说的,自从用了这个以后,就再也没有打开过chrome了。
输入法
一直使用搜狗输入法,其他的也没用过
brew
brew安装的话,由于大家都懂的原因,可以选择国内的源进行安装,虽然之前已经翻墙了,但毕竟国内的源速度更快,这里推荐清华的源和中科大的源,后来发现,也可以使用阿里云的源,这个源我感觉比大学的源同步得更新一些,而且比较稳定,可以按照以下步骤进行安装,非常简单
bash
复制代码/bin/zsh -c "$(curl -fsSL https://gitee/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
安装完成以后就可以使用brew安装各种各样的软件了
iTerms/Zsh
iTerms和zsh是mac下最重要的终端工具,在安装完了brew以后,可以直接使用brew安装这两个软件,具体的配置,网上到处都是,就不在这里浪费笔墨了。
brew install iterms2 brew install zsh
现在也可以使用WARP这个软件,主打一个不用折腾。
笔记软件
这个也没什么好说的,我一直都是用的语雀,yuque可以直接安装对应的版本。前几天还撸了个半年的会员。
开发工具
这个就是VSCODE了,各种插件根据个人喜好安装吧,另外,我买了一个Copilot,就一个字,好用不亏。
LLM基础软件安装
在安装深度学习软件之前,会涉及到各种各样的平台,各种各样的软件,我们首先需要了解一些概念: 先要确定你的机器硬件是不是可以做这个事情,当然,纯CPU运算也可以做机器学习,只是很慢而已,所以硬件上大致分为三类:
- 纯CPU:大部分笔记本和没有nv显卡或者显卡不行的都属于这一类,那么计算的时候就只能使用CPU资源了,会非常慢
- 显卡机器:顾名思义,就是有3090或者更好显卡的机器了,关键是显存要大,这种你就可以使用cuda框架,利用你的显卡进行计算了,会比CPU的快很多。
- Apple的M芯片机器:也就是苹果的M系列芯片的机器,他的内存和显存是一体化的,并且有自己的GPU,流行的机器学习框架如torch也是支持苹果芯片的,我的Mac Studio就属于这一类。当然,M芯片的macbook和mac mini也属于这种,只是内存小一些。
除此之外,软件部分也有一些需要提前了解的,就目前来说,有几个软件是必装的,如conda,python,torch,transformers,jupyter,这些我在下面一一介绍一下
conda
首先安装的是conda,conda你可以简单理解为一个包管理软件,并且我们只需要安装miniconda就可以了,不需要安装完整版本。在这里选择一个你需要的版本直接安装就可以了,我选的Apple M1芯片的。
安装的过程比较简单,直接按照步骤执行就可以了。安装完成以后就可以使用conda命令安装python等其他软件包了,注意,在这里先不要安装torch,我们要根据自己的情况来安装对应版本的torch,不然的话没办法使用上apple的gpu资源。
配置环境
conda有个比较好的功能就是新建一个环境,这个环境是一个独立的环境,每个环境中可以有他自己的torch,python等软件的版本,方便在各个环境下使用不用的软件
conda create env_name 新建一个env环境 conda activate env_name 切换到env环境
jupyter
安装完conda以后,顺手也可以通过conda把jupyter给安装掉,安装notebook或者lab都可以,lab更强大一些,但是notebook也完全够用了。
conda install jupyter lab
安装好了以后,使用jupyter lab命令或者jupyter notebook命令启动,启动完成以后就可以正常使用了。 jupyter这里多说一句,自从用了vscode以后,jupyter的网页版再也没有打开过来,只需要在vscode上安装好python插件就行了,直接可以新建出jupyter的文件,然后和网页版的jupyter的使用方式一模一样,没必要再去折腾notebook的网页版了。而且在vscode的jupyter里面还可以用Github Copilot,方便很多。
torch
打开torch的官网,找到你对应的版本,使用pip3或者conda安装即可,写这篇文章的时候,pytorch正式版还没有支持apple的m芯片,但是现在的2.3.0已经支持了,所以直接安装就行 在命令行运行最下面的这个命令即可
pip3 install torch torchvision torchaudio
在发布这篇文章的时候,torch官网已经更新了torch的2.3.0正式版,2.3.0正式版也已经支持M芯片了。 这样你的torch就是对应正常版本了,你可以通过一下方式来确认:
python复制代码import torch
torch.device('mps')
自此,必要的软件就正确安装完了,现在开始就可以开心的玩大模型了。
其他库的安装
其他库的安装就是一个按需安装的过程了,你可以通过conda也可以通过pip3安装,都差不多,我一般习惯使用pip3安装,conda仅仅用来进行环境的一些设置。
接下来,在后面的章节中,我们要开始真正的大模型之旅了。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
对于0基础小白入门:
如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。
资源分享
大模型AGI学习包
资料目录
- 成长路线图&学习规划
- 配套视频教程
- 实战LLM
- 人工智能比赛资料
- AI人工智能必读书单
- 面试题合集
《人工智能\大模型入门学习大礼包》,可以扫描下方二维码免费领取!
1.成长路线图&学习规划
要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。
对于从来没有接触过网络安全的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
2.视频教程
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,其中一共有21个章节,每个章节都是当前板块的精华浓缩。
3.LLM
大家最喜欢也是最关心的LLM(大语言模型)
《人工智能\大模型入门学习大礼包》,可以扫描下方二维码免费领取!
版权声明:本文标题:玩转大模型(一)环境配置 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://m.elefans.com/xitong/1727435595a1114463.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论