admin管理员组文章数量:1531932
文章目录
- 目的
- 操作难度等级
- 15分钟本地Windows电脑部署Llama3 开源大模型
- 1、下载安装Ollama
- 2、使用Ollama的命令下载Llama3模型文件
- 3、使用Llama3聊天对话功能
- 4、本地Llama3 API接口调用
目的
你知道国内大模型多少是基于Llama2改造的，你就知道Llama模型有多厉害了，那么现在Llama3刚出来，搞自媒体的赶紧蹭Llama3的流量，搞技术的程序员赶紧抓住研究一下，看能否技术变现一下，尤其搞技术的，再不动到时年龄大了被裁员了不要怨天怨地的！
操作难度等级
非程序员的普通人及产品经理都可以按此文章说来本地部署
15分钟本地Windows电脑部署Llama3 开源大模型
1、下载安装Ollama
访问https://ollama，下载Ollama客户端，下载Windows版本，如果你的电脑是MacOs,下载对应的版本即可。
安装完成后，打开Windows命令窗口，输入ollama，出现如下提示，说明安装成功，可以使用了：
2、使用Ollama的命令下载Llama3模型文件
在ollama命令窗口输入：
ollama run llama3
按回车后就开始自动下载Llama3模型文件，默认下载最新的8B版本，模型文件大小4.7G。
等待5到10分钟即可下载完成（下载文件途中可以去上个厕所或者关注一下我的账号）
3、使用Llama3聊天对话功能
下载完成后出现send a message提示时，就可以直接与它进行对话了。看看我和它的对话：
4、本地Llama3 API接口调用
ollama会自动生成Llama3的API接口访问地址，API文档地址：https://github/ollama/ollama/blob/main/docs/api.md
请求地址：
curl http://localhost:11434/api/chat -d '{
"model": "llama3",
"messages": [
{
"role": "user",
"content": "why is the sky blue?"
}
],
"stream": false
}'
不会写代码的，使用Postman去调试：
版权声明：本文标题：Llama3本地部署及API接口本地调试，15分钟搞定最新Meta AI开源大模型本地Windows电脑部署 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/dianzi/1725618335a1033224.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论