admin管理员组

文章数量:1531374

ollama帮助我们可以快速在本地运行一个大模型，再整合一个可视化页面就能构建一个chatGPT，可视化页面我选择了chat-ollama（因为它还能支持知识库，可玩性更高），如果只是为了聊天更推荐chatbox

部署步骤

  1. 下载ollama并启动，参考：https://ollama/download
# 启动命令
ollama serve
  1. 下载chat-ollama，参考：https://github/sugarforever/chat-ollama。本人使用docker安装的
docker compose up
# 如果您是第一次启动，需要初始化 SQLite 数据库，在新的控制台运行
docker-compose exec chatollama npx prisma migrate dev
  1. 访问chat-ollama，网址：http://localhost:3000
  2. 配置ollama地址
  3. 点击models，下载模型llama2-chinese。因为Llama 2 本身的中文比较弱。
  4. 开始聊天

注意

llama2-chinese模型最少要8G内存

  • 7b models generally require at least 8GB of RAM
  • 13b models generally require at least 16GB of RAM

CPU跑的太慢，用GPU的话也要差不多8G显存

本文标签： ollamachatGPT

版权声明：本文标题：基于ollama搭建本地chatGPT 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://m.elefans.com/xitong/1725313999a1018844.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。