admin管理员组

文章数量:1532007

文章目录

  • 前言
  • 一、CLI推理实现
    • 1、推理运行方法
    • 2、cli推理结果显示
  • 二、推理模型加载
  • 三、选择模板
    • 1、模板选择
    • 2、conv_llava_v1内容
    • 2、Conversation类简单介绍
  • 四、获得roles
  • 五、推理模型图像加载方式
  • 六、推理模型文本加载方式
    • 1、输入文本获得
    • 2、messages添加prompt
    • 3、模型prompt获得
    • 4、模型输入input_ids内容
    • 5、模型推理
    • 6、messages添加assistant
  • 六、推理模型对话模式
    • 1、第一轮对话
    • 2、第二轮对话
    • 3、第三轮对话
    • 4、三论对话结果显示


前言

为什么介绍cli.py方式进行推理呢?答案很简单,我想通过这个代码告知读者,模型是如何进行推理的,明确输入内容处理方式和模型输出内容,以及多轮对话输入与模型输出内容,而借助推理等方式是需要使用服务啥的客户端或服务端等,是比较麻烦的工程问题。因此,本文将介绍cli推理方式,露骨告知其推理原理与整个数据流程。同时,我也将使用列子与结果,实现三轮对话,说明模型如何工作或完成对话能力。然而,这部分内容和我之前数据章节有些关联,请大家自行查阅。


一、CLI推理实现

1、推理运行方法

cli.py实现推理,模型本身使用python结构调用,和往常模型调用类似,这里也可参考官网方法或我第一节也有说明,我不在介绍。至于模型权重我也在第一节有说明,自行查看。
官网推理:

python -m llava.serve.cli \
    

本文标签: 第七节源码模型原理方式