ollama模型参数

以ollama模型的上下文长度参数为例。

bge-m3的参数如下：

$ ollama show bge-m3:latest
  Model
    architecture        bert       
    parameters          566.70M    
    context length      8192       
    embedding length    1024       
    quantization        F16        

  License
    MIT License                    
    Copyright (c) [year] [fullname]

bge模型是基于BERT模型做了语料训练和微调的模型.

BERT是基于transformer的模型,全称是基于注意力的双向编解码表示(Bidirectional Encoder Representations from Transformers)

它用transformer的encoder作嵌入,接入24/12层transformer层，然后每层之间用了全连接

其中context length对应网络能够接受和输出的最长的Token的长度,一个Token代表一个词

embedding length对应transformer模型中的嵌入层的大小

默认ollama的模型上下文长度为8K

但是可以修改默认的模型参数为更大的值.

实践

假如咱们现在有一个本地运行的量化deepseek模型：

$ ollama show deepseek-r1:7b
  Model
    architecture        qwen2
    parameters          7.6B
    context length      131072
    embedding length    3584
    quantization        Q4_K_M

  Parameters
    stop    "<｜begin▁of▁sentence｜>"
    stop    "<｜end▁of▁sentence｜>"
    stop    "<｜User｜>"
    stop    "<｜Assistant｜>"

  License
    MIT License
    Copyright (c) 2023 DeepSeek

这个模型的上下文本身有128K，但是ollama默认的参数大小明显是不够的，为了让模型能处理大一些的上下文，可以选择修改上下文大小：

ollama show deepseek-r1:7b --modelfile > modelfile

然后在modelfile的最后加入：

PARAMETER num_ctx 131072

重新导入新的模型：

ollama create deepseek-r1:7b-128k -f modelfile

然后可以看到ollama的新模型已经是使用新参数的了：

ollama show deepseek-r1:7b-128k
  Model
    architecture        qwen2
    parameters          7.6B
    context length      131072
    embedding length    3584
    quantization        Q4_K_M

  Parameters
    num_ctx    131072
    stop       "<｜begin▁of▁sentence｜>"
    stop       "<｜end▁of▁sentence｜>"
    stop       "<｜User｜>"
    stop       "<｜Assistant｜>"

  License
    MIT License
    Copyright (c) 2023 DeepSeek

表明我们已经修改成功