MiniCPM5-1B 发布，堪称小钢炮，支持 128K 上下文，本地部署教程

heis***

个人感觉挺好的~对电脑配置要求不高

llama.cpp部署模型

版本：llama-b9993-bin-win-cuda-13.3-x64

下载地址：https://github.com/ggml-org/llam ... ge=23#release-b9993

（可能有些网络访问不佳-有外网用外网友好一点）

模型下载地址：

外网可用：https://huggingface.co/openbmb/MiniCPM5-1B-GGUF/tree/main

也可以到网盘下载：https://pan.quark.cn/s/28f212e8f ... 8efbdaf0cbfd7656487

里面有多模型

模型里总共有3个版本：F16是满血全精度版（推荐下载），大小只有2G左右，对显卡几乎没什么要求，只要你的显存是2G左右的就足够，Q8量化版大小是1G左右，如果你的显存是低于2G的，那么你就选择Q8版，当然如果你用CPU或者微型设备，那么就选择最小的Q4量化版即可！

下面是操作：

创建一个目录放入模型

把 MiniCPM5-1B-F16.zip (979 Bytes, 下载次数: 1)

2 小时前 上传

点击文件名下载附件

这个bat放到llama.cpp目录下运行

按自己下载的版本选择

我这里输入3 回车

这里输入1回车

Think（深度思考） 和 No Think（快速模式）

会弹出网页即可使用

如果要对接软件用：

http://127.0.0.1:8080/v1

模型：[color=oklch(0.145 0 0)][backcolor=oklch(1 0 0)]MiniCPM5-1B-F16

[color=oklch(0.145 0 0)][backcolor=oklch(1 0 0)]其他随便

a9525***

128K上下文这个点挺实用，准备先看看部署这块。

hac***

刚在找低配能跑的本地模型，128K这个长度对长文本处理很友好，打算按这个试试。

Ghos***

正好想找个低配置能跑的，先收藏，回头试试看