关于教程
看了一些教程,官方的最全,其他的几个辅助理解:
Docker 安装 | docs.ST.app --- Docker Installation | docs.ST.app (sillytavern.app)
Claude宝宝教程 - 飞书云文档 (feishu.cn)
SillyTavern 酒馆一键部署教程 - 零基础超友好版本,按一下就能安装! 🎮 - SERN酒馆妙妙屋 (pt4300.github.io)
酒馆(sillytavern)的简单攻略 | 空桑 (hqshi.cn)
关于模型
除了Ollama还可以去下kobold,支持gguf的模型,也很适合小说类
有docker版本,mac下的执行命令需要改为:docker build -t koboldcpp-docker:latest -f Dockerfile_cpu .
我尝试下载的模型,均在ollama上可以搜到:
| 名称 | ID | 大小 | 表现记录 |
| krith/llama-3.3-70b-instruct:IQ1_M | faa3ee74fef5 | 16 GB | 胜在速度 |
| vanilj/smaug-llama-3-70b-instruct:latest | ad9579e5734e | 42 GB | 英文表现好,破限 |
| huihui_ai/deepseek-r1-abliterated:70b | 50f8d0fe980f | 42 GB | 破限的70b,可以跑酒馆 |
| rzline/Tifa-DeepsexV2-7b-0218-F16.gguf:latest | f0c77ad0b3ee | 15 GB | 测试用的,自转效果一般,破限 |
| llava:34b | 3d2d24f46674 | 20 GB | 识图视觉模型 |
| llama3.3:latest | a6eb4748fd29 | 42 GB | 英文很强,最新 |
| huihui_ai/llama3.3-abliterated:70b | 694ca93d4b6e | 42 GB | 破限的,我用来跑酒馆的 |
| huihui_ai/deepseek-r1-abliterated:14b | 6b2209ffd758 | 9.0 GB | 破限 |
| sjo/deepseek-r1-8b-llama-distill-abliterated-q8_0:latest | 96aac7391c27 | 8.5 GB | 破限 |
| deepseek-r1:14b | ea35dfe18182 | 9.0 GB | 速度和表现介于更高和更低之间 |
| deepseek-r1:70b | 0c1615a8ca32 | 42 GB | 目前本地中文最强 |
| qwen2.5:7b | 845dbda0ea48 | 4.7 GB | 数学很强 |
| qwen:72b | e1c64582de5c | 41 GB | 整体表现不错 |
| llama3.1:latest | 91ab477bec9d | 4.7 GB | 快速的一个英文模型,很常用 |
常见问题,docker默认配置文件
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false
} 为了镜像下载不报错,国内网络可用,修改为版本1:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn", "https://hub-mirror.c.163.com"]
} mac版本2:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://hub.docker.com", # 官方镜像源(优先级最高)
"https://mirror.gcr.io", # Google 镜像源
"https://docker.mirrors.ustc.edu.cn", # USTC 镜像源(原配置)
"https://hub-mirror.c.163.com" # 网易云镜像源(原配置)
]
} 需要删除备注才可以应用设置
声音方案上,推荐下面两个:
- Cozyvoice,目前用下来这个有自推理,可以配合一些语气
- TTS 2.0 目前最强,都可以克隆或自推理声音,配合酒馆使用
Ollama的云模型目前处于预览阶段,用户可借助高速的数据中心级硬件运行个人电脑无法承载的更大规模模型,且在此过程中仍能继续使用本地工具;
同时,Ollama云端不会留存用户数据,以保障隐私与安全,其云模型与本地端的使用体验保持无缝衔接,可整合用户已有的工具,还能通过Ollama兼容OpenAI的API进行使用。
例如酒馆内 API 的 URL:https://www.ollama.com/v1
Cloud · Ollama可用模型列表
qwen3-coder:480b-cloud
gpt-oss:120b-cloud
gpt-oss:20b-β∴cloud
deepseek-v3.1:671b-cloud
deepseek-v3.1:671b 调用经常会失败 qwen3-coder:480b相对稳定些