关于教程
看了一些教程,官方的最全,其他的几个辅助理解:
Docker 安装 | docs.ST.app --- Docker Installation | docs.ST.app (sillytavern.app)
Claude宝宝教程 - 飞书云文档 (feishu.cn)
SillyTavern 酒馆一键部署教程 - 零基础超友好版本,按一下就能安装! 🎮 - SERN酒馆妙妙屋 (pt4300.github.io)
酒馆(sillytavern)的简单攻略 | 空桑 (hqshi.cn)
关于模型
除了Ollama还可以去下kobold,支持gguf的模型,也很适合小说类
有docker版本,mac下的执行命令需要改为:docker build -t koboldcpp-docker:latest -f Dockerfile_cpu .
我尝试下载的模型,均在ollama上可以搜到:
名称 | ID | 大小 | 表现记录 |
krith/llama-3.3-70b-instruct:IQ1_M | faa3ee74fef5 | 16 GB | 胜在速度 |
vanilj/smaug-llama-3-70b-instruct:latest | ad9579e5734e | 42 GB | 英文表现好,破限 |
huihui_ai/deepseek-r1-abliterated:70b | 50f8d0fe980f | 42 GB | 破限的70b,可以跑酒馆 |
rzline/Tifa-DeepsexV2-7b-0218-F16.gguf:latest | f0c77ad0b3ee | 15 GB | 测试用的,自转效果一般,破限 |
llava:34b | 3d2d24f46674 | 20 GB | 识图视觉模型 |
llama3.3:latest | a6eb4748fd29 | 42 GB | 英文很强,最新 |
huihui_ai/llama3.3-abliterated:70b | 694ca93d4b6e | 42 GB | 破限的,我用来跑酒馆的 |
huihui_ai/deepseek-r1-abliterated:14b | 6b2209ffd758 | 9.0 GB | 破限 |
sjo/deepseek-r1-8b-llama-distill-abliterated-q8_0:latest | 96aac7391c27 | 8.5 GB | 破限 |
deepseek-r1:14b | ea35dfe18182 | 9.0 GB | 速度和表现介于更高和更低之间 |
deepseek-r1:70b | 0c1615a8ca32 | 42 GB | 目前本地中文最强 |
qwen2.5:7b | 845dbda0ea48 | 4.7 GB | 数学很强 |
qwen:72b | e1c64582de5c | 41 GB | 整体表现不错 |
llama3.1:latest | 91ab477bec9d | 4.7 GB | 快速的一个英文模型,很常用 |
常见问题,docker默认配置文件
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false
}
为了镜像下载不报错,国内网络可用,修改为版本1:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn", "https://hub-mirror.c.163.com"]
}
mac版本2:
{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://hub.docker.com", # 官方镜像源(优先级最高)
"https://mirror.gcr.io", # Google 镜像源
"https://docker.mirrors.ustc.edu.cn", # USTC 镜像源(原配置)
"https://hub-mirror.c.163.com" # 网易云镜像源(原配置)
]
}
需要删除备注才可以应用设置
声音方案上,推荐下面两个:
- Cozyvoice,目前用下来这个有自推理,可以配合一些语气
- TTS也不错,都可以克隆或自推理声音,配合酒馆使用