双模型协作流水线调优指南
在传统的 AI 字幕插件中,单模型逐行翻译通常面临两难困境:要么单句翻译速度慢导致音画不同步,要么分句翻译缺乏上下文导致前后人名、语气、专有名词频繁错乱(例如同一个角色前一分钟叫“汤姆”,后一分钟被翻译为“小明”)。
CoWatcher 创新性地采用了双模型分工流水线(Dual-Model Architecture)。
1. 双模型工作原理
[视频播放器字幕流]
│
▼
┌──────────────────────────┐
│ Translation Model 翻译模型 │ ◄── 注入剧集术语表与上下文记忆
└─────────────┬────────────┘
│ 毫秒级流式批量产出
▼
[实时播放器字幕渲染]
│
(异步后台审计与记忆沉淀)
▼
┌──────────────────────────┐
│ Supervisor Model 监督模型 │ ──► 维护人名/地名一致性、提取剧情生词
└──────────────────────────┘Translation Model(翻译模型):
- 定位:轻量、低延迟、高并发。
- 职责:执行超前分批翻译(Lookahead Batching),在用户播放到该时间点前 10~30 秒提前将句子翻译完毕,确保播放时字幕零等待。
- 推荐:
translategemma:4b(本地 Ollama)或deepseek/deepseek-chat/google/gemini-2.0-flash-001(云端)。
Supervisor Model(监督模型):
- 定位:长文本、强推理、擅长上下文总结。
- 职责:在后台异步分析整集剧集的剧情大纲、角色出场、专有名词映射,动态生成一致性术语表(Glossary),并对疑难俚语进行审核校对。
- 推荐:
gemma4:e4b/qwen2.5:7b(本地)或google/gemini-2.0-flash-001/anthropic/claude-3.5-haiku(云端)。
2. 关键参数性能调优
在 CoWatcher 弹窗面板的 Dual-Model Pipeline Tuning 区域可以根据你的硬件和网络调节以下参数:
Batch Size(批处理大小)
- 推荐值:
5~10 - 说明:将多少行字幕合并为一个请求发送给大模型。数值过小会导致网络请求频繁;数值过大可能会增加单次等待时间。
Lookahead Window(超前预翻译窗口)
- 推荐值:
15~30秒 - 说明:根据当前播放进度,提前将未来多少秒的字幕翻译完成并缓存到本地 IndexedDB。
Max Concurrency(最大并发请求数)
- 本地 Ollama(显卡):建议设为
1。避免多请求争抢显存引发显存溢出(OOM)或排队阻塞。 - 云端 OpenRouter:建议设为
2~4。云端服务器支持高并发,可成倍加快整季预加载速度。