B站开源了Index-Translate翻译模型,字幕和配音都能管

有没有人已经拿 B 站刚开源的 Index-Translate 跑过自家素材?说是覆盖 150 种语言,场景直接点名字幕、配音和长文档。

我做出海视频,流程基本是生成画面、配音、再上字幕,最卡的就是翻译这环:机翻的台词塞进配音一听就别扭,字幕断句也对不上口型和节奏。所以一个专门冲着字幕配音去、还能自己部署的翻译模型,对我来说比又一个生图模型实在。

具体效果、要多大显存,官方说法我还没细看,就不乱讲了。这两天打算找几条带台词的短片试中译英和中译日,主要看口语化的句子能不能翻得像人话。

蹲后续

150种语言里小语种能翻成啥样才是关键吧,英日韩这几个现在哪家都不差

字幕本地化这块之前一直是外包在做, 按分钟算钱, 真能用的话能省不少

楼上说小语种的,我倒觉得长文档那条更值得看,能保住上下文一致的话,整部短剧的人名和称呼不会前后翻得不一样。之前用通用模型翻剧本,主角名字三集换了三个写法,返工到崩溃

先囤了 :eyes:

1 个赞

配音那块是只管文本还是连时长对齐也考虑了?中文一句话翻成德语长一倍,配音根本塞不进原来的镜头

B站自己番剧字幕量那么大 训练数据应该不缺