大模型翻译并发线程数配置

大模型翻译,还可以给其配置多线程,来进行大幅提升翻译速度。
配置方式为,在 /mnt/service/config.properties 中额外增加配置项:

  1. translate.service.thread.number=5

如果不加这个,默认不开启多线程加速能力,仅仅使用单个线程进行的。 比如火山引擎的,可以配置上 200 ,那就是翻译时同时启用200个线程一起,耗时降低 200 倍!
用个示例来理解一下:
比如这里配置的线程数是100,要翻译100段文本,每段需要消耗0.2秒,那么翻译完100段,一共需要消耗 1 x 0.2 = 0.2 秒;如果翻译150段文本,超出了配置的线程数100,那时间段就是分两块,第一块100,第二块50;两块相当于消耗了两次0.2秒,也就是 2 x 0.2 = 0.4秒
而不开多线程能力,翻译100段文本,需要消耗 100 x 0.2 = 20秒

注意

  1. 这个线程数需要通道源头本身的支持情况决定,比如华为云可能并发数只支持10,那你就不能配置超过10,不然大于这个数人家就直接给你报错阻止你使用了。
  2. 这个仅大模型的通道才有这个能力,因为大模型翻译的耗时会比较长,所以增加多线程并行的能力。
  3. 这个能力需要企业付费版本才有
  4. 这个能力当前(2025.3.7日)还未发版,还在进一步优化。目前只私下分发给合作企业。如果你需要可以私下找我