ollama

使用Ollama私有化部署的大模型接入使用

配置:

  1. # 你可能只是需要把ip换成你局域网的ip即可
  2. translate.service.ollama.url=http://127.0.0.1:11434/api/chat
  3. translate.service.ollama.model=qwen3:8b
  4. # 本地私有部署一般不需要这个
  5. #translate.service.ollama.key=xxxxxxxx
  6. # 大模型进行翻译,是否启用思考能力,来提高翻译质量
  7. # 默认不设置,则是 false,不启用思考能力。 可以设置为 true 则是启用思考能力
  8. # 开启思考能力,会跟未开启思考有以下几种不同:
  9. # 1. 开启后,会消耗大量tokens,消耗更多费用,有可能是未开思考模式时的10~20倍!
  10. # 2. 开启后,会未命中缓存时,经过大模型进行翻译的耗时会明显增加,有可能是未开思考模式时的10~20倍(小模型的无序输出控制能力会减弱,也就是有可能会循环输出某个单词很多遍,导致耗时提高很多)!不过经过内存缓存跟文件缓存,耗时问题只是两层缓存都未命中时才会产生这个较长的耗时,所以耗时这块问题不大,可以不用太过考虑
  11. # 3. 开启后,会明显提高翻译精确度及翻译质量(原本翻译不理想的,开启后可能就能达到预期了),越是尺寸小的模型越明显。比如 qwen3:0.6b
  12. translate.service.ollama.think=false