主要硬件环境：4060TI 16G 显卡
主要软件环境：LM Studio 0.4.14，pdf2zh-next 2.8.2 win版，均在win机器上直接部署
所用模型详细信息：
参数使用：
{
"temperature": 0.7,
"top_p": 0.6,
"top_k": 20,
"repetition_penalty": 1.05,
"max_tokens": 4096
}
参考的官方来源：
huggingface.co
tencent/Hy-MT2-7B · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
使用一篇ICCV 2019的论文作为测试，翻译结果：
Chen_Drop_an_Octave_Reducing_Spatial_Redundancy_in_Convolutional_Neural_Networks_ICCV_2019_paper.no_watermark.zh-CN.dual.pdf (1.0 MB)
个人点评：
- 速度很快，4并发目测大概有50-60tok/s的速度？
- 开了20k上下文，显存占用不到6G（实际上用不上这么大上下文，纯测试玩）
- 翻译质量还是比较惊喜的，比不了专业模型专业工具但是7B的小模型绝对够用了。
- 个人感觉那种吃灰的mac mini可以部署一个，给局域网内的设备提供翻译服务（我用的openai接口），基本上相当于可以免费翻译了，速度也能看。
7 个帖子 - 3 位参与者
来源: LinuxDo 最新话题查看原文