混元 1.8B 的翻译模型有点说法哟

这两天闲的没事干, 又正好发现沉浸式翻译的Bing老抽风, 干脆自己部署小的 AI 模型跑翻译得了 我的配置是M1Pro 32G, 下了个混元 1.8B, 翻译时输出Token居然能干到 100tok/s, 而且翻译质量看起来还不错 最重要的是这玩意占用是真低啊, 比Idea都低, 推理时占用也很低...
混元 1.8B 的翻译模型有点说法哟
混元 1.8B 的翻译模型有点说法哟

这两天闲的没事干, 又正好发现沉浸式翻译的Bing老抽风, 干脆自己部署小的 AI 模型跑翻译得了
我的配置是M1Pro 32G, 下了个混元 1.8B, 翻译时输出Token居然能干到 100tok/s, 而且翻译质量看起来还不错 :face_savoring_food:

image
最重要的是这玩意占用是真低啊, 比Idea都低, 推理时占用也很低
image

1 个帖子 - 1 位参与者

阅读完整话题

来源: LinuxDo 最新话题查看原文