🔁 转推分享
推文原文
这个项目太吊了
12G显存就能跑 Qwen 3.8 Flash 的 128B 版本,速度能到 96token/s
梗解释 / 点评
Niko1221/Strata:一个号称"消费级硬件一键跑 Qwen3.8-Flash-Next"的推理引擎项目,还带 OpenAI/Anthropic 兼容 API。大罗这条的看点是数字:12G 显存跑 128B 版本、96 token/s——如果属实,意味着千元级显卡也能玩转百 B 级模型,本地部署党的狂欢。不过"128B"和"Flash"放一起本身就值得打个问号,具体效果还得看实测,仓库在 github.com/Niko1221/Strata,有显卡的可以自己验证。
推文截图

原作者:大罗SEO @daluoseo
发布时间:下午5:40 · 2026年10月3日
本文为转推存档,版权归原作者所有。