当前位置:首页 > 见闻随笔

27B、2.8T,这个 B 到底是什么?

创作者31分钟前见闻随笔3

模型圈的标题越来越像天书:27B、125B、2.8T。这个 B 到底是什么?它直接决定了你的显卡能不能跑得动这个模型。这篇用几个换算,把这件事彻底说清楚。

B 是什么:先学会数数

B 就是 Billion,十亿。在模型这里,1B = 十亿个参数。

换算速查

1B = 10 亿个参数

27B = 270 亿  125B = 1250 亿

1T = 1000B  2.8T = 2800B = 两万八千亿

每个参数就是一个数字,要占地方。刚开源的 Kimi K3 总参数 2.8T,是 27B 的一百多倍——不过它是 MoE 架构(混合专家),896 个专家里每个词只激活 16 个,所以「脑子大」不代表「每次都全用」。

文件多大?参数量 × 字节数

一个参数按 2 字节存(原版精度),一个 27B 的模型就是:

270 亿 × 2 字节 ≈ 54 GB

想变小?靠量化。量化就是降低精度,用更少的位数去存每个数字:

8 位量化 ≈ 27 GB,砍掉一半

4 位量化 ≈ 13.5 GB,只剩四分之一

同一个 27B:原版 54 GB,量化后十几 GB。代价是精度有损——但大多数场景下,4 位量化的效果依然够用。

27B 三档量化文件大小对比,以及 Kimi K3 的硬件门槛

▲ 同一个 27B,量化前后差 4 倍;而 K3 的门槛,已经是「机房级」了。

文件多大,显存至少多大

模型要跑起来,权重得装进显存。所以文件多大,显存至少就得多大:

27B 4 位:13.5 GB → 一张 24GB 消费级显卡装得下

27B 原版:54 GB → 要 80GB 的专业卡

那 K3 呢?按 2.8T 算,理论原版要 5.6TB;实际开源文件是 1561 GB(出厂就带了 4 位精度),社区估算至少要 2 台 B200 服务器(16 张 192GB 的卡)才装得下,官方推荐的运行配置则是 64 卡起的超节点。

差的不只是 100 倍参数,是「一台电脑」和「一个机房」的距离。

显存装不下怎么办?借内存

今年爆火的开源推理引擎 Strata 给了另一条路:12GB 显存的显卡,跑一个总参数 125B 的模型(配套的 Qwen3.8-Flash-Next)。

它的底气是 MoE 的稀疏性:这个模型有 24,576 个专家,每个词只用其中 10 个。既然每次只用一小撮,就没必要把全部权重都塞进显存——让整机一起干活:

显存:放每个词都要用的公共部分,加上最常用的那几千个热点专家;

内存:放全部 24,576 个专家,没驻留显存的由 CPU 直接就地计算,和显卡并行;

硬盘:作为后备,存一张约 28.8GB 的查找表,按需读取。

有人在 RTX 3050(显存 7.7GB 可用)+ 68GB 内存上真跑起来了。显存的门槛降下来了,但内存的门槛抬高了——显存不够内存凑,内存不够硬盘补,总有一项要买单。

还要说清一件事:Strata 的「12GB 跑 125B」,是整机协同运行,不等于把 1250 亿参数全装进了 12GB 显存。而且这套玩法只对稀疏 MoE 有效——27B 这种稠密模型每个词都要过全部参数,借不来内存。

三步选型法

轮到你自己的机器,按这三步判断:

第一步:参数量 × 字节数 = 文件大小,先算出模型有多大;

第二步:装得进显存,就选精度最高的版本;

第三步:装不进,看内存够不够(MoE 类可以借内存),内存也不够就只能靠量化更狠的档位或更大的硬盘。

一句话总结:先显存,再内存,在装得下的前提下,选精度最高的那个。

注:文中 K3 的文件体积与硬件门槛来自其开源发布页与社区测算,Strata 的分工机制来自项目官方文档;各家更新很快,实际以官方说明为准。

免责声明:本文内容整理自公开网络内容,结合个人理解改写,仅作学习交流使用,相关结论仅供读者独立思考参考,请勿作为商业决策依据。版权归原作者所有,如有侵权请联系删除。

分享给朋友:

相关文章

从 Vlog 到视频日记:内容创作的底层逻辑革命

你是不是也有过这样的困惑:每天精心拍摄、剪辑 Vlog,追求精致的画面、流畅的转场和热门的 BGM,却发现粉丝越来越难留,数据越来越差,自己也越拍越累?其实,你可能从一开始就搞错了内容创作的底层逻辑—…

Anthropic 顶级科学家斯坦福演讲:AI 用 5 秒钟,把人类的职业规划炸碎了

最近,Anthropic 顶级科学家、扩散模型的发明者亚沙(Jascha Sohl-Dickstein)在斯坦福大学的一场演讲,直接把全场名校博士的职业规划炸得稀碎。 他站在斯坦福的讲台上,对着一屋…

行业「烂」了,却不一定完了:内卷的本质是在粪坑里游泳

很多行业现在看起来没死,实际上已经烂了。如果你发现自己足够努力,却还是赚不到满意的回报,问题大概率不在你身上。一、餐饮:自杀式引流正在拖垮整个行业我最近接了一个中餐酒楼的项目,目标是帮他们提升 200…

退货率 80%:AI 能攻克数学家解不开的难题,为什么算不准你的尺码?

今年双十一,女装退货率直接飙到了恐怖的 80%,直播间甚至突破了 90%。无数干了十年的老服装厂老板,正在仓库里看着堆成山的退货包裹排队「上天台」。全网都在骂消费者「白嫖」,或者骂商家「货不对板」,但…

AI 短剧风口:66 亿播放和千万回报背后,98% 的人正在被淘汰

54 岁的张汉生,带着一帮网约车司机和宝妈,用一部《持械入宋》拿到了 66 亿全网播放。算力投入上百万,商业回报上千万——十倍。这个故事传开之后,AI 短剧就成了新的造富模板:工具装在手机里,门槛低到…

张朝阳说得没错:自媒体,就是年轻人成本最低的创业

张朝阳说得没错:自媒体,就是年轻人成本最低的创业

搜狐创始人张朝阳最近表达过一个判断,值得每个想创业的年轻人认真听一遍:互联网上的机会依然大量存在,而且最懂这片土地的,永远是年轻人。他给的路径也很具体——在互联网上做自媒体,这是当下成本最低的创业方式…