从未公开!震惊了!Blackwell 原生支持 INT4 满血算力

嘿嘿,一番摸索,给挖出来了,Blackwell 原生支持 INT4 满血算力!

不多说,直接开始正题,大家可自行测试。


For SM100 / SM103 / SM110

.kind::mxf4nvf4 指令,你只需要改 cutlass 两行代码,就可以拥有原生满血 INT4 算力!实测吞吐和 FP4 E2M1 一样!

img

  • 枚举值 0 代表 INT4 或 E0M3,codebook 等间距从 -7 到 7
  • 枚举值 1 代表 E2M1,codebook 非均匀间距从 -6 到 6
  • 枚举值 2-7 会自动回退到 E2M1

也意味着,你对于 a 和 b 设置不一样的枚举值,支持满血算力的 INT4 x FP4 E2M1 混乘!

img


For SM120 / SM121

在 RTX 5090 中(测试 Driver 595.84),NVFP4 的 OMMA.SF.16864.F32.E2M1.E2M1.UE4M3.4X 指令中,128-bit SASS 的 bit 78/79 分别控制左右操作数格式,0 代表 E2M1、1 代表 E0M3。

写个 CUBIN 后处理逻辑,也可以解锁 5090 原生满血 INT4 / E0M3 算力,包括混乘场景。未来消费级显卡本地 llama.cpp 部署推理也可以用到满血 INT4 算力了

img

就是这样!over


Reference


我想对千千说~