评估 200b 数值行为差异对视频生成模型生成结果的影响

2026-11-19 · Eva

1项目背景

目的。本项目评估 200b 与 NV GPU 在 attention(softmax)计算中的数值行为差异,对视频生成模型端到端生成结果的影响。

范围。评估最初仅针对 softmax:softmax 中的 exp 由 200b 的 SFU 计算,其实现与 NV 不同;其余运算默认与 NV 行为一致。在项目沟通中进一步确认,200b 矩阵乘单元的输出位宽也与 NV 不同(只能输出 16 位),会影响 attention 中矩阵乘的结果。因此评估范围扩展为两处差异:softmax 中的 exp 实现与矩阵乘的 16 位输出。

方法。在暂无 200b 芯片的条件下,于 NV H100 上进行仿真:以 MiniMax-H3 为典例,将其中 DiT 的 attention kernel 中对应运算替换为 200b 的行为模型(exp 采用 200b 的 C model,矩阵乘输出按 16 位舍入),其余计算保持不变;以未修改的 NV 实现为基线,比较生成视频与音频的差异。

评估框架

评估对象
两处数值差异:softmax 中的 exp 实现;矩阵乘输出位宽
实验设计
两处差异分别单独仿真,再同时仿真,区分各自的影响与叠加后的影响
评估层次
kernel 层:单次 attention 输出与基线的误差;端到端:生成视频、音频与基线的客观指标和主观对比
参照尺度
NV 平台上两种常用 attention 实现(FlashAttention-2 与 FlashAttention-3)之间的差异
测试场景
官方示例与自定义场景共 5 个,覆盖文生视频、首帧 / 首尾帧锚定生成

2计算流程与替换位置

下图依据源码绘制 FlashAttention-2 前向 kernel 中一个线程块的计算流程(kernel 配置见附录 F),橙色框为仿真中替换的位置。

替换位置(编号与第 3 节一致)FP32 运算 / 数据BF16 数据
KV 循环:每块 64 个 key,依次处理(在线 softmax) V 块 m α α:acc_o ← α·acc_o 循环结束后 Q、K、VBF16Q·Kᵀ 矩阵乘HMMA,FP32 累加SFP32 · 128×641x = S·c − m·cFFMA,FP32exp2(x) → PMUFU.EX22PFP32P → BF16就近舍入P·V 矩阵乘HMMA,累加进 acc_o3acc_oFP32 · 128×128行最大值 m与 m_prev 取大值(m_prev − m)·cFP32exp2 → αMUFU.EX22row_sum×α,再加 ΣProw_sum 归约4 线程求和inv = 1 / row_sumFP32O = acc_o × invFP32O → BF16就近舍入写回 O以及 LSE

c = softmax_scale × log₂e。第一块没有 m_prev,不做 α 重缩放(m 直接取本块行最大值,row_sum = ΣP)。序列末尾不足 64 个 key 的块在 S 上先做边界 mask,图中省略。

替换位置

编号位置仿真中的行为源码
1Q·Kᵀ 输出 SS 逐元素舍入为 BF16(就近舍入),再转回 FP32 进入 softmaxflash_fwd_kernel.h,gemm 之后
2softmax 中的两处 exp2:P 与重缩放因子 α由 exp2f(MUFU.EX2)改为 200b SFU exp2 的 C modelsoftmax.h,scale_apply_exp2、softmax_rescale_o
3P·V 输出每块 P·V 先写入清零的临时累加器,舍入为 BF16 后,以 FP32 加到 acc_oflash_fwd_kernel.h,gemm_rs

三处替换均由运行时开关控制;开关全部关闭时,输出与原始 kernel 逐位相同。split-KV 合并阶段的 3 处 expf 同样已替换,但 H3 DiT 的调用不使用 split-KV,实际不执行。

2

exp 实现

200b exp2 与 NV MUFU.EX2 计算步骤相同,系数表与舍入方式也相同。差异只有两处:A 平方项 q² 的计算方式(200b 有时大 1 ULP);B 结果小于 2⁻¹²⁶ 时,NV 基线输出 0、200b 输出次正规数。见下方对照图。

官方 T2VA 真实 Q/K/V 上的 kernel 层结果(12 次调用,仅开启 ②):输出与基线不同的元素占 0.0008%,相对 L2 5.8e-6 – 8.7e-6。

13

矩阵乘 16 位输出

200b 矩阵单元只输出 16 位(BF16 / FP16),S 与每块 P·V 的结果须先舍入为 16 位,再由向量单元以 FP32 继续计算。仿真中按 BF16 就近舍入实现。

官方 T2VA 真实 Q/K/V 上的 kernel 层结果(12 次调用,同时开启 ① ③):输出与基线不同的元素占 64.6%,相对 L2 7.0e-3 – 4.2e-2。

2

200b exp2 与 NV MUFU.EX2 的实现对照

两者计算步骤相同,系数表、累加器常数、舍入方式也相同。本实验中两者均为 FP32 输入、FP32 输出、就近舍入。

1 · 拆分x = n + fn 为整数,f ∈ [0,1) 两者相同 2 · 查表f 的高 6 位选 64 段之一,取 C0、C1、C2 两者相同 3 · 二次多项式C0 + C1·q + C2·q²q 为 f 的低 17 位,40 位定点累加 4 · 舍入保留 24 位有效位就近舍入 两者相同 5 · 拼接指数× 2ⁿ → 输出FP32 差异 A:平方项 q² NV只累加高位部分积(截断平方) 200b完整乘积后截断 差异 B:结果 < 2⁻¹²⁶(x < −126) NV 基线输出 0(FTZ) 200b输出次正规数

差异 A、B 的部分积示意、输出影响统计与分区间占比见附录 G。

3实验设定

3.1 基线与参照

本研究以 FlashAttention-2 作为基线。第 2 节所述的全部替换均直接作用于该 kernel 的源码,因此测试结果与基线之间的差异仅来源于被替换的运算,二者可逐帧对应比较。

NV 平台上不同的 attention 实现在分块方式、指令选择与累加顺序上各不相同,其浮点结果本身并不逐位一致。为给出这一差异的参照尺度,本研究在相同硬件与相同推理框架(SGLang)下,仅将 DiT 的 attention 替换为 SGLang 默认使用的 FlashAttention-3,生成一组参照结果(FA3 参照),并采用与各实验组相同的方法与 FA2 基线比较,用以直观呈现 NV 官方实现版本不同所带来的输出差异。

3.2 实验组

实验以第 2 节的三处替换为变量,采用单因素与组合设计:实验一仅替换 exp(②),实验二仅引入矩阵乘 16 位输出(① ③),实验五同时引入二者。三组主实验覆盖全部 5 个测试场景。另设两组补充实验,仅在官方 T2VA 上运行,结果列于附录:实验三考察 ① 的一种替代实现(S 先减去此前各 KV 块的行最大值 m′,再转为 16 位),实验四考察去噪步数由 50 减至 20 的情形。

组别1 S 输出2 exp3 P·V 输出去噪步数场景
FA2 基线FP32NV exp2FP32 累加505 个场景
FA3 参照FlashAttention-3 kernel,均为 NV 原生行为505 个场景
实验一FP32200b exp2FP32 累加505 个场景
实验二BF16NV exp2BF16 后累加505 个场景
实验五BF16200b exp2BF16 后累加505 个场景
补充 · 实验三减 m′ 后转 BF16NV exp2BF16 后累加50官方 T2VA
补充 · 实验四BF16NV exp2BF16 后累加20官方 T2VA

3.3 测试场景

场景类型分辨率时长 / 帧数seed内容
官方 T2VA文生视频 + 音频1344×76810.1 s / 2430星舰舰桥,女舰长,镜头缓慢推进
官方 FL2VA首帧锚定1344×7688 s / 1920日式餐厅家庭聚餐,固定机位
快速运镜文生视频 + 音频1344×7683 s / 73987654321无人机低空快速飞过灯笼集市
近景人脸文生视频 + 音频1344×7683 s / 73987654321窗边女性特写,说一句话并微笑
快速运动首尾帧锚定(同一张图)1120×7365 s / 1240跳舞旋转,首尾姿势相同

4主观评测

4.1 视频对比

4.2 重点画面对比

附录

A · 评估指标

PSNR
测试视频与基线视频在同一帧、同一像素位置上的数值差异,整段取各帧平均。数值越高表示像素值越接近基线。用于衡量逐像素偏差,不反映画面观感,物体位置或纹理细节的轻微变化也会使 PSNR 明显下降。
SSIM-Y
亮度通道的结构相似度,取值上限为 1
音频 SNR
测试音轨与基线音轨在同一时刻采样点上的波形差异,以基线能量与差值能量之比表示(dB),整段音轨得到一个值。数值越高表示波形越接近基线。用于衡量逐采样点偏差,不反映听感;声音内容相同但相位或时间有微小偏移时,SNR 也会明显下降。
kernel 相对 L2
相同真实 Q/K/V 输入下,单次 attention 输出相对基线的 L2 误差,反映单次调用的数值偏差,不包含多步去噪的累积

所有端到端指标均为与同一场景、同一随机种子下 FA2 基线的比较;实验四与同为 20 步的 FA2 基线比较。

B · 可视化对比

各场景整段视频指标

柱高从 0 开始。灰色细线是每个场景中 FA3 参照的数值。

逐帧曲线
把鼠标移到图上查看每帧数值

C · 客观数据表

端到端客观指标总表(50 步,对 FA2 基线)

最差帧列括号内为帧号。

kernel 层误差汇总(官方 T2VA 真实 Q/K/V,12 次调用)
组别开启的替换相对 L2(对基线)不同元素占比
实验一②5.8e-6 – 8.7e-60.0008%
实验二① ③7.0e-3 – 4.2e-264.6%
实验五① ② ③7.0e-3 – 4.2e-264.6%
实验三①′ ③1.4e-3 – 2.4e-321.0%

数据:官方 T2VA 第 0 / 16 / 33 / 49 步,blocks.10 / 45 / 49 的真实 Q/K/V,共 12 次调用、31.8 亿个输出元素,测试 kernel 与基线 kernel 在同一输入上比较(2026-11-18)。

kernel 层逐次调用数据(官方 T2VA 真实 Q/K/V,12 次调用)

D · 实验三:先减 running max 再转 16 位

实验目的:检验项目组提出的一种 16 位输出精度补偿方法:S 先减去行最大值再转为 16 位,转回 FP32 后加回,以减少数值较大的 S 在 16 位表示下损失的小数精度。

实验三是针对 ① 的一种改写:S 在转 16 位之前先减去这一行在已处理 KV 块上的最大值 m′,转回 FP32 之后再加回 m′。P·V 的 16 位转换 ③ 与实验二相同,exp 用 NV 的实现。只在官方 T2VA 上运行。

实验二:S ← fp32(bf16(S))
实验三:S ← fp32(bf16(S − m′)) + m′
        m′ = 本块更新前的 row max(16 位舍入后的值);第一块 m′ = 0
客观指标(官方 T2VA,50 步)

kernel 层:12 次真实调用上,实验三与基线不同的元素占 21.0%(实验二 64.6%)。

逐帧 PSNR(对 FA2 基线)
把鼠标移到图上查看每帧数值

视频:基线、实验二、实验三

截图:基线、实验二、实验三

E · 实验四:20 步推理

实验目的:检验减少去噪步数(50 → 20)能否减小 16 位输出对生成内容的改变。

实验四的数值改动与实验二相同,只是把去噪步数从 50 改为 20。步数本身会改变生成内容,所以实验四要和同样跑 20 步的 FA2 基线比较。FA3 参照也补跑了 20 步。只在官方 T2VA 上运行。

客观指标(官方 T2VA)

视频 latent(VAE 解码前的 DiT 输出)相对 L2:实验二 50 步 45.3%,实验四(20 步)40.6%。

逐帧 PSNR(对 20 步 FA2 基线)
把鼠标移到图上查看每帧数值

视频:20 步基线与实验四

截图:20 步基线与实验四

F · 运行环境与控制变量

硬件
2 × NVIDIA H100(sm_90),张量并行
软件
SGLang 0.5.22(通过官方插件入口替换 attention,未修改框架源码);Dao FA2 @14c3779
attention kernel
MiniMax-H3 的 DiT 在 H100 上调用 FlashAttention-2 前向 kernel:varlen 接口,head_dim 128,BF16,非因果,不拆分 KV。每个线程块负责 128 行 query,按每块 64 个 key 依次遍历 K、V,以在线 softmax 方式累加输出
替换范围
仅 DiT 的 attention kernel(--component-attention-backends transformer=fa2);文本编码器与视频 / 音频 VAE 保持框架默认实现,每次运行检查日志确认
固定条件
模型权重、调度器、随机种子与请求参数在各组间保持一致
仿真实现
exp:200b SFU exp2 的 C model;16 位输出:FP32 按就近舍入转为 BF16 后再转回 FP32
切换方式
各实验组共用同一编译产物,由运行时开关选择替换项;每次运行从两张卡回读开关状态
接入校验
开关全部关闭时,kernel 输出与基线逐位一致(真实与合成输入共 33.5 亿个输出元素,0 差异,2026-11-18);端到端视频 md5 与基线相同
视频文件
本页视频即计算指标所用的原始 mp4(md5 已逐个核对),H.264,24 fps

G · exp2 实现差异细节

差异 A:平方项 q² 的部分积

16 16 12 12 8 8 4 4 0 0 q 的第 j 位 q 的第 i 位 两者都计入 只有 200b 计入 i + j = 18 分界

每个点是 q 的第 i 位与第 j 位的乘积,权重 2^(i+j);q² 只保留 i + j ≥ 18 的部分。200b 先算出完整乘积再截断,低位部分积的进位会进入结果;NV 只累加第 18 位及以上的部分积,并去掉 (9,9) 对角项。NV 的 q² 比 200b 小 0–17(平均 4.1,单位为 q² 结果的最低位),两者相等的 q 占 3.6%。

对输出的影响

差异输出不同的条件差值不同输入数(x ≤ 0)
A 平方项多项式结果接近舍入边界200b 比 NV 大 1 ULP,没有更大的差值25,154,962(1.18%)
B 极小结果x < −126,即结果 < 2⁻¹²⁶ ≈ 1.2×10⁻³⁸NV 为 0,200b 为次正规数1,703,935(0.08%)
合计26,858,897

x ≤ 0 共 2,139,095,042 个 FP32 输入(不含 NaN),softmax 中 x = S·c − m·c 均落在此区间。全部 FP32 输入中,差异 A 占 0.709%。

核对:在 200b C model 中只把平方项换成 NV 的截断平方,在 H100 上与 MUFU.EX2(FTZ)比较全部 2³² 个输入,0 个不同(2026-11-12)。200b C model 自身的 FTZ 与非 FTZ 两种输出在 x ≤ 0 时只在次正规结果上不同。因此在 x ≤ 0 区间,两者的差异只有 A、B 两处。

与平方无关的另一处差异:200b 累加器中的固定余量在单次舍入时被计入,使平局点进位(结果恰为最小次正规数的一半时输出最小次正规数而非 0),并使 RP 模式下 2 的整数次幂不精确。该现象出现在 16 位输入输出接口与 RP 模式。对本实验的 FP32 输出、就近舍入路径逐个核对全部 x ≤ 0 的输入:未出现平局点进位;输出为正规数时,除差异 A 外两者逐位相同。

差异 A 在各输入区间的占比(x < 0)

0% 10% 20% 30% 40% 50% |x| ∈ [2^-24, 2^-23):0.00%(0 / 8,388,608) 2-24 |x| ∈ [2^-23, 2^-22):0.00%(0 / 8,388,608) |x| ∈ [2^-22, 2^-21):50.00%(4,194,304 / 8,388,608) |x| ∈ [2^-22, 2^-21):50.00%(4,194,304 / 8,388,608) 2-22 50.0% |x| ∈ [2^-21, 2^-20):25.00%(2,097,152 / 8,388,608) |x| ∈ [2^-21, 2^-20):25.00%(2,097,152 / 8,388,608) 25.0% |x| ∈ [2^-20, 2^-19):25.00%(2,097,152 / 8,388,608) |x| ∈ [2^-20, 2^-19):25.00%(2,097,152 / 8,388,608) 2-20 |x| ∈ [2^-19, 2^-18):12.50%(1,048,576 / 8,388,608) |x| ∈ [2^-19, 2^-18):12.50%(1,048,576 / 8,388,608) |x| ∈ [2^-18, 2^-17):15.62%(1,310,720 / 8,388,608) |x| ∈ [2^-18, 2^-17):15.62%(1,310,720 / 8,388,608) 2-18 |x| ∈ [2^-17, 2^-16):14.06%(1,179,648 / 8,388,608) |x| ∈ [2^-17, 2^-16):14.06%(1,179,648 / 8,388,608) |x| ∈ [2^-16, 2^-15):12.50%(1,048,576 / 8,388,608) |x| ∈ [2^-16, 2^-15):12.50%(1,048,576 / 8,388,608) 2-16 |x| ∈ [2^-15, 2^-14):11.72%(983,040 / 8,388,608) |x| ∈ [2^-15, 2^-14):11.72%(983,040 / 8,388,608) |x| ∈ [2^-14, 2^-13):9.18%(770,048 / 8,388,608) |x| ∈ [2^-14, 2^-13):9.18%(770,048 / 8,388,608) 2-14 |x| ∈ [2^-13, 2^-12):9.96%(835,584 / 8,388,608) |x| ∈ [2^-13, 2^-12):9.96%(835,584 / 8,388,608) |x| ∈ [2^-12, 2^-11):8.59%(720,896 / 8,388,608) |x| ∈ [2^-12, 2^-11):8.59%(720,896 / 8,388,608) 2-12 |x| ∈ [2^-11, 2^-10):8.08%(677,888 / 8,388,608) |x| ∈ [2^-11, 2^-10):8.08%(677,888 / 8,388,608) |x| ∈ [2^-10, 2^-9):7.34%(615,424 / 8,388,608) |x| ∈ [2^-10, 2^-9):7.34%(615,424 / 8,388,608) 2-10 |x| ∈ [2^-9, 2^-8):6.65%(557,568 / 8,388,608) |x| ∈ [2^-9, 2^-8):6.65%(557,568 / 8,388,608) |x| ∈ [2^-8, 2^-7):6.06%(508,160 / 8,388,608) |x| ∈ [2^-8, 2^-7):6.06%(508,160 / 8,388,608) 2-8 |x| ∈ [2^-7, 2^-6):5.67%(475,520 / 8,388,608) |x| ∈ [2^-7, 2^-6):5.67%(475,520 / 8,388,608) |x| ∈ [2^-6, 2^-5):5.99%(502,208 / 8,388,608) |x| ∈ [2^-6, 2^-5):5.99%(502,208 / 8,388,608) 2-6 |x| ∈ [2^-5, 2^-4):5.89%(494,144 / 8,388,608) |x| ∈ [2^-5, 2^-4):5.89%(494,144 / 8,388,608) |x| ∈ [2^-4, 2^-3):5.75%(482,288 / 8,388,608) |x| ∈ [2^-4, 2^-3):5.75%(482,288 / 8,388,608) 2-4 |x| ∈ [2^-3, 2^-2):5.38%(450,928 / 8,388,608) |x| ∈ [2^-3, 2^-2):5.38%(450,928 / 8,388,608) |x| ∈ [2^-2, 2^-1):4.73%(396,764 / 8,388,608) |x| ∈ [2^-2, 2^-1):4.73%(396,764 / 8,388,608) 2-2 |x| ∈ [2^-1, 2^0):3.67%(307,982 / 8,388,608) |x| ∈ [2^-1, 2^0):3.67%(307,982 / 8,388,608) 3.7% |x| ∈ [2^0, 2^1):4.42%(371,092 / 8,388,608) |x| ∈ [2^0, 2^1):4.42%(371,092 / 8,388,608) 20 4.4% |x| ∈ [2^1, 2^2):4.70%(394,196 / 8,388,608) |x| ∈ [2^1, 2^2):4.70%(394,196 / 8,388,608) |x| ∈ [2^2, 2^3):5.24%(439,172 / 8,388,608) |x| ∈ [2^2, 2^3):5.24%(439,172 / 8,388,608) 22 |x| ∈ [2^3, 2^4):5.79%(485,552 / 8,388,608) |x| ∈ [2^3, 2^4):5.79%(485,552 / 8,388,608) |x| ∈ [2^4, 2^5):6.33%(531,136 / 8,388,608) |x| ∈ [2^4, 2^5):6.33%(531,136 / 8,388,608) 24 |x| ∈ [2^5, 2^6):6.87%(576,480 / 8,388,608) |x| ∈ [2^5, 2^6):6.87%(576,480 / 8,388,608) |x| ∈ [2^6, 2^7):7.42%(602,764 / 8,126,465) |x| ∈ [2^6, 2^7):7.42%(602,764 / 8,126,465) 26 7.4% |x| 所在区间的下界(x < 0,P = 2ˣ)

纵轴:该区间内 200b 比 NV 大 1 ULP 的输入占比。每个区间含 2²³ 个 FP32 输入(最后一个区间截止到 −126)。|x| < 2⁻¹⁰ 时 x 的小数部分只覆盖少数几个 q 值,占比随 q 值而跳变;P 接近 1 的元素对应这些区间。

各区间数据
|x| 区间输入数200b 大 1 ULP占比
[2^-24, 2^-23)8,388,60800.00%
[2^-23, 2^-22)8,388,60800.00%
[2^-22, 2^-21)8,388,6084,194,30450.00%
[2^-21, 2^-20)8,388,6082,097,15225.00%
[2^-20, 2^-19)8,388,6082,097,15225.00%
[2^-19, 2^-18)8,388,6081,048,57612.50%
[2^-18, 2^-17)8,388,6081,310,72015.62%
[2^-17, 2^-16)8,388,6081,179,64814.06%
[2^-16, 2^-15)8,388,6081,048,57612.50%
[2^-15, 2^-14)8,388,608983,04011.72%
[2^-14, 2^-13)8,388,608770,0489.18%
[2^-13, 2^-12)8,388,608835,5849.96%
[2^-12, 2^-11)8,388,608720,8968.59%
[2^-11, 2^-10)8,388,608677,8888.08%
[2^-10, 2^-9)8,388,608615,4247.34%
[2^-9, 2^-8)8,388,608557,5686.65%
[2^-8, 2^-7)8,388,608508,1606.06%
[2^-7, 2^-6)8,388,608475,5205.67%
[2^-6, 2^-5)8,388,608502,2085.99%
[2^-5, 2^-4)8,388,608494,1445.89%
[2^-4, 2^-3)8,388,608482,2885.75%
[2^-3, 2^-2)8,388,608450,9285.38%
[2^-2, 2^-1)8,388,608396,7644.73%
[2^-1, 2^0)8,388,608307,9823.67%
[2^0, 2^1)8,388,608371,0924.42%
[2^1, 2^2)8,388,608394,1964.70%
[2^2, 2^3)8,388,608439,1725.24%
[2^3, 2^4)8,388,608485,5525.79%
[2^4, 2^5)8,388,608531,1366.33%
[2^5, 2^6)8,388,608576,4806.87%
[2^6, 2^7)8,126,465602,7647.42%