导言
故了解相关概念，但是实际上 AutoFuse只适合非常规计算特别多，又没有人力投入的情况，可以考虑AutoFuse。但是对于Qwen3.5 这种优化后就只有一半Matmul/GMM，一半GDN的情况，AutoFuse接入的收益就不足了。
导言
导言
在AI训练流程中，明明一个tensor就是一个shape下的数值，但是竟然有一堆指标来处理和解释其含义：
这些指标代表什么，用途为何？如何计算（标量？什么shape），计算前后值域/shape变化如何，在比较精度的场景下是否为合适的典型指标（有代表性，且能比较）
导言
之前将megatron GPU实现迁移到NPU时，对齐精度，通过打印hook+小算子，只是打印 hash、l1_norm、mean、sum实现，能实现tensor hash值一模一样。
但是后来为了性能不得不上融合算子，就不能实现hash值相同；
到现在RL训推一致性，需要对齐训练和推理的精度，有两个问题： 1. 由于激活值在通过attention，mlp moe等模块时，激活值的shape和值域都会变化，如何判断对比两者的在哪个模块有明显的变化。需要不同模块能通过norm类似的操作来统一误差标准，然后我能拉一个每个不同模块的误差曲线，能通过可视化发现误差陡增的位置就是问题所在。 2. 主要我不希望dump每个模块的输出来进行位数的对比，这样太耗时和消耗空间，但是统计值l1_norm、mean、sum、min和max好像已经不够了，是不是需要加上p95等分位值，或者对于tensor变量一些metrics：kl loss才能更好的对比两个比较两个tensor的差异，且是数值可比较的。
导言
导言
导言
Agentic RL 和 memory 是2026年的发展方向。本文将调研 Agentic RL 在多模态的发展潜力。
导言
导言
ZJ内部出差，从0到1完成verl + MindSpeed MM + DanceGRPO算法的 t2v RL，达成reward快速持续上升。
导言
推理采样如何重塑概率地图：在普通监督学习（SFT）中，模型是被“喂饭”——你告诉它正确答案是什么，它去模仿。而在强化学习（RL）中，模型是在“试错”——它自己写几个答案，然后根据好坏来调整自己。