Monodratic：面向稀疏因果注意力的乘积哈希路由
独立开发者推出了 Monodratic 架构，用学习型乘积哈希路由来优化稀疏因果注意力。该方案在施加 RoPE 旋转位置编码后，将源块分配到有界的因果发布列表中。查询时会直接探测乘积地址、对候选对象重排、选取固定数量的远程源块，并结合固定的局部块，最后仅对这些目标 Token 执行精确的因果 Softmax 计算。这种设计大幅降低了长序列处理中的计算与内存开销，为大模型的高效推理提供了新思路。
独立开发者推出了 Monodratic 架构，用学习型乘积哈希路由来优化稀疏因果注意力。该方案在施加 RoPE 旋转位置编码后，将源块分配到有界的因果发布列表中。查询时会直接探测乘积地址、对候选对象重排、选取固定数量的远程源块，并结合固定的局部块，最后仅对这些目标 Token 执行精确的因果 Softmax 计算。这种设计大幅降低了长序列处理中的计算与内存开销，为大模型的高效推理提供了新思路。