基于纯汇编的 Gemma-2B 推理引擎
这是一个探索大模型裸机运行极限的个人项目。开发者完全用 x86-64 汇编语言（FASM）写了一个 Gemma-2B 推理引擎，没有使用任何大型运行时和编译器抽象。整个二进制文件只有 5.2 KB，其中推理核心占 3.7 KB，自定义的多线程矩阵乘法模块占 1.5 KB。在硬件加速方面，它直接基于纯 AVX2 和 F16C 指令集，实现了支持 4 线程的 SMP GEMM 前缀和生成。这个项目验证了底层汇编在模型轻量化推理上的可行性，为资源受限场景下的部署和调优提供了实用的参考。