标签: GeMM

用向量查表真正加速低比特 LLM 的并行推理

Vec-LUT 将重复的标量查表转化为连续的向量读取,在 x86 和 ARM CPU 上将并行三值 LLM 推理加速至多 4.2 倍。