标签: Edge AI

用向量查表真正加速低比特 LLM 的并行推理

Vec-LUT 将重复的标量查表转化为连续的向量读取,在 x86 和 ARM CPU 上将并行三值 LLM 推理加速至多 4.2 倍。

"口袋里的 GPT",离我们还有多远?

唠一唠端侧大模型部署那些事。