Edge AI

在 RTX 4090 上部署并加速 Cosmos 3 机器人策略

2026/08/21

通过量化、采样器调优、kernel 优化与 rollout 拓扑设计，在 24 GB GPU 上加速 NVIDIA 的 16B Cosmos 3 机器人策略：从单请求推理到 1,200 个 episode 的全量评测。

用向量查表真正加速低比特 LLM 的并行推理

2026/07/11

Vec-LUT 将重复的标量查表转化为连续的向量读取，在 x86 和 ARM CPU 上将并行三值 LLM 推理加速至多 4.2 倍。

"口袋里的 GPT"，离我们还有多远？

2023/11/21

介绍端侧大语言模型部署面临的内存、计算效率与隐私挑战，以及模型压缩和推理优化方法。