在 RTX 4090 上部署并加速 Cosmos 3 机器人策略
通过量化、采样器调优、kernel 优化与 rollout 拓扑设计，在 24 GB GPU 上加速 NVIDIA 的 16B Cosmos 3 机器人策略：从单请求推理到 1,200 个 episode 的全量评测。
标签
Quantization
这一主题下的全部文章。
用向量查表真正加速低比特 LLM 的并行推理
Vec-LUT 将重复的标量查表转化为连续的向量读取，在 x86 和 ARM CPU 上将并行三值 LLM 推理加速至多 4.2 倍。
增强 vLLM 对 GPTQv2 格式的支持：分析与实现
分析 vLLM 对 GPTQv2 格式支持的局限，以及低比特非对称量化推理所需的 CUDA 内核改动。