标签: LLM

增强 vLLM 对 GPTQv2 格式的支持：分析与实现

分析 vLLM 对 GPTQv2 格式支持的局限，以及低比特非对称量化推理所需的 CUDA 内核改动。