什么是AI推理优化？它和AI训练有什么本质区别？

AI推理优化与AI训练有三个本质区别：计算方向上推理只有前向传播、计算量约为训练的三分之一；优化目标上训练看准确率，推理看延迟、吞吐量与成本；分工上训练属算法工程师，推理优化属系统工程师。推理优化具体包括量化（7B模型FP32需28GB显存，量化后体积缩小4-8倍）、CUDA Kernel优化与调度优化（如vLLM的PagedAttention解决显存碎片化）。