英特尔推出至强推理微服务 自动配置vLLM参数
英特尔推出面向大语言模型推理的 Intel Inference Microservices 容器化微服务方案，可在第四至第六代至强处理器上自动检测硬件并应用经预先验证的 vLLM 配置，通过 OpenAI 兼容 API 提供模型推理服务。
驱动中国10月14日消息，英特尔宣布推出 Intel Inference Microservices。该方案面向大语言模型推理，采用容器化微服务形式，目标是让企业在已有的英特尔至强处理器上直接获得经过调优的模型推理能力，无需再花费数天时间进行手动硬件优化。
在该模式下，每个微服务都是一个独立容器，通过 OpenAI 兼容 API 对外提供单个模型的服务。容器在启动时会自动检测所在的英特尔处理器型号，并应用英特尔针对该模型和该硬件预先验证过的配置参数。
英特尔指出，让大语言模型给出回复并不困难，难点在于在既有硬件上稳定、高质量地重复这一过程。精度设置、计算任务在核心之间的分配方式、内存跨 NUMA 节点的布局，以及推理引擎使用哪些指令集，都取决于模型本身和底层处理器。更换模型时，合适的参数会发生变化；迁移到另一代芯片时，参数也需要重新调整。英特尔推理微服务旨在将这一调优过程封装在容器内部，由用户选择模型，由容器负责选择设置。
首批版本基于 vLLM 引擎，支持 BF16 精度，可在 Docker 或 Kubernetes 1.24 及以上环境中运行。硬件要求为第四代、第五代或第六代英特尔至强处理器，建议配置 32GB 内存。启动时，容器会检查主机的处理器代数、分配到的核心数量、NUMA 节点数量以及处理器内置的加速器。
英特尔特别强调了处理器内置加速器这一项。近期至强核心内置了专门用于推理计算的引擎，包括用于矩阵乘法的英特尔高级矩阵扩展，以及用于周边计算的 AVX-512、AVX2 及 VNNI 向量扩展。这些加速器已经存在于用户现有的芯片中，但只有推理引擎知道它们存在并正确配置时，才能发挥作用。
检测完成后，容器会选择经过验证的配置档案，解析调优后的引擎参数，缓存权重，并在指定端口启动推理服务。对于运行特定模型镜像的用户，如果主机未被识别，容器会在启动时报错，而不是静默地以未调优状态运行。基础镜像则默认启用配置回退，在无匹配模型专用配置时，会采用与硬件兼容的通用配置。
用户还可以通过命令行查看容器检测到的硬件信息和将要执行的 vLLM 命令，例如运行 detect-hardware 或 dry-run。