最近带着一帮人搞k8s AI推理服务集群，后续要部署各种规模的大模型对外提供服务，老板让运维和我（infra研发）去分别弄下。
运维那边的人实在是太古板，弄的都是什么centos7.9 + k8s 1.28，走的老device-plugin，甚至还是手动装驱动，dkmd玩意儿，想跑ebpf，ai推理 vllm，权重挂载啥的都用古董方法，思想太老旧了。

没办法啊，现在ai时代，技术更新那么快，我干脆去找其它组撸来了些新设备，我自己搭个集群行了吧。本文算是SOP吧，也算是对自己从 0 搭 AI集群的记录。

用到的 Volcano, Clium, HAMI-DRA, Nvidia-ctk，ContainerdV2，k8s 1.37.1 。

DRA是从k8s1.34.2+转正的一个新特性，简单说是用于显示更多资源细节，比如vram啊，features啊啥的

还有就是我用HAMI实现到了vGPU切分，这会一个容器可以不像以前device-plugin那样，只能一对一调度了，现在还可以按显存啊，gpu使用率啥的调度。这里说的 vGPU 是 HAMi 对物理 GPU 显存和算力份额的软切分，不是 NVIDIA 商业版 vGPU，也不是 MIG。它能解决一张卡给多个 Pod 使用的问题，但隔离能力依赖 HAMi-core，和硬件分区不是一回事。