GPU 驱动、CUDA 与容器运行时版本矩阵：为什么 AI 节点升级容易翻车？
GPU 节点升级不能只看一个软件版本，驱动、CUDA、容器镜像、NVIDIA Container Toolkit 和 Kubernetes 组件都需要形成版本矩阵。
AI 节点最怕“单点升级”。有人只升级驱动，有人只换 CUDA 镜像，还有人只改 Kubernetes 节点插件。结果训练任务突然找不到 GPU，推理服务启动失败，或者性能出现不可解释的下降。
GPU 运维需要维护版本矩阵，而不是记几个安装命令。一个完整矩阵至少包括：操作系统内核、NVIDIA 驱动、CUDA 版本、容器基础镜像、NVIDIA Container Toolkit、GPU Operator、containerd 或 Docker、Kubernetes 版本、设备插件版本。
为什么版本矩阵重要
GPU 软件栈是分层的。应用在容器里调用 CUDA 库，CUDA 库依赖驱动能力，容器运行时负责把设备和库暴露进容器，Kubernetes 负责调度和分配资源。任何一层不兼容，都可能表现为业务容器错误。
如果没有矩阵，故障排查只能靠经验猜。升级前也无法回答“这个镜像能不能在这批节点上跑”。
推荐做法
第一，为每类节点定义基线。例如 A100 训练节点、L40S 推理节点、开发测试节点不要混用同一套版本策略。
第二，每次升级只变更一个主变量。比如先升级 GPU Operator，再升级驱动，最后升级业务镜像。每一步都要有回滚方案。
第三，写健康检查脚本。检查 nvidia-smi、容器内 GPU 可见性、CUDA 样例、设备插件状态和实际推理请求。
第四，把版本矩阵放进仓库，不要只写在个人笔记里。生产环境的版本信息应该可追溯、可审计、可复现。
结论
GPU 节点不是普通计算节点。把版本矩阵管理好，很多“玄学问题”会变成清晰的兼容性问题。