大模型K8s部署

大模型在Kubernetes环境中的服务发现，核心在于利用Headless Service配合DNS动态解析，实现Pod级别的负载均衡与高可用访问，而非依赖传统的IP直连，随着大语言模型（LLM）从实验室走向生产环境，部署架构的复杂性呈指数级上升，传统的单体应用部署只需关注IP和端口，但在K8s中运行动辄数十G……