Together AI Blog·· 1 天前AI 评分55
Together AI 详解 GPU 集群自动修复:从故障到健康节点
Auto repair for Together GPU Clusters: from GPU fault to healthy node
AI 导读
Together AI 宣布其 GPU 集群自动修复功能全面可用,并详细拆解了从故障检测到节点恢复的完整流程。系统在虚拟机和宿主机两侧同时监控 Xid 错误、ECC 双位错误、InfiniBand 链路抖动等信号,按故障类型推荐最轻的修复动作,支持逐故障审批或全自动执行。修复按重启、快速重建、迁移主机逐级升级,并配有冷却、并发预算和熔断机制来应对告警风暴。
来源:Together AI Blog · together.ai