思科 Cisco披露AI工厂改造，GPU利用率升至约50%

近日，Cisco在技术博客中披露，其IT团队改造了面向企业内部与客户业务的AI基础设施。公司将利用率变化概括为提高至3倍：平均GPU利用率由15%提高到约50%，峰值负载达到80%；在不到2年的时间内，活跃计算环境从约250个企业GPU扩展至超过1,568个，没有新增物理空间，公司将这一规模变化概括为相同数据中心占地范围内的6倍计算扩展。

这套系统的服务对象包括覆盖90,000名员工的企业超级代理MyAgent，以及承载数千个企业账户生产工作负载的Cisco IQ。后者通过Cisco Support and Professional Services提供统一的AI能力，两类业务扩大了代理式工作流的规模。Cisco称，工作流的显著增加要求基础设施现代化，在企业规模上同时提供高性能、内嵌安全与经济控制。

Cisco称，运营支持已提升到其最高企业SLA层级，为内部MyAgent与外部客户平台Cisco IQ保证99.99%以上的可用性。在推理部署方面，团队判断把80%的稳态推理放在本地运行成本效率最高，已从企业超级代理等高容量工作负载入手，在Cisco UCS上标准化基线模型流量。

从项目集群转向共享资源

在改造前，Cisco曾为工程与产品团队分别配置专用AI基础设施，以便快速验证特定用例。团队最初的任务是把AI能力交到各团队手中，让它们针对特定用例快速证明价值。这种方式适合实验原型，但当AI进入关键任务运营后，按项目分配的资源形成计算孤岛，GPU受到网络与位置隔离，平均利用率只有10%至15%。

由于计算资源无法汇集共享，有的团队必须等待其他项目腾出整个GPU节点，才能启动自己的任务。与此同时，早期试点依靠闭源云模型的安排，在企业范围扩展后成本效率下降，团队与工具之间的token消耗又缺少可见性，费用预测和投资回报核验都变得困难。

Cisco与Omdia的研究发现，部署AI后云支出平均增加30%。公司还提到，自主代理和多租户任务带来了提示注入、专有数据丢失及不易察觉的横向网络威胁；传统风冷数据中心则可能在为高密度计算供电之前，先触及散热极限。Cisco以明天收到2,000个全新GPU为假设说明，即便硬件已经交付，传统风冷企业数据中心仍会很早触及热极限，电力可用性才是真正具有约束力的限制因素。

针对这些约束，Cisco IT将计算、网络、安全和可观测性放进统一的全栈、多租户架构，并在全球企业数据中心部署。团队把基础设施视作内部可以控制的部分，改造内容覆盖从芯片到应用的工作负载运行，为整个堆栈提供可见性和一致性。公司列举的外部约束还包括芯片与供应链短缺，以及云定价的波动。

网络、算力与冷却同步调整

网络方面，Cisco正在将原先分散的后端网络整合为主要数据中心内的高带宽共享网络。Cisco称，使用Cisco Silicon One的交换机消除了瓶颈，并确保GPU数据包丢弃造成的停顿为零，多租户任务能够实时分配到可用容量，避免计算资源闲置。

公司称，Silicon One具备完全可编程能力，网络可以据此适应变化中的AI需求、标准和协议，无需因这些变化进行昂贵的硬件更换。在计算侧，团队采用Cisco Compute与UCS-X Series服务器，组合配置NVIDIA和AMD GPU。Cisco指出，没有一种硬件配置能够适合所有企业工作负载，因此需要以这一异构架构作为计算配置评估的基础。

这种异构配置用于按工作负载需求评估算力：大批量推理关注芯片成本效率，高强度训练则需要规划相应容量。团队也希望保留应对硬件供应变化、调整token经济性的余地，所使用的平台是上述服务器与GPU组合。

机架冷却采用直接安装的后门热交换器，在热量排出源头吸收热风。Cisco称，这一做法在现有占地范围内提高了冷却效率，计算密度翻倍，每个机柜可放置2个完整AI节点。

安全与运行数据进入同一技术栈

已部署的Cisco AI Defense负责运行时检查，对提示和响应设置护栏，防止数据泄露，并在威胁抵达模型与代理前进行拦截。Cisco Hypershield将提供网络分段；Nexus交换机上的Live Protect则在补丁窗口之间动态屏蔽漏洞，无需重启或使生产设施离线。

可观测性部分以Splunk Observability Cloud作为基础设施核心指标与链路追踪仓库，另接入用于日志分析的Splunk Cloud Platform，以及用于事件管理的Splunk IT Service Intelligence。Cisco表示，这些组件将支持深度运营可见性、缩短故障解决时间，并提供自主可观测性与闭环运营。

团队目前还在把上述能力扩展到Agent Observability和Tokenomics，并表示很快会分享更多进展。Cisco还提出，要把token支出的实时可见性与业务价值连接起来，以便预测成本；安全则需要集成到堆栈的每一层，而不是事后再补加固。

对于下一阶段的流量，公司预计代理每个任务产生的流量会比人类高出450%，因此正在转向AgenticOps模式，在各网络点部署AI监控和深层遥测，以管理更高利用率及持续时间更长的双向流量，这也是MyAgent在员工队伍中扩展时所需的流量支持。

Cisco另称，推理需求比训练高出60%，基础设施重点正转向软件速度的流量与上游容量。正在推进的具体工作包括升级任务调度，用后台批处理填补利用率低谷，实施自动GPU回收以提高硬件投资回报，以及部署AI专用KPI监控和自适应网络架构，以保证低延迟用户体验。作业调度的升级同时以消除资源孤岛为目标。