Aligned Data Centers首席技术官走上边缘AI之路

随着服务逐渐成为主流，大型科技公司在该领域投入数十亿美元，数据中心行业正在努力满足生成式人工智能和大型语言模型 (LLM) 的训练和部署需求。

在部署人工智能专用数据中心的同时，非传统数据中心市场也被视为一个不错的选择。

OpenAI 的 Chat GPT 等 LLM 需要大量的能源和计算资源进行训练，但一般来说，与其他更适合传统数据中心市场的工作负载相比，训练对延迟的敏感度较低。

偏远地区土地和电力的可用性和成本推动了这一决策，但这种情况可能不会持续很长时间。

推理(在新的数据上部署经过训练的模型)往往更快、计算强度更低，这意味着将推理工作负载置于更典型的数据中心枢纽中可能会有益。

Aligned Data Centers 首席创新和技术官 Phill Lawson-Shanks 告诉 Capacity：“目前，推理工作负载必须与训练模块紧密相关。”

这是因为需要通过一种名为 InfiniBand 的技术来连接运行这些模型的芯片，该技术可在芯片之间提供高性能，但将它们之间的物理距离限制为仅 50 米。

但英伟达最近宣布的一项突破可能会促进训练和推理工作负载的分离，从而促进边缘人工智能的部署。

Nvidia 的 BuleField-3 SuperNIC 是一种新型网络加速器，可与 Nvidia 的 Spectrum-4 以太网交换机协同工作，构成 AI 加速计算结构的基础，可实现功能性 LLM 到 LLM 以及 LLM 到更远距离的推理节点。

Lawson-Shanks 说：“使用网络基础设施技术将物理距离从仅仅 50 米扩展到潜在的跨国连接，可以推动基于边缘的 AI/ML 部署，或者至少推动远程 LLM 和区域推理引擎。”

在网络边缘部署较小的 LLM 和 AI 工具具有诸多好处，因为这可以更快地做出决策，提供实时分析和更快的响应时间的解决方案。

Lawson-Shanks 将边缘定义为“服务与服务使用之间的最低网络延迟，而不是数据中心建筑的规模。您可以在大都市地区建立一个 80MW 的数据中心，为该市场托管和提供云服务，这就是边缘部署。”

全球分析和咨询公司 Omdia 收集的数据表明，流量增长与人工智能之间存在关联，其中很大一部分是由视频和高分辨率静态图像推动的。

网络提供商正在试图弄清楚如何有效且可持续地扩展，以满足物联网、内容流、元宇宙和自动驾驶汽车等当前和未来技术所推动的显著增长的数据需求。

通过在边缘部署 AI 视频分析工作流程消除网络噪音可以帮助解决这个问题。