优化AI基础架构的三个基本要素

时间:2020-09-22 15:10:02来源:
导读在人工智能(AI)创新竞赛中,竞争至关重要。无论您的AI倡议追求的主题是什么,例如自动驾驶,疾病治疗或用于改变生命的大流行的疫苗(如COVID

在人工智能(AI)创新竞赛中,竞争至关重要。无论您的AI倡议追求的主题是什么,例如自动驾驶,疾病治疗或用于改变生命的大流行的疫苗(如COVID-19),有效且具有竞争力的AI设置都需要三个基本要素的坚实基础,以协调一致地共同努力提供您想要的快速胜利:

通过加速计算提供性能的服务器平台

快速网络

现代的并行文件系统,用于管理数据

这些元素可以描绘成一个三角形,所有侧面相互配合并牢固地位于组织的人才基础上。

AI与HPC相遇的地方

首先,让我们看一下不断变化的格局。从历史上看,高性能计算(HPC)和AI是两个不同的市场,但是有一个融合。传统上,HPC专注于相对较少的大型组织,这些组织领导着疯狂的大型研究项目并使用了巨大的数据集群,如今,AI,机器学习(ML)和深度学习已成为企业中的HPC。

GPU是计算的主力军

现在,为了详细说明三角形中的第一个基本元素,让我们谈谈HPC和AI企业中正在发生的事情。现代的购买者之旅涉及投资利用计算加速技术(例如GPU)的服务器平台。人工智能需要强大的计算基础架构来探索,提取和检查数据,以获得深刻的见解和突破性的结果。

GPU是现代超级计算的核心精髓,是多任务处理程序,可轻松管理AI工作负载中最复杂的数据集。选择一个可以在加速计算,内存和高速NVLINK互连之间取得平衡的平台,以获得更快的高质量结果。

更大,更好,更快,更强

我们的第二个基本要素是快速网络。数据中心承担着沉重的负担,以保持在AI中的竞争力。一切都变得越来越大:应用程序大小,数据大小,群集大小,计算大小等等。

网络不断完善。选择一种高速,低延迟的解决方案,以替代老化的光纤通道和以太网链路,以加快从网络到服务器和存储系统的数据传输。您可能会认为自己已经建立了强大的网络和主力GPU计算平台。再想一想。现代文件系统是我们的第三个基本要素,它将充分利用其他两个要素。当GPU技术投入生产时,通常公司没有考虑其存储基础架构支持其数据量大的野兽的能力。GPU处于闲置状态是因为传统存储基础架构无法足够快地将数据获取到应用服务器,从而造成了瓶颈。

选择一个高性能,可扩展的并行文件系统,该系统可以解决当今最大的存储问题并加速需要大量带宽和元数据密集型性能的IO密集型工作负载(混合工作负载与数十亿个小文件)。随着客户积极参与AI和ML的大规模开发,WekaFS™打破了传统存储文件系统所带来的瓶颈,通过缩短产品上市时间并在混合工作负载下交付速度提高了一个数量级的方式,提供了市场领先的竞争优势。 EB级。

标签:AI
最新文章