亚马逊与人工智能初创公司 "Hugging Face "配对使用亚马逊芯片

2024-05-23

亚马逊公司已与人工智能初创公司Hugging Face合作,使在亚马逊的定制计算芯片上运行数千个人工智能模型变得更容易。


Hugging Face估值45亿美元,已成为人工智能研究人员和开发人员共享聊天机器人和其他人工智能软件的中心枢纽,并得到了亚马逊、Alphabet旗下谷歌和英伟达(Nvidia)等公司的支持。它是开发者获取和修补开源人工智能模型(如 Meta Platforms 的 Llama 3)的主要场所。


但是,一旦开发人员对开源人工智能模型进行了调整,他们通常会希望使用该模型为软件提供动力。本周三,亚马逊和Hugging Face公司表示,他们已经合作,在一款名为Inferentia2的亚马逊网络服务(AWS)定制芯片上实现了这一目标。


"Hugging Face公司产品和发展主管杰夫-布迪尔(Jeff Boudier)说:"对我们来说,非常重要的一点是效率--确保尽可能多的人可以运行模型,而且可以以最具成本效益的方式运行模型。


AWS 则希望吸引更多的人工智能开发者使用其云服务来交付人工智能。虽然Nvidia在训练模型的市场上占据主导地位,但AWS认为,它的芯片可以以较低的成本长期运行这些训练好的模型--这个过程被称为推理。


"你可能一个月训练一次这些模型。但你可能每小时要对它们进行数万次推理。这就是 Inferentia2 真正的优势所在,"AWS 负责人工智能产品的马特-伍德(Matt Wood)说。


相关标签