Nvidia 的竞争对手专注于打造不同类型的芯片来驱动 AI 产品

Josiah02

当前一批人工智能聊天机器人的构建依赖于英伟达公司率先推出的专用计算机芯片，英伟达公司在市场上占据主导地位，并成为人工智能热潮的典型代表。
但是，这些图形处理器芯片或 GPU 的特性使得它们能够从头开始创建强大的 AI 系统，但却降低了它们在运行 AI 产品时的效率。
这为人工智能芯片行业打开了大门，这些竞争对手认为他们可以与英伟达竞争，销售所谓的人工智能推理芯片，这种芯片更适合人工智能工具的日常运行，旨在降低生成人工智能的一些巨大的计算成本。
乔治城大学安全与新兴技术中心分析师 Jacob Feldgoise 表示：“这些公司看到了这种专用硬件的商机。这些模型的采用范围越广，推理所需的计算机就越多，对推理芯片的需求也就越大。”
什么是AI推理？
制作 AI 聊天机器人需要大量的计算能力。首先要进行一个称为训练或预训练的过程（ChatGPT 中的“P”）。这个过程涉及 AI 系统从大量数据的模式中“学习”。GPU 擅长做这项工作，因为它们可以在相互通信的设备网络上同时运行许多计算。
然而，经过训练后，生成式人工智能工具仍然需要芯片来完成工作——例如当您要求聊天机器人撰写文档或生成图像时。这就是推理的作用所在。经过训练的人工智能模型必须吸收新信息，并根据已知的信息进行推理，以产生响应。
GPU 也能完成这项工作。但这有点像用大锤砸核桃。
Forrester 分析师 Alvin Nguyen 表示：“通过训练，你要做的事情要重得多，工作量也大得多。而通过推理，这些工作就轻松多了。”
这促使 Cerebras、Groq 和 d-Matrix 等初创公司以及 Nvidia 的传统芯片制造竞争对手（如 AMD 和英特尔）推出更适合推理的芯片，因为 Nvidia 专注于满足大型科技公司对其高端硬件的巨大需求。
D-Matrix 本周将推出其首款产品。该公司成立于 2019 年，对于 AI 芯片行业来说有点晚了，首席执行官 Sid Sheth 最近在该公司位于加利福尼亚州圣克拉拉的总部接受采访时解释说，圣克拉拉是硅谷城市，也是 AMD、英特尔和 Nvidia 的所在地。
“已经有 100 多家公司参与了。所以当我们去那里时，我们得到的第一反应是‘你们来晚了’，”他说。六个月后，疫情的到来并没有起到什么帮助作用，因为科技行业将重点转向为远程工作服务的软件。
然而现在，Sheth 看到了人工智能推理的巨大市场，他将机器学习的后期阶段比作人类如何应用在学校获得的知识。
“我们生命中的前 20 年都在上学，接受教育。这就是训练，对吧？”他说。“然后你生命中的接下来 40 年，你就会走出去，运用这些知识——然后你会因为高效而得到回报。”
这款名为 Corsair 的产品由两块芯片组成，每块芯片有四个小芯片，由台湾半导体制造公司（也是 Nvidia 大多数芯片的制造商）制造，并且以一种有助于保持凉爽的方式封装在一起。
这些芯片在圣克拉拉设计，在台湾组装，然后运回加州进行测试。测试过程漫长，可能需要六个月——如果出现任何问题，芯片就会被送回台湾。
D-Matrix 的员工最近参观了一个实验室，实验室里摆满了电缆、主板和计算机，蓝色的金属桌子上摆满了电缆、主板和计算机，旁边是一间冷藏服务器机房。
谁想要AI推理芯片？
亚马逊、谷歌、Meta 和微软等科技巨头在人工智能开发领域竞相争夺昂贵 GPU 的供应，而人工智能推理芯片制造商则瞄准了更广泛的客户群。
Forrester 的 Nguyen 表示，这可能包括希望利用新的生成式 AI 技术而无需构建自己的 AI 基础设施的财富 500 强企业。Sheth 表示，他预计人们对 AI 视频生成将产生浓厚兴趣。
“许多企业对人工智能的梦想是可以使用自己的企业数据，”Nguyen 说。“购买（人工智能推理芯片）应该比从 Nvidia 和其他公司购买终极 GPU 更便宜。但我认为在整合方面会有一个学习曲线。”
Feldgoise 表示，与专注于训练的芯片不同，人工智能推理工作优先考虑的是人们获得聊天机器人响应的速度。
他说，另一批公司正在开发用于推理的人工智能硬件，这些硬件不仅可以在大型数据中心运行，还可以在台式电脑、笔记本电脑和手机上本地运行。
这为什么重要？
设计更完善的芯片可以降低企业运行人工智能的巨额成本。这也可能会影响其他人的环境和能源成本。
谢斯说，现在最大的担忧是，“我们在追求所谓的 AGI（类人智能）的过程中是否会毁灭地球？”
目前还不清楚人工智能何时能达到通用人工智能的水平——预测范围从几年到几十年不等。但 Sheth 指出，只有少数几家科技巨头正在努力实现这一目标。
“那么其他人怎么办？”他说。“他们不能走上同一条道路。”
另一组公司不想使用非常大的人工智能模型——成本太高，而且耗能太多。
“我不知道人们是否真的意识到推理实际上将带来比训练更大的机会。我认为他们没有意识到这一点。训练仍然是吸引眼球的焦点，”Sheth 说。