初创公司Groq推AI芯片500tokens/秒爆火，贾扬清：Groq成本或是英伟达H100的30倍

作者：钛媒体快报发布时间：2024-02-21

钛媒体App2月21日消息，一家名为Groq的初创公司在AI圈爆火。主要因其自研的LPU芯片在AI推理技术上，通过优化架构和减少内存瓶颈，实现了高效率和低延迟，在处理大模型时的速度远超英伟达GPU，每秒生成速度接近500tokens，而GPT-4仅40tokens。...【查看原文】

相关资讯

英伟达“超级大金矿”！H100 GPU售价是成本的近10倍【附GPU芯片市场发展情况】

随着AI大模型的爆火，英伟达的GPU供不应求，外媒此前表示英伟达的订单迅速增加，乃至已经排到2024年。其中，性能最强的AI训练H100GPU更是成为抢手货，外媒Tomshardware报道，英伟达今年内计划出售超过55万块H100加速卡，不过这种说法还没有被得到英伟达证实。

英伟达 AI大模型

前瞻网 2023-08-18

关注兔英伟达H100至尊版速度提10倍

关注兔靠着满屏的「生成式 AI」，手握一块支撑 ChatGPT 算力、提速 10 倍的 H100 NVLINK 芯片，老黄就差把这几个字写在脸上 ——「我是赢家」。AI 的 iPhone 时刻已经到来，第四次科技革命就要开启，而手握 A100 和 H100 的英伟达，或成最大赢家。在 GTC 大会上，老黄宣布了英伟达在 GPU、加速库、计算光刻、云平台上的亮眼进步，更是放出豪言 —— 英伟达就是要做 AI 圈的台积电！现在已经有人猜测，今天的演讲都是在 H100 上用 AIGC 模型生成的。ChatGPT

ChatGPT AIGC

靛酊嬭翊 2023-03-22

向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU

在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。

英伟达 OpenAI AI芯片人工智能 ChatGPT

机器之心 2024-03-07

英伟达稳坐AI芯片市场领导地位，A100/H100系列引领风潮

英伟达 AI芯片人工智能

驱动中国 2024-01-31

英伟达H100两大买家变心！要买AMD最新AI芯片

财联社12月7日讯（编辑周子意）Meta、微软和OpenAI公司周三（12月6日）在AMD投资者活动上表态，未来他们将会使用AMD最新的人工智能（AI）芯片Instinct MI300X。图形处理器（GPU）对于创建和部

英伟达微软 OpenAI AI芯片融资

2023-12-07

近期资讯

未来五年，汽车产业将呈现哪些颠覆性变化？

汽车产业正在发生趋势性结构性变革

车百智库 2024-12-26

万物杂志 2024-12-26

又见私募注销，多家来头不小

年内协会注销私募数量仍是最多

36氪的朋友们 2024-12-26

帝都魔都双双押宝，年底了AI圈居然还有高手？

这个团队在六小虎里亮相最晚，但实力却丝毫不虚。

差评 2024-12-26

小米首款增程SUV曝光，致敬理想L，剑指全球市场？

入局增程已成定局？

电车通 2024-12-26

又一座超级机场动工，谁是最大受益者?

广州，还是佛山？

城市进化论 2024-12-26

隐藏在支付宝里的百亿上市公司，赚钱越来越少了？

一年分走支付宝 4.6 亿的“低调”公司。

野马财经 2024-12-26

高瓴，出手激光国产化

今年以来，高瓴投资和高瓴创投分别出手近20笔和70多笔。

36氪的朋友们 2024-12-26

初创公司Groq推AI芯片500tokens/秒爆火，贾扬清：Groq成本或是英伟达H100的30倍

推荐体验

相关资讯

英伟达“超级大金矿”！H100 GPU售价是成本的近10倍【附GPU芯片市场发展情况】

关注兔英伟达H100至尊版速度提10倍

向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU

英伟达稳坐AI芯片市场领导地位，A100/H100系列引领风潮

英伟达H100两大买家变心！要买AMD最新AI芯片

近期资讯

未来五年，汽车产业将呈现哪些颠覆性变化？

《黑神话》“造神”、“乙女”元年，游戏产业还在等下一个“神话”？

雷军与李斌、何小鹏、李想“拆墙”了

想拉肚子，手表说压力水平过大？在玩游戏，卡路里消耗飙升？运动手表数据有多不准？

又见私募注销，多家来头不小

帝都魔都双双押宝，年底了AI圈居然还有高手？

小米首款增程SUV曝光，致敬理想L，剑指全球市场？

又一座超级机场动工，谁是最大受益者?

隐藏在支付宝里的百亿上市公司，赚钱越来越少了？

高瓴，出手激光国产化

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响