Groq与英伟达就推理技术达成非独家许可协议

AI芯片初创公司Groq宣布已与英伟达就其推理技术敲定200亿美元非排他性授权协议。

根据协议条款，Groq创始人Jonathan Ross、总裁Sunny Madra及其他核心团队成员将加入英伟达，补齐英伟达在推理架构上的短板。GroqCloud云端业务保持独立运营，不受此次合作影响，原CFO Simon Edwards将接任CEO。

Groq 于2024年推出全球首款LPU（语言处理单元）芯片，采用自研的TSA架构与片上SRAM集成设计，其每秒500个token的生成速度达到ChatGPT-3.5的12.5倍，而每生成1至3个token的能耗仅为英伟达GPU的十分之一。该芯片在Llama2 70B等主流模型上实现“速度提升10倍、功耗降至十分之一”的双重突破，整体性价比提升高达100倍。

凭借这一极致优化，Groq已吸引超过200万开发者用户，并获得了三星、思科等行业巨头的投资。截至2024年9月，其最新估值已达69亿美元。