全新LPU芯片传闻比GPU快十倍（关于LPU芯片的简介）

2024-02-23 14:11:18 编辑：古欢进来源：

导读近日一家名为Groq的初创公司研制的LPU芯片横空出世，据消息称这一芯片的推理速度比英伟达GPU提高10倍，成本却只有其1/10，大模型生成速度接...

近日一家名为Groq的初创公司研制的LPU芯片横空出世，据消息称这一芯片的推理速度比英伟达GPU提高10倍，成本却只有其1/10，大模型生成速度接近500tokens，比ChatGPT-3.540tokens/秒的速度高出十多倍。

1.LPU的突出特点就是快，2024年1月份的测试结果中，Groq LPU驱动的Meta Llama2模型推理性能比目前的顶级云计算供应商高出17倍，在数据吞吐量方面也“遥遥领先”。

2.据了解，Groq提供的芯片得到这样的吞吐速度的原因是使用的SRAM设备，这是目前读写速度最快的存储设备之一，但是价格较为昂贵，一般用在CPU的一级和二级缓冲当中。SRAM就是静态随机存取存储器，目前人们常用的存储设备中DRAM为动态随机存取存储器，两者的区别在于存储方式、集成度、访问速度、刷新需求等的不同，SRAM访问速度快，带来的是占用面积和成本的增大。

3.LPU芯片现在落地仍然存在很多现实问题亟待解决，首先就是成本问题，虽然LPU芯片在价格和耗电量上占有优势，但是运行LLaMA2-70b这样的模型需要572张LPU，成本高达1144万美元，而8张英伟达H100在系统性能上与Groq相当，硬件成本仅为30万美元，巨大的成本差异让它目前不具备太多的商业价值。

4.Groq展现出来的是通用芯片和专用芯片在路径上的分歧，它能为用户提供让人满意的低延迟高速响应效果，但是它的场景搭建需要至少一个已经构造完成并且开源的大模型。