CerebrasCS2处理器可扩展至1.63亿个内核以击败人脑的复杂性

具有 850,000 个内核的单个 CS-2 芯片现在可以处理 120 万亿个参数 AI 模型，这些模型比拥有 100 万亿个突触的人脑更复杂。通过引入配备高达 2.4 PB 闪存 + DRAM 内存的 MemoryX 机柜，这成为可能，而且 Cerebras 还提供了一个扩展解决方案，允许多达 192 个基于 CS-2 的系统通过 SwarmX 结构互连以实现总计1.632亿核心处理能力。

Cerebras Systems 以世界上最大的处理器而闻名，每个芯片集成了数十万个内核。这些内核不是我们现在在计算机处理器中看到的常见 X86 内核。相反，它们是类似于 Nvidia 的 Tensor 核心的 AI 优化核心，因此这些芯片旨在处理可与人脑的复杂性相媲美的复杂计算模型。现在，Cerebras CS-2目前保持世界上最大和最快单芯片处理器记录的处理器是几年前推出的，但该公司一直致力于提高其吞吐量，现在能够提供基于 CS-2 的系统可以处理 120 万亿个参数的 AI 模型，理论上击败了可以激发 100 万亿个突触的人脑。作为参考，当前的超级计算机 GPU 集群最高可达 1 万亿个参数。

显然，具有 850,000 个内核的单个 CS-2 处理器现在可以击败人脑，但 Cerebras 还提供了一种扩展解决方案，允许多达 192 个 CS-2 系统串联工作，并通过多达 162百万个 AI 优化内核。CS-2 芯片有一块大平板电脑那么大，是在台积电的 7 nm 节点上生产的，具有 40 GB 的片上 SRAM。对于大脑级模型而言，这种内存量是不够的，因此 Cerebras 提出了外部 MemoryX 机柜，可提供更多内存并在片外存储模型参数，从而为模型本身释放片上内存。这种方法与新的 SwarmX Fabric 相结合，使 Cerebras 能够在 192 个 CS-2 系统中近乎线性地扩展性能。

SwarmX Fabric 在 PHY 级别集成以太网并压缩数据以在多达 32 个 CS-2 系统的现有节点之间更快地传输数据，每个节点的带宽约为 1 Tb。所有 SwarmX Fabric 交换机都直接连接到 MemoryX 盒，该盒可以在闪存和 DRAM 的混合中支持高达 2.4 PB 的内存。该盒子具有完整的内存容量，能够存储多达 120 万亿个参数。

这些系统很可能成本太高，以至于 Cerebras 的客户名单中只包括、情报和科学实体，如阿贡实验室。