刚刚拿到了5亿美元资金的芯片初创公司MatX，这次融资主要是为了推出自家的大语言模型加速器。这家由前谷歌工程师创办的公司MatX Inc.，已经拿到了一笔数额高达5亿美元的B轮投资。带头的人是Jane Street和Situational Awareness，后面还有六家以上的投资者一起参与。这其中就有芯片制造商Marvell Technology Inc.的联合创始人，还有Stripe Inc.的联合创始人。其实早在这之前，MatX就已经从一堆相似的投资者手里拿到了超过1亿美元的钱。现在他们正在琢磨怎么开发一种专门用来跑大语言模型的处理器。 大家都知道有好多个这种处理器喜欢用脉动阵列这种电路设计。说白了就是一堆长得很像的小计算模块用网线连起来干活。每个模块负责处理一部分AI提示的计算量。而MatX One这块芯片就用了个挺特别的方法叫可分割脉动阵列架构。“可分割”这三个字的意思是说它可能能把那些脉动阵列拆分成好几个小块儿。这种做法能让电路根据数据的具体情况来调整设置，干活更高效。 这块芯片打算把大部分模型权重放在SRAM里存着。这些权重决定了大语言模型怎么处理提示的问题。SRAM是一种跑得快的内存类型，通常直接焊在芯片里挨着逻辑电路走。用这种技术能把延迟压得很低，速度就会变快。至于KV缓存这些数据呢，MatX One打算用一种叫HBM的比较慢但容量大的内存来存。KV缓存是大语言模型用来加速处理的东西，它能把经常算到的结果存起来省去重复算的时间。 MatX官网上发了几篇研究博客文章透了个底，说他们的芯片还能支持别的性能优化办法。有一篇文章提到了他们一直在琢磨怎么把最流行的两种方法捏在一起用：一种是推测解码，一种是块级稀疏注意力。前者是为了让响应生成更快些，后者是为了让注意力机制更高效些。 公司联合创始人兼CEO Reiner Pope在文章里写得挺明白：“咱们这个芯片把SRAM的低延迟优势跟HBM能支持长上下文的特点给结合在一起了。”这几种元素加上他们对数值计算的新理解，“能让大语言模型的吞吐量比已经发布的系统都要高。” 拿到了新钱之后，MatX打算先把芯片设计给完善完善。他们希望能在一年之内搞定流片这个事，这可是半导体开发最后一步的大事儿了。 问个问题：Q1：MatX One芯片有啥特别的技术优势？答：它用的是可分割脉动阵列架构，能把阵列拆分开来针对不同数据集调整配置提升效率。而且还用SRAM存权重来降低延迟，用HBM存KV缓存数据，把低延迟和长上下文支持这两样好东西都占了。 再问个问题：Q2：MatX公司现在融资情况咋样？答：B轮融资他们拿了5亿美元，是Jane Street和Situational Awareness带头投的钱。还有芯片制造商Marvell Technology的联合创始人、Stripe联合创始人等六家以上的投资者一起投了钱呢。其实之前公司已经从一群差不多的投资者那里搞到了超过1亿美元的钱了。 最后一个问题：Q3：MatX One芯片啥时候能上市？答：公司计划用这笔新钱把设计弄得更完美点。目标是在一年之内完成流片这个流程。这一步做完了才有可能开始量产上市呢具体的上市时间得看后面测试和生产准备得怎么样才行啦。