加州理工PrismML最近公布了一项重大突破:他们搞出了个1-bit的AI模型,性能跟传统的16-bit模型一样强,但能耗直接锐减了75%。这件事发生在2025年,由PrismML团队宣布。 他们通过数学上的巧妙方法,把模型权重简化成+1或者-1。这样一来,数据量变得非常小,有点像在不损失画质的情况下压缩照片。PrismML的首席执行官Babak Hassibi举了个例子,说就像数码照片的压缩一样。 带来的好处主要有两个。第一是能耗降低。比如Bonsai8B这个旗舰模型,处理速度能比16-bit模型快八倍,现在用的硬件就能省掉75%到80%的电。以后要是专门为1-bit设计硬件,效率还能更高。这对那些对电量敏感的设备,比如手机和笔记本电脑来说简直太棒了。 第二是内存占用减少。像Bonsai8B这种80亿参数的大语言模型,现在只占用1GB内存。体积变小了,加载速度自然就快,存储需求也跟着降下来。 有了这些优点,PrismML的模型就能用在更多地方了。以前因为算力不够没法本地部署的机器人、可穿戴设备和个人电脑,现在都能用得上AI了。 PrismML还搞了个开源策略,已经把Bonsai8B模型给放出来了,大家可以免费用。这个模型是用谷歌的v4TPU训练出来的。 他们还打算发布更小的40亿参数和17亿参数模型。虽然他们的数学原理是保密的,但效果摆在那儿。公司觉得这个框架能用到Transformer、扩散模型这些各种架构上,通用性很强。 投资人Vinod Khosla就挺看好他们。他觉得未来AI的胜负关键在于谁能在每单位能源里提供更多智能,而不是建多大的数据中心。PrismML的1-bit技术正好提供了这种可能性。 对数据中心来说也是好事,能省成本还能提高能源效率。这种极致压缩技术能不能成为新的行业标准?以后是不是能把AI真正推到边缘设备上?咱们就等着看呗。