就那一秒钟还不到的时间，FlashMoE居然让iPhone 17 Pro在本地跑起来了4000亿参数的大语言模型。这玩意儿搞起来全靠把GPU和SSD的数据流高效结合到了一块，把苹果最新推出的Pro机型给直接拿出来用了。实际上测下来，这玩意儿每1.5到2秒才蹦出一个单词，生成速度也就是0.6个Token每秒钟。虽说这个速度放在以前听着确实有点慢，但它这一手操作直接把智能手机在AI领域的潜力给挖出来了。不得不说，虽然手机里塞了12GB的LPDDR5X内存，在市面上算是顶尖了，可就算是压缩过的4000亿参数模型也还得要200GB的存储空间。这就好比拿个小瓶子去装大海一样吃力。 好在手机里装的是这个量化压缩的模型，不需要把整个大家伙全塞进内存里去。这种本地跑大模型的好处就是不联网也能干大事，把隐私安全给牢牢守住了。虽说这么干会多耗点电，影响手感，可想想以后出门玩游戏、处理视频、上班办公都能随时叫出个智能AI来帮把手，那种感觉还是挺让人期待的。接下来还得看其他技术怎么发展了，哪怕是稍微有点小小的延迟也没关系。 iPhone 17 Pro这次和FlashMoE的组合确实给大家指了一条明路。我就不信以后咱们的手机还能一直这么慢吞吞的。等到更厉害的技术冒出来的时候，手机肯定能变成咱们生活里那个最贴心的小助手。只要咱们对技术发展保持点清醒的头脑，多关注关注背后的人和事就行了。反正就一句话：赶紧把这个200GB的空间腾出来试试吧！