问题：大模型走向终端，传统方案“水土不服” 进入2025年，行业对大模型的关注正从“能否训练”转向“能否落地”；越来越多的智能终端希望本地运行或部分运行大模型，以满足离线可用、隐私保护、低时延交互等需求。但在实际应用中，传统以数据中心为主要场景的AI芯片及其系统形态，在端侧部署时暴露出综合成本高、功耗与散热压力大、数据搬运效率不足等问题。尤其在手机、可穿戴设备、移动机器人等受限于电池与体积的场景，“算得快”之外更需要“算得省、算得稳、算得安全”。 原因：端侧约束与架构矛盾叠加，瓶颈集中在“存储墙”和数据搬运 业内人士指出，端侧运行大模型面临的核心矛盾之一，是计算与存储分离带来的带宽瓶颈与能耗开销。在不少主流架构中，大量时间与能耗消耗在数据在计算单元与存储单元之间的往返搬运上。云端可以通过更高的功耗预算、更强的散热条件与更复杂的系统工程来“堆资源”缓解矛盾，但端侧设备难以复制该模式。同时，本地化部署还要求更高的安全与隐私保障，若高度依赖云端推理，既增加网络时延，也抬高数据合规与运维成本。多重约束叠加，使端侧加速芯片亟需在体系结构层面给出新的解法。 影响：端侧算力成为产业新变量，资本与产业链重新布局 端侧大模型一旦形成规模化应用，将直接带动终端硬件、操作系统、模型工具链与应用生态的迭代，进而重塑从芯片到整机的产业分工。一上，企业与用户对“本地可控”的需求增加，有望推动终端产品隐私保护、实时交互、个性化体验等形成新的竞争焦点；另一上，端侧算力的普及也将促使模型向轻量化、压缩与混合部署演进，推动“云端训练+端侧推理”以及“端云协同”成为更普遍的工程路径。这一过程中，能够同时理解芯片工程、软件栈与应用场景的团队更受市场青睐。 对策：以3D堆叠与存算一体提升带宽效率，探索端侧专用架构 2024年7月，专注端侧大模型AI加速芯片的上海光羽芯辰科技有限公司在上海张江成立。公司围绕端侧场景提出EdgeAlon®架构，强调通过3D堆叠技术提升数据传输带宽、降低时延，并以自研存算一体思路减少数据频繁搬运，从而提升能效表现与综合性能。据介绍，其产品方向为3D DRAM端侧大模型AI加速芯片，目标是在终端侧实现更高效的本地推理，兼顾隐私安全与响应速度，并可面向不同设备形态进行定制化适配。 值得关注的是，在融资环境整体趋于审慎的背景下，该公司成立一年累计融资近10亿元，吸引多方产业资本与政府基金参与。业内分析认为，这一上与端侧大模型被视为确定性增长方向有关，另一方面也与企业选取的技术路线具备差异化有关：相较同质化竞争较为激烈的云端算力赛道，端侧更强调系统级优化与工程落地能力，具备“架构创新+量产交付”能力的团队更容易形成门槛。 公司负责人周强拥有多年芯片行业从业经验，曾多家芯片企业与国际半导体公司任职，并参与多类芯片产品研发与架构工作。业内人士指出，端侧芯片不仅拼单点算力指标，更拼对客户需求的理解、软硬协同能力、验证与量产能力，以及对成本与供应链风险的把控，这对团队的“全栈工程化”能力提出更高要求。 前景：端侧大模型将走向“普及化+场景化”，关键在量产、生态与标准 展望未来，端侧大模型的发展预计将呈现两大趋势：一是从少数高端机型向更广泛的终端渗透，推动算力与存储在终端侧的配置升级；二是从通用能力向行业场景深化，围绕办公助手、智能座舱、具身智能、工业巡检等领域形成可验证的商业闭环。对端侧芯片企业而言，技术路线能否转化为可持续竞争力，仍取决于三上：其一，先进封装与3D堆叠对应的工艺的良率与成本控制；其二，软件栈与模型适配工具是否完善，能否降低开发者门槛；其三，与终端厂商、模组厂商及生态伙伴的联合推进速度。 同时也要看到，端侧大模型并非简单替代云端。更现实的路径是端云协同：云端负责训练、更新与复杂任务，端侧负责实时交互、隐私敏感与断网可用场景。谁能在芯片、系统与应用之间建立更高效的协同机制，谁就更有可能在新一轮产业竞争中占据主动。
端侧芯片的兴起是中国半导体产业寻求突破的缩影。技术创新需要创业者的前瞻判断，也离不开资本、政策和生态的支持。光羽芯辰的故事刚刚开始，但其方向——让大模型真正服务于终端——无疑是值得持续关注的技术趋势之一。