京东开源的joyai-llm-flash大模型

我把京东开源的JoyAI-LLM-Flash大模型给你们讲讲，它拥有48B的总参数，其中激活参数达到了3B。京东把它开源给Hugging Face平台了，这个模型是通过对20万亿文本Token进行预训练的，所以它在前沿知识理解、推理能力、编程还有智能体方面都很擅长。JoyAI-LLM-Flash使用了创新的FiberPO框架和Muon优化器，这些技术把纤维丛理论引入了强化学习中，给模型带来了更好的稳定性和效率。此外，Muon优化器还和Multi-Token Prediction（MTP）结合起来使用，让模型在规模扩展时不再像传统模型那样容易出现不稳定的问题，吞吐量也提高了1.3到1.7倍。在训练过程中，给JoyAI-LLM-Flash进行微调还使用了SFT、DPO以及强化学习等技术。总的来说，JoyAI-LLM-Flash这个模型无论是在推理还是编程任务上都表现得很出色。