唐飞虎是月之暗面高级研发工程师、开发者关系负责人。前谷歌工程师、ACM/ICPC 亚洲赛区金牌、微软编程之美挑战赛冠军、第一届万向实验室通证经济设计大赛冠军。
演讲信息
线性注意力机制的发展为高效处理长序列提供了新路径。
本次分享将系统梳理从早期核方法、低秩近似到最新状态空间模型融合的技术演进，对比 FlashAttention、Mamba、RetNet 等代表性算法在理论效率、模型容量与硬件友好性上的差异。
结合月之暗面科技在大模型生产环境的落地实践，剖析大规模训练与推理场景下的算法选型与工程权衡，探讨如何在精度、速度与部署成本间实现最优平衡的实践思考，并展望未来架构演进方向与优化空间。
演讲大纲：
1. 线性注意力技术演进与算法对比
2. Moonshot 大模型生产环境的实践剖析
3. 算法选型的关键考量与权衡框架
4. 性能优化与未来演进方向