郑耀威是北京航空航天大学博士,LLaMA Factory 开源项目作者。以第一作者在 ACL、CVPR、WWW 等会议和期刊发表多篇论文,担任 AAAI、EMNLP 审稿人。
北航榜样、昇腾生态开源卓越贡献奖获得者。曾受邀至人工智能计算大会,云栖大会等行业峰会发表主题演讲。
论文:《LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models》《Replicate, Walk, and Stop on Syntax: An Effective Neural Network Model for Aspect-Level Sentiment Classification》
开源项目:GitHub
演讲信息
大模型后训练是应用落地环节中的核心环节,本次分享将拆解后训练中的关键技术要点。
将详细讲解 LoRA 微调的参数选择逻辑、多卡并行训练的环境配置与效率优化、显存计算的瓶颈突破方案,同时通过代码实操案例,展示从环境搭建到模型微调的完整流程,帮助听众快速掌握后训练核心技巧,规避常见误区,提升大模型定制化训练效率。
演讲大纲:
1. 大模型后训练的核心价值与应用场景
2. LoRA调参实践:参数组合与效果优化
3. 多卡并行训练:环境配置与性能调优
4. 显存计算瓶颈:优化策略与实战技巧
5. 代码实操演示:从环境搭建到多卡全参微调