Skip to content
Charles
Go back

大模型微调框架对比

Edit page

本文只比较监督微调、参数高效微调和偏好优化等训练工具;推理部署、量化和智能体编排分别见对应专题文章。

微调框架对比

框架名称核心技术亮点支持微调方法显存效率易用性速度提升典型适用场景主要短板
Unsloth手动 Triton kernel 优化 + 4bit 免费LoRA / QLoRA / DoRA 等极高(2-5×)极高2-5× 更快单卡/消费级 GPU 快速微调目前主要支持主流模型
AxolotlYAML 配置化 + 支持多种后端Full / LoRA / QLoRA / RLHF 等较快需要高度自定义配置的微调项目初学者 YAML 学习成本稍高
LLaMA-Factory一站式 WebUI + 支持 100+ 模型LoRA / QLoRA / Full / DPO 等极高(有 UI)较快研究/教学/快速实验极致性能不如 Unsloth
torchtune纯 PyTorch 原生、无抽象LoRA / QLoRA / Full 等中等~高较快想要纯 PyTorch 控制感的开发者配置稍繁琐
PEFT (HuggingFace)官方参数高效微调库LoRA / AdaLoRA / Prompt Tuning 等高(与 HF 深度集成)中等与 Transformers 生态无缝结合的项目本身不提供训练加速
TRL (HuggingFace)SFT / RLHF / DPO 等训练循环SFT、DPO、PPO、GRPO 等高(配合 PEFT)中~高对齐、偏好优化、后训练要自己搭数据与评测

微调框架推荐


Edit page
Share this post:

Previous Post
大模型推理与部署框架对比
Next Post
智能体框架对比