LLM 课程架构图

Stage 1 · 基础知识

📐

Part 1: 大模型基础

1. Transformer 核心与 Self-Attention 深度剖析

2. LLM 训练范式与数据工程全景

⚙️

Part 2: 系统与工程

3. 分布式训练技术概览

4. 模型部署与推理加速

5. 基于 Agent 的数据处理

6. 基于 LazyLLM 的数据-训练-推理全流程实践

Stage 2 · 核心训练流程

🔥

Part 3: 预训练

7. 预训练原理、策略与评测

8. 预训练数据构建全流程

9. 基于 LazyLLM 的预训练全链路实战

10. 多模态 LLM 架构与预训练实战

🎯

Part 4: 指令微调

11. 指令微调原理与策略

12. 通用指令数据构建、合成与蒸馏

13. 基于 LazyLLM 的微调全链路实战

14. 多模态指令微调与实战

⚖️

Part 5: 价值对齐

15. 对齐算法原理 (RLHF & GRPO)

16. 偏好数据构建

17. 模型风险、合规与伦理

18. 基于 LazyLLM 的对齐全链路实战

Stage 3 · 进阶能力

🧠

Part 6: 领域能力

19. 推理与数学能力增强

20. 代码能力增强

21. 长上下文能力增强

22. 结构化输出与格式对齐

23. Agent 能力增强 (Tools & Planning)

24. 行业领域模型实战

🔍

Part 7: 检索增强

25. RAG 架构原理与数据处理

26. Embedding 模型微调与实战

27. Reranker 模型微调与实战

28. Agentic RAG 与多跳数据增强

T Theory · 理论原理

D Data · 数据实战

P Practice · 训练实战