---

📖 目录

• 项目介绍
• 学习路线
• 核心内容
  • 一、LLM 基础原理
  • 二、模型微调 Fine-tuning
  • 三、强化学习与对齐 RLHF
  • 四、RAG 检索增强生成
  • 五、Agent 智能体
  • 六、LangChain 框架
  • 七、分布式训练
  • 八、推理优化
  • 九、Long Context 长上下文
  • 十、Embedding & 向量检索
  • 十一、前沿模型技术报告
  • 十二、提示工程 Prompt Engineering
  • 十三、其他高级主题
• 贡献指南
• Star 趋势

---

🌟 项目介绍

这是一份系统性的大语言模型 (LLM) 学习资料库，旨在帮助初学者从零开始理解 LLM 的核心原理与前沿技术。

✨ 项目特点

• 📚 系统全面 - 覆盖从基础到进阶的完整知识体系
• 🎯 循序渐进 - 按日期顺序编排，学习路径清晰
• 💡 深入浅出 - 复杂概念用通俗易懂的方式讲解
• 🔥 紧跟前沿 - 包含 DeepSeek、Qwen、GPT-o3 等最新技术解读
• 🛠️ 理论+实践 - 原理讲解与代码实现相结合

👥 适用人群

• 🎓 想要入门 LLM 领域的开发者
• 💼 准备转型 AI/LLM 方向的工程师
• 📖 希望系统学习大模型知识的学生
• 🔬 需要快速了解前沿技术的研究者

---

📚 核心内容

一、LLM 基础原理

🔖 难度：⭐⭐ | 推荐优先级：必学

文档	核心内容
0514 LLM训练流程与tokenizer	LLM 训练的完整流程、Tokenizer 的原理与实现
0515 Self Attention与KV Cache	自注意力机制原理、KV Cache 加速推理
0516 位置编码	绝对位置编码、相对位置编码、RoPE
1013 位置编码	位置编码进阶讲解
0518 Normalize与Decoding方法	LayerNorm、RMSNorm、各种解码策略
0520 LLaMA3	LLaMA3 模型架构详解
0607 学习率	学习率调度策略、Warmup、Cosine Decay
预训练	大模型预训练完整流程
为什么大模型都是 Decoder-only 架构	Decoder-only 架构优势分析

二、模型微调 Fine-tuning

🔖 难度：⭐⭐⭐ | 推荐优先级：必学

文档	核心内容
0522 PEFT 参数高效微调	PEFT 概述、各种高效微调方法对比
0601 指令微调	Instruction Tuning 原理与实践
0605 指令微调数据集	高质量指令数据集构建方法
0613 LoRA	Low-Rank Adaptation 原理与实现
0618 AdaLoRA	自适应 LoRA 参数分配
0622 Quantization	模型量化技术：INT8/INT4 量化
0623 QLoRA	量化 + LoRA 联合优化
0704 PTQ	Post-Training Quantization 训练后量化

三、强化学习与对齐 RLHF

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：进阶必学

3.1 强化学习基础

文档	核心内容
0720 强化学习1 - MDP与贝尔曼方程	马尔可夫决策过程、贝尔曼方程
0723 强化学习2 - 策略迭代	策略迭代、值迭代算法
0806 强化学习3 - 蒙特卡洛方法	MC 方法、TD 方法

3.2 对齐算法

文档	核心内容
0816 DPO	Direct Preference Optimization
0819 PPO	Proximal Policy Optimization
25-0316 PPO 演化历程	从 Policy Gradient 到 PPO
25-0321 RLHF	RLHF 完整流程详解
25-0401 DPO	DPO 进阶讲解
25-0401 GRPO	Group Relative Policy Optimization
25-0401 DAPO	Diffusion-based Alignment
GFPO	Guided Flow Policy Optimization
GSPO	从 Token 级到序列级优化
SAPO	Self-Alignment Policy Optimization
大模型强化学习中的熵机制	熵正则化在 RLHF 中的作用

四、RAG 检索增强生成

🔖 难度：⭐⭐⭐ | 推荐优先级：应用必学

文档	核心内容
0524 RAG 入门	RAG 基础概念与架构
0526 RAG from Scratch - LangChain (1)	用 LangChain 从零实现 RAG
0528 RAG from Scratch - LangChain (2)	RAG 进阶实现
0530 RAG from Scratch - LangChain (3)	RAG 高级技巧
0715 GraphRAG	图结构增强的 RAG
25-0302 GraphRAG	GraphRAG 深入讲解
25-0421 Agentic RAG	Agent + RAG 融合架构
25-0421 Agentic RAG 案例分析	Agentic RAG 实战案例

五、Agent 智能体

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：前沿方向

5.1 Agent 基础

文档	核心内容
1117 Agent 入门	Agent 基础概念与架构
25-0307 Agent 概述	Agent 技术全景图
25-0507 Function Call	函数调用机制
25-0501 MCP	Model Context Protocol

5.2 Agent Planning

文档	核心内容
1220 Agent Planning1 - 基础方法	规划基础方法
1223 Agent Planning2 - 规划	高级规划策略
25-0107 Agent Planning3 - 反思	Reflection 机制

5.3 Agent Memory

文档	核心内容
1230 Agent Memory	Agent 记忆机制
25-0121 Memory-based Agent (1)	记忆驱动的 Agent
25-0127 Memory-based Agent (2)	Memory Agent 进阶
Engram	Engram 记忆架构

5.4 Agent 实战

文档	核心内容
25-0326 阿里云百炼智能导购 Agent	Agent 开发实战
25-0502 失败的多智能体	多智能体系统经验教训

六、LangChain 框架

🔖 难度：⭐⭐ | 推荐优先级：应用必学

文档	核心内容
1104 LangChain 介绍与模型组件	LangChain 基础与架构
1110 LangChain2 - 提示工程	LangChain 中的 Prompt 管理
1111 LangChain3 - 模型调用与输出解析	LLM 调用与输出解析器

七、分布式训练

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：工程必学

文档	核心内容
0728 分布式训练1 - 数据并行	DP、DDP 原理
0730 分布式训练2 - DDP	PyTorch DDP 实现细节
0803 Accelerate	HuggingFace Accelerate 使用
0808 DeepSpeed	DeepSpeed ZeRO 优化

八、推理优化

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：工程必学

8.1 Attention 优化

文档	核心内容
0709 Flash Attention - 原理	Flash Attention 原理详解
0710 Flash Attention - 代码	Flash Attention 代码实现
PageAttention	vLLM PagedAttention 原理

8.2 推理服务

文档	核心内容
0813 vLLM 入门	vLLM 高性能推理框架
Continuous Batching	连续批处理技术
Prefill 与 Decode	预填充与解码分离
DistServe 预填充解码解耦	分布式推理优化
SARATHI Chunked Prefill	分块预填充技术

8.3 推测解码

文档	核心内容
投机解码 Speculative Decoding	推测解码加速推理
Medusa	多头推测解码
为什么推理阶段是左 Padding	Left Padding 原理

九、Long Context 长上下文

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：进阶

文档	核心内容
1010 Long Context2 - 插值	位置编码插值扩展
1016 Long Context3 - 上下文窗口分割	长文本分块处理
1022 Long Context4 - 提示压缩 (1)	Prompt Compression
1025 Long Context4 - 提示压缩 (2)	高级压缩技术

十、Embedding & 向量检索

🔖 难度：⭐⭐⭐ | 推荐优先级：应用必学

文档	核心内容
1124 Embedding Model (1)	Embedding 模型原理
1206 Embedding Model (2)	Embedding 模型进阶
1203 向量索引	FAISS、向量数据库
1212 Rerank	重排序模型

十一、前沿模型技术报告

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：保持前沿

11.1 LLaMA 系列

文档	核心内容
0829 LLaMA 3.1 技术报告	LLaMA 3.1 技术详解
0918 LLaMA 3 后训练	LLaMA 3 后训练技术

11.2 DeepSeek 系列

文档	核心内容
25-0203 DeepSeek R1 技术报告	DeepSeek R1 深度解读
25-0216 DeepSeek V3 技术报告	DeepSeek V3 精读
25-0220 DeepSeek R1 20问	R1 技术问答
重构残差连接: DeepSeek mHC	mHC 架构深度解析

11.3 Qwen 系列

文档	核心内容
25-0304 Qwen2.5 系列	Qwen2.5 技术解读
Qwen3-VL 技术报告	Qwen3 视觉语言模型
Qwen3-VL 核心技术	Qwen3-VL 核心解析

11.4 其他前沿模型

文档	核心内容
25-0418 GPT-o3	GPT-o3 技术分析
Kimi K2	Kimi K2 模型解读

十二、提示工程 Prompt Engineering

🔖 难度：⭐⭐ | 推荐优先级：应用必学

文档	核心内容
0827 如何写出优雅的 Prompt	Prompt 最佳实践
Chain of Draft	CoD 思维链草稿
Stop Overthinking	避免过度推理

十三、其他高级主题

🔖 难度：⭐⭐⭐⭐ | 推荐优先级：按需学习

13.1 MoE 混合专家

文档	核心内容
0630 MoE	Mixture of Experts 原理

13.2 对比学习

文档	核心内容
0611 MOCO	MOCO 对比学习
重读经典: MOCO	MOCO 深度解读

13.3 Deep Research

文档	核心内容
25-0228 Deep Research	Deep Research 方法论
Deep Research	深度研究技术

13.4 其他

文档	核心内容
0718 XGBoost	XGBoost 算法详解
25-0222 NSA	Neural Scaling Analysis

---

🤝 贡献指南

欢迎参与贡献！你可以通过以下方式参与：

1. 🐛 报告问题 - 发现文档错误或有建议？请提交 Issue
2. 📝 完善文档 - 补充内容、修正错误、改进表述
3. 🌟 Star 支持 - 如果本项目对你有帮助，请点个 Star ⭐

提交 PR 流程

1. Fork 本仓库
2. 创建你的分支 (git checkout -b feature/AmazingFeature)
3. 提交你的更改 (git commit -m 'Add some AmazingFeature')
4. 推送到分支 (git push origin feature/AmazingFeature)
5. 提交 Pull Request

---

📊 Star 趋势

如果你觉得这个项目对你有帮助，请给个 Star ⭐️ 支持一下！

---

欢迎加入我的知识星球，星球提供以下资源：

✅ 1. 系统性强，覆盖求职全路径 星球提供了一套完整的大模型求职解决方案，从知识构建、学习计划、面试准备到实战项目，层层递进。尤其适合转行或基础较弱的同学，已帮助1000+人成功入职算法岗，战绩可查！

✅ 2. 35w字大模型笔记 + 可执行学习计划 笔记内容极其详实（35万字！），且持续更新，支持导出PDF，方便离线学习。更贴心的是，提供了两种学习计划表——“速成版”和“稳扎稳打版”，每天只需4小时，高效无压力。  

✅ 3. 面试题库口语化、易记忆 收录超300道大厂真题，答案摒弃复杂公式图表，改用口语化表达，更容易理解和背诵。对面试紧张、不擅长技术表达的同学非常友好！  

✅ 4. 实战项目+简历指导+面试逐字稿 不仅有企业级Agent项目代码，还教你如何写简历、如何讲解项目，甚至提供面试逐字稿——这种细节级的辅导在市面上很少见，真正做到了求职无死角。  

✅ 5. 打破信息差，解答真实困惑 涵盖了求职中最常见的痛点：项目速成、微调深入、场景题回答、offer选择等……这些都是过来人最懂的问题，能帮你少走很多弯路。  

✅ 6. 嘉宾团队强大，可无限提问 导师来自同济、北大、北航、字节等顶尖院校和企业，覆盖大模型、搜广推、AInfra、CV等多个方向，甚至还有万star GitHub项目核心贡献者！更重要的是——可以无限次提问，这性价比简直拉满。  

如果你正在焦虑如何转型算法岗、如何系统学习大模型，或者只是想找一个能实时答疑的高质量圈子，不妨扫码加入试试，不合适三天内（72h）无理由退款。真诚推荐给每一位努力前行的小伙伴！