AI学习路径资料汇编
为什么整理这份清单
《AI学习路径指南》是一份 32 页的中文问答打印稿:一位读者把”在 AI 领域做出成果要掌握什么、怎么发顶会、算力有限怎么办、怎么补数学、读哪些书”逐轮追问,最终攒出了一条从入门到发论文的完整路线。原文里提到的资料有上百处,散落在十四个主题里,找起来很费劲。
于是我把全稿逐页识别、把每处提到的资料抽成条目(工具、论文、报告、教材、习题集、课程都收),核对链接并尝试下载开放获取的 PDF,最后按指南原有的十四个阶段重新编排。整理结果同时做成了一个可搜索的网页索引——资料索引:支持按关键词、方向、阶段、获取方式筛选,144 条资料都能直接点开官方页面。完整汇编共 144 条资料:133 条已核验可访问、46 条开放获取、242 份 PDF 留档(32 份主库 + 210 份补充:MIT OCW 题单/讲义、剑桥 Tripos 题单与各类补档);本文按阶段挑出其中最重要的 100 余条,每条都附原始链接。它适合当”按阶段找资料”的索引,不适合当通读教程——想读观点与推导,请看原指南。
也提供 PDF 离线版(A4,含目录页号、PDF 书签与可点击链接):
- 资料汇编:中文版 · 中英对照版
- 中文读者专用:中文资源包(35 条中文教材/中译本/中文课程) · 中英对照导读(144 条中文译名+导读+中文摘要)
- 核心论文:中英对照全译(Attention / DPO / ICL-as-GD / Grokking 逐段翻译,本地 qwen3.8:27b 生成)
主线:从入门到发论文
指南的主线可以压成八步:
- 打地基:数理统计直觉 + Python/Linux/Git 工程能力 + 经典机器学习与 PyTorch(S1-S3)。
- 选赛道:大模型算法、AI 应用、多模态具身、AI 基础设施、垂直行业五选一(S2)。
- 做实证:用真实训练/推理痛点写论文,配干净消融,用开源与实习撬算力(S4)。
- 低算力破局:五个单卡/双卡可做的课题,按饱和度挑蓝海切入点(S5)。
- 以研代学:最小技术栈 → 代码驱动读论文 → 30 天单卡 LoRA 闭环(S6)。
- 理论路线:擅长证明者走优化/RLHF/注意力/可信 AI 四个方向(S7-S8)。
- 补数学:按 5 道诊断题的结果,从 S9 理论教材、S10 基础教材、S11 开源版逐层补(S8-S12)。
- 上纯数:需要更硬的证明功底时,按 S13/S14 的纯数书单与题库训练。
分阶段资料清单
一、核心知识底座(原书 p1)
地基:数理统计直觉 + Python 生态 + PyTorch/Transformer。先跑通工具,再补数学直觉。
- Python — 编程基石:核心语法、面向对象,AI 全部生态的语言底座
- NumPy — 脱离 for 循环手写向量化矩阵运算与损失函数
- PyTorch — 深度学习主框架:不依赖高层封装手写训练循环
- Scikit-learn — 跑通分类/回归/聚类/交叉验证的经典机器学习基线
- Hugging Face — 模型/数据集/镜像源生态,单卡跑通开源模型的入口
- Attention Is All You Need — Transformer 与自注意力机制原始论文,现代生成式 AI 基石
二、主流细分方向(原书 p1-2)
五条赛道择一深耕:大模型算法、AI 应用与 Agent、多模态具身、AI 基础设施、AI+垂类。
- PEFT — 参数高效微调:LoRA/QLoRA 显存友好微调
- vLLM — 高吞吐推理引擎:评测加速、KV Cache 压缩实验平台
- Megatron-LM — 分布式训练:TP/PP/EP 并行与大规模预训练工程
- CUDA — GPU 计算平台;底层推理加速/算子开发的必备技能
- Triton — Python 写 GPU 算子:融合算子实现真实吞吐提升
- Isaac Sim — 机器人仿真平台,具身智能/Sim2Real 迁移
- Qwen(Qwen2.5 / Qwen3) — 开源模型家族:单卡实验与多模型家族验证的首选基座
- Llama(Llama-3) — 开源模型家族,多家族对比实验
三、渐进式学习路径(原书 p2-3)
指南给出的五步路径:1-2 个月打数理与 Python → 1-2 个月经典 ML/PyTorch → 2 个月 Transformer → 2-3 个月端到端项目 → 持续论文闭环。
- Machine Learning Roadmap: Beginner to Expert (2026) - Coursera — 指南 Sources:Coursera 机器学习路线图课程
- 学习路径总览:从零基础到找到第一份相关工作 - GitHub — 指南 Sources:GitHub 上的从零到就业学习路径总览
- 关于 AI 的学习路线图 - 凌杰 - 博客园 — 指南 Sources:中文 AI 学习路线图博客
- Scikit-learn — 跑通分类/回归/聚类/交叉验证的经典机器学习基线
- PyTorch — 深度学习主框架:不依赖高层封装手写训练循环
- Hugging Face — 模型/数据集/镜像源生态,单卡跑通开源模型的入口
- arXiv — 每日刷 cs.CL/cs.LG/cs.CV,精读 1-2 篇最新高赞论文
- Attention Is All You Need — Transformer 与自注意力机制原始论文,现代生成式 AI 基石
顶会论文与高薪研发岗(原书 p3-5)
实证型研究 + 干净消融 + 开源/实习撬算力,十二到十八个月冲顶会与高薪岗。
- DeepSeek-V3 Technical Report — 精读顶级技术报告的 Limitations,找可迁移到低资源场景的机制
- DeepSeek-R1 — RLVR/长思维链推理的标志性技术报告
- Qwen2.5 Technical Report — 开源模型技术报告:数据配比与后训练细节
- GPT-4 Technical Report — OpenAI 技术报告范式:能力评测与安全约束
- Direct Preference Optimization (DPO) — DPO 原始推导:RLHF/GRPO 理论分析基石,面试手推 KL 正则闭式解
- Megatron-LM — 分布式训练:TP/PP/EP 并行与大规模预训练工程
- DeepSpeed — ZeRO 显存优化与分布式训练,面试高频考点
- vLLM — 高吞吐推理引擎:评测加速、KV Cache 压缩实验平台
低算力顶会课题(原书 p5-9)
只有 1-4 张卡也能做的五个课题:思维预算、RLVR 样本筛选、KV Cache 压缩、Agent 记忆、Activation Steering。
- Teacher-Guided Curriculum for Data-Efficient RLVR — 低算力 RLVR 课程学习代表作(ACL Anthology),课题二的对标工作
- vLLM — 高吞吐推理引擎:评测加速、KV Cache 压缩实验平台
- SGLang — 推理加速框架,与 vLLM 并列用于采样加速与吞吐测试
- Unsloth — 单卡微调加速,显存需求可降 60%
- Triton — Python 写 GPU 算子:融合算子实现真实吞吐提升
- Qwen(Qwen2.5 / Qwen3) — 开源模型家族:单卡实验与多模型家族验证的首选基座
- MATH-500 — 推理模型评测基准,课题一/二的评测集
- SWE-bench — 软件工程 Agent 评测(SWE-bench Lite)
以研代学 / 30 天计划(原书 p9-13)
以研代学:最小技术栈 + 代码驱动读论文,30 天跑通单卡 LoRA 微调闭环。
- Let’s build GPT: from scratch, in code — Andrej Karpathy — 跟着视频用纯 PyTorch 手敲 Self-Attention/位置编码/自回归采样
- nanoGPT — 跟随 Karpathy 从零拼装微型 GPT 的参考实现
- PyTorch — 深度学习主框架:不依赖高层封装手写训练循环
- Transformers(Hugging Face 库) — AutoModel/AutoTokenizer 三件套,提取中间层激活与注意力矩阵
- PEFT — 参数高效微调:LoRA/QLoRA 显存友好微调
- trl — SFTTrainer 与后训练工具链,30 天计划的 LoRA 实战
- bitsandbytes — 4-bit/8-bit 量化加载,显存控制关键
- SwanLab — 实验记录与可视化,从第一天起记录学习率/Loss
证明型选手的理论赛道(原书 p13-15)
擅长证明的人走理论赛道:优化动力学、RLHF 理论、注意力与 ICL、Conformal Prediction。
- Direct Preference Optimization (DPO) — DPO 原始推导:RLHF/GRPO 理论分析基石,面试手推 KL 正则闭式解
- In-Context Learning as Gradient Descent — 证明 Transformer 上下文学习等价于隐式执行梯度下降,理论型顶会经典
- Grokking: Generalization Beyond Overfitting — 顿悟现象(Grokking)与泛化相变,优化几何方向的经典论文
- Stanford CS229M 讲义:Statistical Learning Theory — Tengyu Ma — 为写 NeurIPS/ICML 理论论文设计:表达能力/隐式偏置/OOD 泛化
- Conformal Prediction: A Gentle Introduction — Anastasios N. Angelopoulos & Stephen Bates — 约 50 页短篇专著:无分布依赖覆盖率保证,3 个月产出一篇不确定性/幻觉控制论文
- matplotlib — 理论验证曲线:双对数坐标斜率验证 O(1/sqrt(T)) 等定理预测
数学诊断题(原书 p15-18)
先做 5 道诊断题定位数学短板,再决定补哪本书;索引里直接挂钩的论文见下。
- In-Context Learning as Gradient Descent — 证明 Transformer 上下文学习等价于隐式执行梯度下降,理论型顶会经典
- Grokking: Generalization Beyond Overfitting — 顿悟现象(Grokking)与泛化相变,优化几何方向的经典论文
- High-Dimensional Probability: An Introduction with Applications in Data Science — Roman Vershynin — AI 理论圣经(开源):浓度不等式、sub-gaussian、覆盖数、随机矩阵奇异值界,精读 1-4 章(S9 配套数学工具)
- The Matrix Cookbook — 矩阵求导/迹循环变换速查手册,打印放手边(S9 配套数学工具)
AI 理论推荐教材(原书 p18-20)
理论论文的四件武器:高维概率、矩阵分析/凸优化、信息论、现代讲义。教材当字典用。
- High-Dimensional Probability: An Introduction with Applications in Data Science — Roman Vershynin — AI 理论圣经(开源):浓度不等式、sub-gaussian、覆盖数、随机矩阵奇异值界,精读 1-4 章
- High-Dimensional Statistics: A Non-Asymptotic Viewpoint — Martin J. Wainwright — 更严谨的进阶工具书:尾部界与 Rademacher 复杂度/度量熵
- Convex Optimization — Stephen Boyd & Lieven Vandenberghe — 变分推导与对偶理论标杆(免费):凸函数/共轭/KKT,DPO 闭式解来源
- Convex Optimization: Algorithms and Complexity — Sébastien Bubeck — 微软研究院短篇专著:梯度下降/镜像下降/SGD 收敛率证明模板
- Matrix Analysis — Roger A. Horn & Charles R. Johnson — 当字典查:奇异值不等式、Weyl 定理、Davis-Kahan 特征子空间扰动
- Elements of Information Theory — Thomas M. Cover & Joy A. Thomas — 信息论经典:熵/互信息/KL/DPI、Fano 不等式与 Method of Types
- Stanford CS229M 讲义:Statistical Learning Theory — Tengyu Ma — 为写 NeurIPS/ICML 理论论文设计:表达能力/隐式偏置/OOD 泛化
- Conformal Prediction: A Gentle Introduction — Anastasios N. Angelopoulos & Stephen Bates — 约 50 页短篇专著:无分布依赖覆盖率保证,3 个月产出一篇不确定性/幻觉控制论文
数学基础教材(原书 p21-22)
证明功底四大支柱:线代、分析、概率、泛函;推进路线 Axler → Rudin/卓里奇 → Durrett → Kreyszig。
- Linear Algebra Done Right — Sheldon Axler — 摒弃行列式直接建谱定理,官方开放获取 PDF + 作者习题讲解视频
- Principles of Mathematical Analysis(Baby Rudin)— Walter Rudin — 严格 ε-δ 语言、紧致性、一致收敛与函数项级数放缩试金石
- Measure, Integration & Real Analysis — Sheldon Axler — 现代实分析/测度论:Lebesgue 积分、控制收敛、L^p 与 Hilbert 空间(开放获取)
- Probability: Theory and Examples — Rick Durrett — 测度论概率标准教材:大数定律/CLT/条件期望/鞅收敛(作者官网免费)
- Introductory Functional Analysis with Applications — Erwin Kreyszig — 证明极其详尽:Banach/Hilbert 空间、有界与紧算子谱理论,NTK/RKHS 敲门砖
- Numerical Optimization — Jorge Nocedal & Stephen Wright — 连续优化迭代算法收敛性证明:线搜索/信赖域/共轭梯度/拟牛顿
- 高等代数 — 丘维声 — 中文打底:多项式、线性变换不变子空间、二次型的严格证明训练
- 概率论基础 — 李贤平 — 中文打底:培养古典与初等概率直觉
开放获取教材(原书 p22-24)
给 S10 书单的免费版:作者官网开放获取的 PDF,先读这些再决定要不要买书。
- Linear Algebra Done Right — Sheldon Axler — 摒弃行列式直接建谱定理,官方开放获取 PDF + 作者习题讲解视频
- Linear Algebra — Jim Hefferon — GFDL 开源教材 + 逐题完整解答手册(证明步骤无跳跃),官方习题全解
- Introduction to Applied Linear Algebra — Stephen Boyd & Lieven Vandenberghe — 向量几何/正交投影/最小二乘/矩阵分解的直观推导,配套 Python/Julia 代码
- Basic Analysis I & II: Introduction to Real Analysis — Jiří Lebl — CC BY-NC-SA 开源实分析教材,逻辑严谨度对标 Rudin 但语言更现代
- Introduction to Probability — Charles M. Grinstead & J. Laurie Snell — AMS/达特茅斯免费开源:组合与初等概率过渡到马尔可夫链与随机游走
- Probability: Theory and Examples — Rick Durrett — 测度论概率标准教材:大数定律/CLT/条件期望/鞅收敛(作者官网免费)
- Functional Analysis — Gerald Teschl — 维也纳大学研究生教材:Banach 代数、紧算子谱理论、无界算子(作者主页免费)
- Mathematics for Machine Learning — Marc Peter Deisenroth et al. — 线代/矩阵微积分/概率/优化直接映射到 PCA、高斯过程、SVM(剑桥出版社授权免费)
配套习题集(原书 p24-27)
只刷有官方解答的结构性证明,跳过技巧性计算;20 分钟卡壳就看答案前两行。
- Convex Optimization 官方补充习题与全解(Additional Exercises)— Stephen Boyd — EE364a 历年作业/考试证明题与官方推导:对偶构造、KKT、Fenchel 共轭
- Linear Algebra 官方全解手册 — Jim Hefferon(官方习题解答) — 与教材同步的逐题证明全解,规范线性空间/正交投影/特征值分解书写
- The Cauchy-Schwarz Master Class — J. Michael Steele — 不等式放缩艺术神作:Cauchy-Schwarz/Hölder/Minkowski/Jensen/重排,书后完整解答
- Problems in Mathematical Analysis(全三卷)— W. J. Kaczor & M. T. Nowak — 全是证明题且逐题完整解答:实数与序列/连续与微分/积分
- 数学分析中的典型问题与方法 — 裴礼文 — 中文互补:一致收敛、积分不等式与泰勒余项放缩
- Problems and Theorems in Linear Algebra — V. V. Prasolov — AMS 矩阵证明宝库:秩不等式、迹不等式、特征值交错定理,均附解答
- One Thousand Exercises in Probability — Geoffrey Grimmett & David Stirzaker — 1000 道概率/随机过程证明题完整推导:条件期望、马氏链收敛、鞅与停时
- Exercises in Functional Analysis — Constantin Costara & Dumitru Popa — Banach/Hilbert 空间、算子范数与紧算子谱理论证明习题集
纯数学教材(原书 p27-29)
纯数学四分支 + 纯数背景切入 AI 顶会的映射表;资源最密集,按映射选一条线。
- Real Analysis: Modern Techniques and Their Applications — Gerald B. Folland — 测度论与实分析标杆:Radon 测度、Riesz 表示、L^p 插值、分布理论
- Princeton Lectures in Analysis(第 3 卷 Real Analysis & 第 4 卷 Functional Analysis)— Elias M. Stein & Rami Shakarchi — 从 Lebesgue 微分定理、Hausdorff 维数到 Banach 三大定理、紧算子谱分解与无界自伴算子
- Functional Analysis, Sobolev Spaces and Partial Differential Equations — Haïm Brezis — 布尔巴基风格:弱拓扑、自反空间与变分不等式极通透
- Linear Algebra — Kenneth Hoffman & Ray Kunze — 纯数系线代试金石:商空间、对偶空间、若尔当/有理标准形、多线性代数与张量积
- Linear Representations of Finite Groups — Jean-Pierre Serre — Serre 薄册经典:特征标理论与不可约表示分解,等变网络权重约束的理论来源
- Probability with Martingales — David Williams — 剑桥纯数学学派:σ-代数、单调类定理、鞅收敛、一致可积、Radon-Nikodym
- Introduction to Smooth Manifolds — John M. Lee — 光滑流形公理化黄金标准:切向量/余切丛/微分形式/Stokes/李群,自带证明习题
- Topics in Optimal Transportation — Cédric Villani — Kantorovich 对偶、Brenier 定理与 Wasserstein 空间梯度流理论
开源纯数学与题库(原书 p29-32)
开源纯数教材 + MIT OCW / 剑桥 Tripos / arXiv 讲义题库,练从零构造证明。
- MIT OCW 18.100B(Real Analysis) — 度量空间/紧性/一致收敛证明题(36 份讲义/题单已归档;OCW 未公开官方解答)
- MIT OCW 18.102(Introduction to Functional Analysis) — Banach/Hilbert 空间、有界/紧算子证明题(37 份讲义/题单/考试作业已归档)
- MIT OCW 18.702(Algebra II) — 表示论、模与域扩张纯证明题
- MIT OCW 18.965(Geometry of Manifolds) — 流形、张量场与微分形式证明题(32 份讲义/作业已归档)
- 剑桥大学数学系 Tripos Part II / Part III Example Sheets — 世界顶尖纯数研究生难度专题证明题单
- Terence Tao UCLA Math 245A/245B/245C 讲义 — 陶哲轩实分析/泛函/调和分析讲义,正文内嵌数百道 Exercise
- Introduction to Representation Theory — Pavel Etingof 等(MIT 研究生讲义) — arXiv 免费讲义:Schur 引理/Maschke 定理/特征标/箭图与李代数表示,自带证明习题
- 18.100B / 18.102 / 18.701 / 18.702 / 18.965 题库(MIT OCW) — MIT OCW 纯数学核心课程题库:题单/考试/讲义共 131 份已归档;OCW 现行版本未公开官方解答,解答需自行推导
五个低算力课题与饱和度:一句话版
- 课题一 思维预算:让推理模型”想够了就停”,单张 24GB 显卡,目标 NeurIPS / ICLR / ACL / EMNLP。
- 课题二 RLVR 样本筛选:只用 10%-20% 核心数据达到全量 RL 效果,2-4 张 4090,目标 ICML / NeurIPS / ICLR。
- 课题三 KV Cache 压缩:把长上下文缓存压到 15%-20% 还不掉点,1 张 24GB 卡、无需训练,目标 ICLR / NeurIPS / MLSys。
- 课题四 Agent 记忆压缩:给长程工具调用做可回溯的结构化记忆,1-2 张 24GB 卡,目标 ACL / ICLR / NeurIPS。
- 课题五 Activation Steering:不改权重、靠激活干预降幻觉,单张 24GB 卡,目标 NeurIPS / ICLR / EMNLP。
饱和度从高到低:KV Cache 压缩(★★★★★)> 思维预算(★★★★☆)> Activation Steering(★★★☆☆)≈ RLVR 样本筛选(★★★☆☆)> Agent 记忆(★★☆☆☆)。想最快出第一篇论文选课题四/五;想冲 Oral 与大厂后训练岗选课题一/二;课题三需要 CUDA/Triton 算子能力,慎入。
使用建议
- 先选赛道再囤资料。 S2 的五条赛道只能选一条主攻,其余当常识了解;资料多不等于学得快。
- 工具先行。 性价比最高的入口是 S6 的 30 天计划:PyTorch 训练循环 → 手写 Transformer → HuggingFace 推理 → LoRA 微调。
- 付费书先找开源版。 S11 里的书基本都是作者官网免费版;实在没有,再走学校图书馆或 Internet Archive。
- 做理论先做诊断题。 S8 的 5 道题做出 4-5 道可直接开读论文;做出 2-3 道补 Vershynin 前三章与 The Matrix Cookbook 即可。
- 低算力选题看饱和度。 避开静态 KV 驱逐、固定阈值早停这类红海做法,优先课题四/五的蓝海切入点。
关于这份清单
资源名、链接与阶段归属来自原指南逐页整理后的资源索引;抓取核验显示 133/144 条可访问,11 条因出版社反爬未抓到内容,但已用 Crossref/OpenLibrary/Wayback 补齐权威书目元数据(含 ISBN/DOI/年份)。所有链接均取自索引原始 URL,未做改写;开放获取条目已下载 242 份 PDF 留档(主库 32 份 + 补充 210 份,含 MIT OCW 题单/讲义 131 份与剑桥 Tripos 题单 72 份)。若链接随网站改版失效,优先按书名/作者搜索作者官网或机构页面。