1
专栏
机器学习学习路径
从经典 ML 到深度学习到前沿方向的系统学习路径，能读论文、能写代码、能判断方案取舍。
AI 底层工程更新于
12 篇文章0 人订阅 创建
专栏简介
帮助技术人建立从经典机器学习到深度学习再到前沿方向的系统知识体系。本专栏精选基础概念（监督/无监督/强化学习）、评估指标、神经网络与反向传播、CNN 与 Attention、Transformer 与 Scaling Laws、强化学习与扩散模型、推理优化与自进化等核心主题。每篇都包含原始论文溯源、代码实现要点和工程取舍判断，目标是让读者既能看懂论文，也能在真实项目里做方案决策。
文章目录
2
什么是机器学习：监督/无监督/强化学习到底在做什么，什么时候该用哪个
TL;DR： 机器学习是让计算机从数据中自动学习规律的方法。它分为三大范式：监督学习（有标准答案的学习）、无监督学习（自己发现规律）和强化学习（试错 + 奖惩反馈）。企业中约 80% 的 ML 应用是监督学习，但最先进的 AI 系统（如…
3
评估指标全解：准确率、精确率、召回率、F1、AUC-ROC，以及什么时候看哪个
TL;DR： 准确率在不平衡数据上会骗人——99% 的准确率可能只是因为你的数据里 99% 都是负样本。精确率关注"预测为正的有多少是对的"，召回率关注"实际为正的有多少被找到了"。F1 是两者的调和平均。AUC ROC 衡量模型区分正负…
4
神经网络入门：从感知机到多层网络，通用近似定理，以及为什么需要深层
TL;DR： 感知机是神经网络的最小单元——一个线性函数加一个阈值判断。单层感知机只能解决线性可分问题（连 XOR 都搞不定），但把多层感知机堆叠起来就能逼近任何连续函数——这就是通用近似定理。然而浅层网络要逼近复杂函数可能需要指数级的神…
5
反向传播：计算图、链式法则，以及梯度如何一层层传回去
TL;DR： 反向传播（Backpropagation）不是一个新算法，它就是链式法则在计算图上的高效应用。前向传播把数据从输入推向输出，计算出预测值和损失。反向传播把梯度从输出拉回输入，告诉你每个参数该怎么调。核心规则只有一条： 下游梯…
6
CNN 基础：卷积、池化、感受野——为什么图像不用全连接
TL;DR： 全连接网络处理图像时参数量爆炸——一张 224x224 的图片展平后有 150,528 个像素，第一个隐藏层如果有 1000 个神经元就是 1.5 亿个参数。CNN 通过三个核心设计解决了这个问题：局部连接（每个神经元只看图…
7
Attention 机制：为什么 Attention 比 RNN 好，Query / Key / Value 是什么
TL;DR： Attention 机制的核心操作是：用 Query 和所有 Key 计算相似度，得到权重，然后对 Value 做加权求和。它让序列中的每个位置可以直接"看到"所有其他位置，不需要像 RNN 那样逐步传递信息。Query/K…
8
Transformer 详解：自注意力、多头注意力、位置编码，逐层拆解
TL;DR： Transformer 完全基于注意力机制，不使用 RNN 或 CNN。它的核心是 Scaled Dot Product Attention：用 Query 和 Key 的点积（除以 $\sqrt{d k}$）计算注意力权重…
9
大模型的缩放定律：Scaling Law、Chinchilla、MoE，为什么模型越大越好
TL;DR： Scaling Law 描述了语言模型损失如何随参数量（N）、数据量（D）和计算量（C）的幂律关系变化。OpenAI 在 2020 年发现 $L(N) \propto N^{ 0.076}$——参数量每增加 10 倍，损失下…
10
强化学习：MDP、Q-Learning、Policy Gradient 与 RLHF——RL 的核心框架
TL;DR： 强化学习是让智能体通过与环境交互来学习最优行为策略的方法论。本文从马尔可夫决策过程（MDP）讲起，经过Q Learning和Policy Gradient，最终连接到当前大模型训练的核心技术RLHF。
11
扩散模型：从噪声到图像——DDPM、潜在扩散与 Stable Diffusion 的完整路径
TL;DR： 扩散模型通过"加噪声→学习去噪声"的过程来生成图像。本文从数学基础（前向扩散、反向去噪的推导）开始，经过 DDPM 的训练与采样算法，到 Stable Diffusion 的潜在空间架构，再到 DiT 和 Flow Matc…
12
自进化到底是什么——参数、结构、策略、prompt、代码五个层级
TL;DR： 自进化 = 系统把自己运行产生的输出或行为当作学习信号，反过来修改自身的某个部分，从而在不需要外部新标注的前提下变得更好。本文建立两个全系列地基：五层级模型（参数、结构、策略、prompt、代码）和统一四步循环（采集→变异→…