index

前向传播

y = x * w + b 推理

损失函数

loss

计算推理结果和标准答案之间的差距

梯度下降法

损失函数对各参数求偏导后的向量称为梯度, 梯度下降的反向就是损失函数结果减小的反向 梯度下降法就是沿损失函数梯度下降的方向来寻找损失函数的最小值, 从而得到最优参数的方法

学习率: lr

W(t+1) = W(t) - lr*(loss 对 W(t))的偏导

独热码可以表示推理结果在各个分类上的概率, 通过 softmax 函数可以将各分类的 y 值转换为独热码中对应的概率值