Hello World!

123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123123

@[toc]vaild模式same模式full模式

@[toc]网络模型代码import torchfrom torch import nnfrom torch.utils.data import Datasetclass CnnModel(nn.Module): def __init__(self): super

代码：import torch.optimfrom torch import nnimport osimport numpy as npfrom PIL import Imagefrom torch.utils.data import DataLoader,Datasetclass

计算E对W的导数，以用来进行梯度更新。1.2.3.如果矩阵W的显性特征值大于1，梯度爆炸。如果它小于1，梯度消失。参考文献Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass

RNN中需要梯度下降更新W，U，V，b，c五个参数。所以需要对W，U，V，b，c进行求导以求W导数为例：w在每一时刻都出现了，所以w在时刻t的梯度 = 时刻t的损失函数对所有时刻的w的梯度和<math xmlns="http://www.w3.org/1998/Math/MathML" d

@[toc]RNN循环神经网络RNN可以分为好多种实现方式，经典的形式用时刻t-1的输出作为t时刻隐藏层的输入去计算，但这样会依赖于以前的计算结果，如果上一步的结果有错误在后续的计算中会无限被放大。举个例子，在计算数学题目的时候，会有很多步骤，在前几步中某一步计算错误，则会导致后续的计算受很

@[toc]参数范数惩罚作为约束的范数惩罚正则化和欠约束问题数据集增强1.创建一些假数据添加到训练集中噪声鲁棒性1.在模型的输入加上方差极小的噪声等价于对权重施加范数惩罚（方差控制过拟合）2.正则化模型噪声使用方式是将其加到权重（主要用于RNN上）半监督学习算法多任务学习提前终

@[toc]岭回归岭回归又称为L2回归。数学表达如下：<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</

@[toc]序言最小二乘法与梯度下降一样都是一种优化方法（在某种约束下的寻找最佳匹配函数的方法）。但与梯度下降不同之处在于，梯度下降是一步步去求解而最小二乘法是一步求解到位。最小二乘法通过最小化目标值与预测值的误差的平方和来寻找最佳匹配函数。可用于直线拟合曲线拟合最小二乘法处理的模