岭回归

@[toc]

岭回归

岭回归又称为L2回归。
数学表达如下：
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><mi mathvariant="normal">Ω</mi><mo stretchy="false">(</mo><mi>θ</mi><mo stretchy="false">)</mo></math>
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>+</mo><mi>α</mi><mrow><mo stretchy="false">|</mo></mrow><mrow><mo stretchy="false">|</mo></mrow><mi>w</mi><mrow><mo stretchy="false">|</mo></mrow><msup><mo stretchy="false">|</mo><mrow><mn>2</mn></mrow></msup></math>
对应导数：
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><msub><mo>▽</mo><mrow><mi>w</mi></mrow></msub><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo><mo>=</mo><mi>α</mi><mi>w</mi><mo>+</mo><msub><mo>▽</mo><mrow><mi>w</mi></mrow></msub><mi>J</mi><mo stretchy="false">(</mo><mi>w</mi><mo>,</mo><mi>X</mi><mo>,</mo><mi>y</mi><mo stretchy="false">)</mo></math>
梯度更新：