説明
正則化は、過剰適合を防ぐための機械学習において非常に重要な手法です。数学的に言えば、係数が完全に適合して過剰適合するのを防ぐために、正則化項が追加されます。L1とL2の違いは、L2が重みの二乗の合計であるのに対し、L1は重みの合計であるということです。
最適化理論の多くは、非凸関数よりも最適化がはるかに簡単であるため、歴史的に凸損失関数に焦点を当ててきました。境界領域上の凸関数は最小値を持つことが保証されており、勾配に従うことでその最小値を簡単に見つけることができます。どこから始めても、各ポイントでの関数の。一方、非凸関数の場合、どこから開始するかが非常に重要です。悪い位置から始めて勾配に従うと、必ずしもグローバル最小値と等しくないローカル最小値になってしまう可能性があります。
凸関数はシリアルボウルと考えることができます。シリアルボウルのどこから始めても、下に転がる可能性があります。非凸関数はスケートパークのようなものです。たくさんのランプ、ディップ、アップ、ダウンがあります。スケートパークの最低地点を見つけるのは、シリアルボウルよりもはるかに困難です。