最急降下法

機械学習をやる上で知っておきたい連続最適化

本記事では、機械学習のタスクを解く上で非常によく登場する最適化問題(optimization problem)の基礎を解説していきます。 機械学習で用いる最適化といえば、SGDやMomentum、Adamなどが有名ですね。はじめ、それらに関しての解説を書こうかとも考えましたが、既に優れた記事が多々あるので、ここではほとんど触れません。 一方、最適化問題とは何か、アルゴリズムが”優れている”とはどう評価するか、など […]