ベイズ

ベイズの定理で解くモンティ・ホール問題

機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の5日目の記事です。 4日目の記事はkazutarosuさんで数学ガールについてでした。 数学ガール、聞いたことがあるだけで読んだことはないので、これを気に読んでみようかと思いました。 この記事では、ベイズの定理を使ってモンティ・ホール問題を解いてみようかと思います。 一部高校数学の範囲を超えているところがあるかもしれませんが、ご容赦ください。 […]

EMアルゴリズムのメモ 「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1 セクション7」

Udemyの「ベイズ推定とグラフィカルモデル:コンピュータビジョン基礎1」のセクション7のEMアルゴリズムの説明が非常にわかりやすかったので、EMアルゴリズムの部分だけ抽出して文章でまとめました。 なにが目的? 潜在変数(隠れ変数)をもつようなモデルの最尤推定解を求めること そもそも潜在変数を使ったモデルなんて何が嬉しい? 潜在変数:観測されるデータ(サンプル)には現れてこない変数 $$p(x|\theta) = \sum_z p(x, […]

[Python]レビューソート問題をベイズ推論で解いてみる

概要 Pythonで体験するベイズ推論 PyMCによるMCMC入門の書籍を結構前に読了しましたが、しばらくPyMCを触っていないので、復習用に自習課題として動かします。 どんな書籍なのか、というのはここでは触れないので、『Pythonで体験するベイズ推論 ―PyMCによるMCMC入門―』の書評などをご確認ください。(書籍自体はとても分かりやすかった・・) ちなみに統計・確率・数学・ベイズ周りは初心者(理系出身でもない)なため、理解が浅い […]

Pythonでベイズ線形回帰を実装してみた

ベイズ線形回帰の目的 前回の記事(ベイズ線形回帰)でベイズ線形回帰の概略をざっくりまとめたのだが、今回は実際にその過程をPythonで実装してみたのでこれまたざっくりまとめてみようと思う。 線形回帰の目的というのが、入力xに対して出力yが $$y=x^Tw+\epsilon$$ という形でモデリングされるという仮定に基づき、新たな入力に対応する尤もらしい出力を返せるようなwを推定したいというものだ。 ここで自分が一つ勘違いしてたことがあ […]

ナイーブベイズ理論の簡単な説明

素朴なベイジアン理論は、著者のプログラム、データ科学と機械学習の戦闘マニュアルに属していることは容易に理解でき ます 。 プラットフォームを読み込むことの一部がMathJaxのサポートには適していないため、あなたはオリジナルのノートを見ることができます。 より多くのコンテンツは、プログラム指向のデータ科学および機械学習知識システムおよびデータ収集を指す。 確率論は機械学習において重要な役割を果たします。 小学校の先生の言葉を聞いて、フェ […]

ベイズの定理で遊ぶところまでいけなかったお話。

なんだかxとy以外の文字がでてくるとも〜いやってなるあゆめぐです。 難しい書き方ばっかりされてよくわからないのでわかりやすく私が理解した範囲でやってみる 数式みたいなのはこんな感じ ベイズ覚えると何ができるの? 迷惑メールなどのフィルタリングや言語判定など機械学習系のアルゴリズムに使える。 簡単にいうと確率の応用編っていう感じ? ベイズの定理(wikipedia) ほとんどが聞き慣れない単語の羅列ばかりでもう嫌になっちゃう。 5分でわか […]

ハミルトニアンモンテカルロ法

はじめに 「ハミルトニアンモンテカルロ法」は、モデルのパラメータを推定する手法であり、 マルコフ連鎖モンテカルロ法(MCMC法)の一種である。 確率的プログラミング言語のStanやPyMCで実装されており、誰でも容易に使うことができる。 様々なパラメータの推定手法 このようなモデルのパラメータを推定する方法に、「EMアルゴリズム」がある。 EMアルゴリズムは、Jensenの不等式を用いて、周辺化対数尤度を下限で近似する。 $ log\ […]

ベイズ推論(解析的手法)を用いたベルヌーイ分布の学習と予測

はじめに 当記事は講談社発行の「ベイズ推論による機械学習入門」のP.76からの例題を理解するためにPythonでコーディングしたものです 詳しく知りたい方はぜひ同書籍を購入してみてください 通常は・・・ こういったベイズ推論はStan、Edwardなどの確率的プログラミング言語を用い、MCMCを使って推論することが一般的かと思います ここではそういった手法を使わず、ベイズ推論を理解するため数式ベースの解析的手法でこれを解いてみようかと思 […]

機械学習:10機械学習アルゴリズム

機械学習アルゴリズムは大きく3つのカテゴリに分類することができます。 監視対象アルゴリズム :監視対象学習プロセスでは、学習データセットからパターン(学習モデル)を学習または構築し、このパターンを使用して新しいインスタンスを推論することができます。 このアルゴリズムは特定の入力/出力を必要とするため、まずどのデータを使用するかを決定する必要があります。 たとえば、文字認識アプリケーションの手書き文字、または手書きテキストの行です。 主な […]