統計学

1/15ページ

【統計学】stanでロジスティック回帰の実行を割と詳しく解説してみる(w/ Titanic dataset)

StanをつかってTitanicデータをロジスティック回帰してみて、さらに分類の性能評価を少し行ってみるという記事です。 この記事で使う確率的プログラミング言語「Stan」では分布のパラメーターの推定に、ハミルトニアンモンテカルロ法(HMC法)とNUTSという手法が用いられています。厳密には乱数の発生原理が異なるのですが、もう少しシンプルな手法にマルコフ連鎖モンテカルロ法 メトロポリス・ヘイスティングス法(MH法)があります。この動作原 […]

Pythonを使った回帰分析の概念の解説 その1

最近、機械学習、人工知能等が流行っておりその基盤となる統計学についての知識が重要となっていると思います。そこで、統計学の中でもその効果がわかりやすい回帰分析の原理についてPythonで計算したりグラフを書いたりしながら概念的に理解できることを目的として説明を試みたいと思います。 統計の専門家ではないので、もしご指摘・コメントありましたらぜひご連絡ください。数学的に厳密でない点もあると思いますが、ご容赦ください… データセット […]

確率変数の大文字と小文字の区別がよくわからない

疑問 P(X=x)\\ P(X\le x) $X$ も $x$ も変数なんだから片方でいいじゃん! そもそも関数の引数に不等式が来るのオカシイじゃん! いいわけ この記事の内容は、僕が「こういうことなんじゃないかなあ」と想像して書いたものです。ソース有りません。想像部分には [要確認] と書いてあります。確率変数周りの話題についてぼかした説明しかしていない教科書しか手元になかったもので…… 確率変数 X が指すもの まず、確率変数 X […]

正定値性と再生性

承前 ・カーネルトリック ・R de 『カーネル多変量解析』 ・R de 『カーネル多変量解析』-2 教科書 『カーネル多変量解析』 『パターン認識と機械学習』 復習 $φ(x_i)φ(x_j)$の形で書ける関数はカーネル関数$k(x_i,x_j)$として扱え、 グラム行列$K$を求める事で、例えば無限の特徴量を考慮した近似が簡単に行えた。 (カーネルトリック) これではまだ不便です。 前回に紹介したカーネル関数$k(x_i,x_j)$ […]

カーネルトリック

ガウス過程まで行く予定が、カーネルトリックまでで1記事になってしまった…。 結果、話がまったく進まず。 教科書 『カーネル多変量解析』 『パターン認識と機械学習』 承前 ・R de 『カーネル多変量解析』 ・R de 『カーネル多変量解析』-2 復習 一次元の入力$X$に対する測定量$Y$が図のように得られた。 X=(X_1, X_2, ..., X_n)\\ Y=(Y_1, Y_2, ..., Y_n) このデータから、任意の入力$x […]

角度(方向)を説明変数にする

 R Advent Calendar 2016の3日目です。  アドベントカレンダー初参加、Qiita投稿も初めてで、勝手が分からずすみません。おかしな点があればご指摘願います……。  Rというより統計分析の小ネタです。方向統計っぽいタイトルですが違います。方向統計は方向を目的変数にする場合で、この記事で扱うのは説明変数にする場合です。 角度変数の分類  まず角度変数について。  角度は大まかに分けて二つ、回転量と方向を表します。  回 […]

離散型分布は怖くない:;(∩´﹏`∩);:

 機械学習に必要な高校数学やり直しアドベントカレンダー Advent Calendar 2016の9日目の記事です。  なるべく怖く見えないよう書こう、と思いこのタイトルにしました! 本当のところは?  8日目はYU81さんで、指数・対数のお話でした。対数は掛け算を足し算に変えられ、対数線形モデルなどはこの性質を利用しています。指数・対数はとても大事です! はじめに  離散型確率分布は高校数学でよく出てくるのに、大学教養の統計では二項分 […]

[学習用実装]層別サンプリング(Stratified Sampling)をPythonで実装する(1)

エントリ概要  層別サンプリング(stratified sampling)は、母集団の分布を良く維持してサンプリングするための手法です。pythonでは、scikit-learn の StratifiedShuffleSplit および train_test_split で実装されています。普段、機械学習モデルを交差検証(cross validation)をする際によくお世話になっています。  ツールとして使うのにとどまるのではなく、理 […]

統計量の意味

まえがき 本記事は私が塾講師をしていたときに「データの分析」の範囲をはじめて学ぶ高校1年生向けに作成した資料をまとめ直したものです。 私が統計の勉強を始めたときにもっとも苦しんだのは「数式のニュアンスが理解できない」ということで、たとえば分散の定義を見たときにそれで何がしたいのかまったく分かりませんでした。「分散は散らばり具合のことだよ」と説明されても、どうしてそれで散らばり具合が測れるのかがさっぱりでした。 高校生に説明するときもまっ […]

読書メモ:意味のわかる統計学(第1章)

 お疲れ様です、Fortranです。  今回は読書メモというか、勉強メモになります。 はじめに なぜ統計学?  統計学を理解したいと思った理由は、下記が主となります。 統計モデルや機械学習等を使って、インフラ周りの色んな予測を立てているが、そのバックヤードについては理解しておらず、説明に窮する場面があるので、しっかり理解をしておきたい。 統計検定に興味が湧いてきたため、まずは2級の合格を目指したい。 統計検定とは?  http://ww […]

1 15