機械学習

1/349ページ

ファジィクラスタリングについて

ファジィクラスタリング 今回は、クラスタリングの一手法であるファジィc-平均法(Fuzzy c-means)を紹介します。 クラスタリング データ解析の分野で広く用いられる、データの集合を部分集合(クラスタ)に分割する手法です。 教師なし学習の一種でもあります。 階層的クラスタリング 重心法 群平均法 ウォード法 などなど。 出力がデンドログラムによって表示されるのが特徴 非階層的クラスタリング 計算の高速なことなどから、ビジネスの場で […]

Spark / MLlib の K-means を Scala から利用してみる

元ネタ Spark MLlib の K-means を Java から利用してみる – ALBERT Engineering Blog のScala移植版です。 とても丁寧な解説付きなので、まずはそちらをご覧ください。 Scalaコード 変数名やデータ構造および出力フォーマットは、元ネタに合わせています。 言語以外に変更した点は、下記の通りです。 “iris.txt”が見当たらなかったので、̶ […]

HivemallでMatrix Factorization

本記事は、Spark, SQL on Hadoop etc. Advent Calendar 2014の8日目の記事だったはずの原稿です。 Movielensデータセットを使って、HivemallにおけるMatrix Factorizationの実行方法を解説します。 はじめに 以前、Hadoop Conference 2014で発表させて頂いたときに聴衆の方にアンケートをとったところレコメンデーションの需要が(クラス分類か回帰分析と比 […]

一般化線形モデル(GLM)とニューラルネットって一緒やんね (2)

前回の続きで、一般化線形モデル(GLM)と多層パーセプトロンの比較です。 “一般化線形モデル(GLM)とニューラルネットって一緒やんね (1)” 機械学習の観点から:多層パーセプトロン ニューラルネット、パーセプトロンについては下記に非常にわかりやすくまとめて下さっているので、是非ご参考に下さい。 “第3回 単純パーセプトロン · levelfour/machine-learning-2014 Wik […]

線形回帰の Normal Equation(正規方程式)について

前置き 某 オンライン機械学習コース の Linear Regression with Multiple Variables(多変量線形回帰)で出てきた、Normal Equation(正規方程式)について。 Andrew Ng 先生(以降、Ang先生 と略記)が「導出するのめんどい(意訳)」と言って結果だけ示されたので、ちょっとだけ掘り下げてみました。 その中で、疑問点も浮かんできたので共有してみます。 私自身、まだちゃんと分かってな […]

Amazon Machine Learningを試した・・・けれど上手くいかなかった

AWS(Amazon Web Services)から機械学習サービス「Amazon Machine Learning」がリリースされたので、早速試してみました。 結論から述べると、期待する結果を得ることはできませんでした。ですので、以下の情報は参考程度にどうぞ。 Amazon Machine Learningとは? AWSが提供する機械学習サービスです。2015年4月9日に発表されました。詳しくは公式情報をどうぞ。 公式サイト: Ama […]

論文紹介:直積HMMと、ポリフォニックMIDIスコア・フォローイング

予め用意した楽譜データと、リアルタイムの音楽演奏データをマッチングする技術を「スコア・フォローイング」というらしい。 自動伴奏等への応用を目指した技術である。 この論文では、直積HMM(隠れマルコフモデル)という手法で、和音演奏を含む演奏データをリアルタイムでフォローしようとするものらしい。 “Outer-Product Hidden Markov Model and Polyphonic MIDI Score Follow […]

手書き数字をpythonでもてあそぶ その2(識別する)

手書き数字データを識別する 前回の記事で手書き数字データの読み込みと画像化、あとは相関を見るということをやりましたが、今回はその数字が何の数字なのかの識別をやっていきたいと思います。 手書き数字の識別なので、与えられたデータが0〜9の10個のクラスのうちどれに該当するかを識別することを行います。なのでまず、 C = \{0, 1, 2, 3, 4, 5, 6, 7, 8, 9\} の10個のクラスを定義します。 機械学習の方式の1つに「 […]

Chainer on EC2スポットインスタンスの環境を、AWS Lambdaで用意する

先日、「xgboost (python) on EC2スポットインスタンスの環境を、AWS Lambdaで用意する」という記事を書きましたが、そのChainer版を作ってみました。 ボタン一発 or cli一発で環境構築が済むと素敵だな、ということで、要するに以前書いた以下の記事の内容を、Lambdaで自動化したという話になります。 AWS EC2のg2.2xlargeをスポットインスタンスで立てて、chainerを動かしてみる htt […]

1 349