scikit-learn

1/27ページ

scikit-learnとgensimでニュース記事を分類する

こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの? データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch […]

🌲🌲 Python でランダムフォレストを実装する男 🌲🌲

モチベーション ディープラーニングにあらずんば人工知能にあらずな世の中でも、画像解析や自然言語処理などの非構造データではない、従来通りの構造データに限れば、古きよき機械学習手法はまだまだ手軽かつ高い精度を叩き出す。 例えばサポートベクターマシン、ロジスティック回帰、そしてランダムフォレスト 「でもランダムフォレストってパッケージを使ったことはあるし動作原理もなんとなく知ってるけど、実装したことはないな」 モチベーション完成 ランダムフォ […]

線形サポートベクトルマシン (2)

昨日はサポートベクトルマシンの分類境界において最大のマージンを求める式を説明しました。 scikit-learn には機械学習のためのさまざまなアルゴリズムが実装されています。たとえば教師あり学習のアルゴリズムの一覧を見るだけでも多種多様なものがあり、サポートベクトルマシンの実装だけでも分類、回帰、密度推定などと豊富です。 Support Vector Machines http://scikit-learn.org/stable/mo […]

scikit-learn + DBSCAN によるクラスタリング

今日は昨日に引き続き SciPy and NumPy Optimizing & Boosting your Python Programming の中から scikit-learn を使った例を軽く説明します。クラスタリングについてはすでに食べられるキノコを見分けるやクラスタリングの結果を再利用するといった記事で説明しましたし scikit-learn によるクラスタリング でも取り扱ってきましたから機械学習の中でもすっかりお馴 […]

食べられるキノコを見分ける

CodeIQ の問題を解く (2) 昨日に引き続き CodeIQ に掲載された問題を解いてみます。 「機械学習基礎」簡単な問題を解いて理解しよう!前篇 http://next.rikunabi.com/tech/docs/ct_s03600.jsp?p=002315 今日は第 2 問を解きます。 クラスタリング 問題 海賊船で催されたPRML読書会は楽しかった。 機械学習の事も少しはわかった気がするし、金貨も沢山貰えた。偽金貨もずいぶん […]

scikit-learnで2016年夏の代表校をクラスタリング

はじめに 夏季休暇ということでお勉強がてら scikit-learn を触ってみました。夏休みの自由研究といったところです。初心者的な内容ですがご容赦ください。 本当は機械学習的なことがやりたかったんですが、知識もデータも不足しているので出来そうなことから着手。ちょうど夏の高校野球甲子園大会が(個人的に)盛り上がっているところなので地方大会のデータを使って代表校をクラスタリングしてみることにしました。 データの準備 個人成績などのデータ […]

scikit-learn によるクラスタリング (2)

クラスタリングの意義と目的 昨日はクラスタリングの概要と scikit-learn を使って実際にクラスタリングをする流れを説明しました。 scikit-learn によるクラスタリング (1) ここで基本に立ち返りそもそもクラスタリングとは何なのかを探っていきます。 多くの機械学習のアルゴリズムでは、特徴量 (素性) をベクトルで表現します。 線形代数では和とスカラー積が内部で定義されている集合をベクトル空間、その要素をベクトルと言い […]

備忘録@Python ORセミナー: scikit-learn

pythonでも指折りのライブラリだと思ってる. 機械学習用のライブラリ.入っている学習は以下のとおり(一例). 教師あり学習 最近傍法,一般化線形モデル,線形判断分析,SVM,決定木,ランダムフォレスト,ナイーブベイズなど 教師なし学習 混合ガウスモデル,主成分分析,因子分析,独立成分分析,クラスタリング,隠れマルコフモデルなど その他 クロスバリデーション,グリッドサーチ,Accuracyなど ※チートシートはこっち 教師あり学習 […]

サポートベクトル回帰と特徴選択

サポートベクトル回帰 サポートベクトル回帰は機械学習手法の1つで、関数形を仮定しなくても回帰曲線を推定してくれるので多変量の非線形回帰問題に適しています。また共線性に強く、とりあえず説明変数を使えるだけ突っ込むような乱暴な使い方をしても不安定になりづらいという特長があります。 サポートベクトル回帰の例 test_svr.py import numpy as np import random import matplotlib.pyplo […]

scikit-learnで線形モデルとカーネルモデルの回帰分析をやってみた – イラストで学ぶ機会学習

Amazon: イラストで学ぶ 機械学習 最小二乗法による識別モデル学習を中心にを読み進めています。 出典: Amazon 今回は第3章〜第5章の最小二乗学習による回帰分析をpythonとsckit-learnで実装してみます。利用環境は以下の通りです。 anaconda3-2.5.0 scikit-learn (0.17.1) データを用意する 右肩上がりのトレンド(第二項)に周期変動(第一項)とノイズ(第三項)が乗っているというデー […]

1 27