IPython

1/4ページ

IPython clusterによるバカパラ(分散並列処理)

分散並列処理の基本かつ強力なアプローチとして,Single Program Multiple Data (SPMD) があります.これは,複数のプロセッサが同一のプログラムを実行し,その際に各プロセッサは別々のデータを処理する,というモデルです.大規模なデータを独立で処理できる単位に分割し,小分けのデータを複数のプロセッサで並列に処理することで,データ全体の処理時間を大幅に短縮できます. 例えば,a01.txt, a02.txt, a0 […]

備忘録@Python ORセミナー: scikit-learn

pythonでも指折りのライブラリだと思ってる. 機械学習用のライブラリ.入っている学習は以下のとおり(一例). 教師あり学習 最近傍法,一般化線形モデル,線形判断分析,SVM,決定木,ランダムフォレスト,ナイーブベイズなど 教師なし学習 混合ガウスモデル,主成分分析,因子分析,独立成分分析,クラスタリング,隠れマルコフモデルなど その他 クロスバリデーション,グリッドサーチ,Accuracyなど ※チートシートはこっち 教師あり学習 […]

ipython notebook on chromebook

ちょっと長めの動機 ipython notebook でopencvを使って画像解析したい 観測で得られた各種センサーデータをDBに登録しているルーチンワーク中で センサーの精度によるエラーやドリフトが起きているバッドデータは弾く必要があるのだが 機械学習的にフィルターで弾けなかったデータは人間が目視確認しているため。 グラフ画像で滑らかな曲線ではなく、エッジの立っているグラフはバッドデータとして弾く必要があるがグラフ画像の画像解析で処 […]

Bitcoinのチャートを予測するプログラムを作った

はじめに Bitcoinのチャートの予測(明日の価格の上げ下げ)を予測するプログラムを作るために、pythonでscikit-learnの決定木アルゴリズムを用いて価格予測をすることにしました。 過去N日間の価格(N個のパラメータ)から次の日の価格が上がるか下がるか変わらないのかを予測するというものです。 なお、bitcoinの価格データは、Bitcoin Historical Data からダウンロードしたbitstampUSD_1- […]

Jupyter Notebookでpytest

Jupyter Notebookでpytest Jupyter Notebookで作成した.ipynbファイルにpytestで単体テストするツールとしてpytest_ipynbがあります。 https://pypi.python.org/pypi/pytest-ipynb こちらでご紹介されているとおり、py.test -vで呼び出してセル毎にテストすることができる優れものです。 インストール方法は簡単で、以下を実行するだけで使い始める […]

Azure Machine LearningのJupyter Notebookを使ってみる

Azure Machine LearningはMicrosoftが提供しているクラウドベースの機械学習のサービスです。 Azure Machine LearningではGUIを使って様々な機械学習の手法を実行することができますがJupyterを使用することも可能となっています。 Azure Machine LearningでJupyter Notebookを使う Azure Machine LearningのはMicrosoftアカウン […]

はじめてのテンサーフローワークショップに参加しました

はじめてのテンサーフローワークショップに参加しました Workshop: Getting Started・ワークショップ:はじめて­のテンサーフロー http://www.meetup.com/TensorFlow-Tokyo/events/227846862/?eventId=227846862 こんにちは。2016年こそはディープラーニングを使いこなそう!という意気込みの谷岡です。最近巷で噂になってるTensorFlowの勉強会(ワ […]

Jupyter上でkernel切り替えをしてもうまく機能しない場合の解決方法

はじめに Kaggleの過去の問題ではPython2を使ったりPython3でTensorFlowを使ったりとKernelを複数使い分けることがあります。そこでJupyter上でkernel切り替えを出来るようにしようとしたら以下のようなエラーが出て数日ハマりました。 error ImportError: No module named tensorflow 調べた結果、Jupyter上でのkernel切り替えが上手く機能していないのが […]

Mac OS X に IPython (Python2) を導入する方法 〜機械学習理論入門下準備〜

先日、ITエンジニアのための機械学習理論入門を購入してみました。 Python サンプルコードの実行環境を準備する必要があるのですが、書籍内では Enthought Canopy を使っての効率的な環境構築が紹介されています。 しかし、なんとなくこういうツールは初めは避けたい派なので、とりあえず自前で必要なライブラリをインストールすることにしました。 対象読者 Python2 を既に導入済み Python2 で機械学習関係ライブラリ導入 […]

GTUG Girls+PyLadiesTokyo Meetup 初めての機械学習に行ってみた

まだまだ底辺Webプログラマー1年目のひよっこですが、行ってきましたよ。pythonで機械学習。 そもそもPyLadies Tokyoってなに? PyLadies の日本支部なのですが ECナビで有名なVOYAGE Groupがなんか毎回主催してるっぽいです。 それで今回行ったのがこちら↓2016/2/23 PyLadies Tokyo Meetup #9 初めての機械学習 機械学習がなんか勤務先で流行ってたのもあるし、ウェイで有名なV […]

1 4