Scala

1/57ページ

Sparkling Water (H2O + Spark)で、Deep Learningを試す (ローカル環境 – Windows編)

H2Oが出しているApache Sparkの拡張、Sparkling Water。 残念ながら、Spark組み込みの機械学習ライブラリMLlibには、Deep Learningは実装されていないわけですが、ちょうどそれを補完するように、Sparkiling Waterの方には実装がありますね。 Sparkling Water – 0xdata h2oai/sparkling-water – github で、Ex […]

Spark StreamingをAmazon EC2で使ってみた

この記事は ドワンゴ Advent Calendar 2014 の23日目の記事です。 昨日は hiroki_kanaさん でした。 最近、Sparkというソフトウェアがデータ解析界隈でこれからくる計算基盤になるのではと注目を浴びています こいつを使って、ちょっと簡単なTwitterネガポジ分析をしてみましょう TL;DR sparkは比較的新しい分散処理基盤 その中にStreamを扱うライブラリがある ec2で手軽にクラスタを組んで試 […]

ScalaMatsuri 2016 参加メモ

一行感想 Septeni ミュージックビデオ かっこいい 三行感想 前回の2014に比べて、関数型の理論的なセッションは元より、 機械学習や非同期ストリーム処理などの業務経験を元にしたセッションが増え、いわゆるビックデータ関連の前線で普及している印象を受けました。 Apache SparkやPlay Frameworkなどキラーフレームワークの影響が大きそう。 概要 イベント: ScalaMatsuri 2016 日時: 2016/1/ […]

Apache Zeppelinでデータ分析を分散処理する – Part 1: データ分析のライフサイクル

このシリーズ Apache Zeppelinでデータ分析を分散処理する – Part 1: データ分析のライフサイクル Apache Zeppelinでデータ分析を分散処理する – Part 2: Ambari on DockerにZeppelinをセットアップする Apache Zeppelinでデータ分析を分散処理する – Part 3: ZeppelinでHiveを使えるようにする Apache […]

scalaでRESTサービス実装を学ぶ。

他に、playでmbaasというプロジェクトbaasboxがあるが、javaベースで実装されているので、ひとまず除外。 今回の対象は、spray|liftweb。・・・調査&学習コスト云々の話が深刻となりそうだが、即座に動く例題をizmailoff氏(ガチな感じのliftwebとspray界隈のコミッター)が公開してくれているので、メモしておこうと思った。 選択肢① liftweb  liftweb(rest+model)+mongod […]

scalaでLIBSVMをimportして学習と予測をしてみた。

何故こんなものを書いたのか scalaだと、構文解析が書きやすいので・・・。 pythonを使わないで、scalaを使って機械学習をしてる人なんて少ないと思うので需要があるかどうか知りませんが置いておきます。 (他に良い書き方が絶対あると思う) 環境 この記事ではWindows8.1にscala2.11.7をインストールして使っています。 scalaの他に、sbt0.13.8も使用しています。 コード build.sbt name := […]

Scalaで自然言語処理:組み合わせ範疇文法(Combinatory Categorial Grammar: CCG) パーサを作りかけてみた

ScalaでCCGパーサもどきを途中まで作ってみました。 この記事は前編です。後編は以下。 http://qiita.com/q-ikawa/items/233d877b9412bf3b1cd8 動機 自然言語処理というと、 Pythonを使って 確率モデルでごにょごにょ(ベイジアンやNN含めた機械学習) が「普通」なので、Python以外の言語を使って、確率モデル以外のことをしたかった、というのが動機です。Scalaを勉強中の身なのと […]

Scalaでデータ分析にチャレンジする: ファイルを読み込んでデータの前処理を行う

Scalaでデータを読み込んでデータ加工が出来ないか諸々模索した簡単なまとめです。 データの加工などはScalaではなく、別の言語(例えばpythonなど)の方がお手軽かつ、簡単に書ける場合も多々あると思います。ですが、Scalaの関数型の特性をうまく使えば、よりわかりやすく、高度な処理が出来るデータ処理が可能になるはずと思い記事(至らない部分は多々あると思いますが)かきました。(一応こちらの記事の続き物という位置づけです) なお、この […]

windowsでspark(scala+python)+jupyter環境構築

はじめに 機械学習/ディープラーニングの検証環境一式をWindowsで構成してみた。 理由は自宅で触れる最速環境が、GPUも搭載しているWindowsゲーム機だったため。 先人記事のトレースでほぼ導入できたものの、toree周りで問題が発生したため、記録も兼ねて記事とした。 回避策であり、解決策ではありません。参考程度で参照ください。 導入コンポーネント 導入したコンポーネントと、参照させていただいた先人皆様の各記事を感謝/敬意をこめて […]

目指せ自動売買で800万円 : MT4のTick情報を収集する

Tickとは? MQL4ではOnTick()という関数がTick情報が更新されるたびコールバックされるみたい。 Tickとは金融商品の値動き変化の最小単位、これを収集することでどんな足でも作れる。 色々探してみたが、TickをダウンロードできるサイトがなかったためMT4でTick情報を サーバにひたすらアップロードするプログラムを作成した。 システム構成 基本的にMT4からWebサーバにTickの更新があるたびにGETメソットでリクエス […]

1 57