EC2

1/34ページ

Spark StreamingをAmazon EC2で使ってみた

この記事は ドワンゴ Advent Calendar 2014 の23日目の記事です。 昨日は hiroki_kanaさん でした。 最近、Sparkというソフトウェアがデータ解析界隈でこれからくる計算基盤になるのではと注目を浴びています こいつを使って、ちょっと簡単なTwitterネガポジ分析をしてみましょう TL;DR sparkは比較的新しい分散処理基盤 その中にStreamを扱うライブラリがある ec2で手軽にクラスタを組んで試 […]

aws ec2,g2.2xlarge,ubuntu 14.04環境にcaffe整備。特にfully convolutional networks for semantic segmentationを動くようにする。

基本的には既存ブログを踏襲しています。 pyenvとminicondaのインストール。conda上の機械学習環境ml_envまでは作成せず。必要ライブラリはcondaで適宜インストール。 参考:http://qiita.com/icoxfog417/items/950b8af9100b64c0d8f9 aws ec2, ubuntu環境におけるcaffe環境整備を以下ブログを踏襲して動作確認(ubuntu14.04,CUDA7.0,cu […]

勝敗予測モデルの学習をEC2 p2.8xlarge Multi GPUでやろうとした : TensorFlow将棋ソフト開発日誌 #10

前回 勝敗予測モデル2エポック目の成績報告とDNNの種々考察(ポエム回) : TensorFlow将棋ソフト開発日誌 #9 目次 TensorFlow将棋ソフト開発日誌 目次 ソースはgithubにあります(俺が読めればいいというレベル) EC2であり金溶かした人の顔してる 今回の話題 勝敗予想モデルの学習をAWS EC2 p2.8xlargeで行ってみた パフォーマンスを確保するためにはいろいろと考えないといけないことがわかった 今後 […]

ビンパッキング問題を利用してクラウド利用料を安くする

ビンパッキング問題を利用したクラウド利用の最適化 さて、AWSやAzure、GCPのようなクラウドを利用していると、どのアプリケーションをどのサイズの仮想マシンに登載すれば効率的なのか、迷うことがあります。 アプリケーションのCPU、メモリ、ディスク利用量が判明しているとして、アプリケーションをどのサイズの仮想マシンに入れれば良いか、コロケーションした方が良いのか、分散した方が良いのか・・・いろいろと考えることはあります。 クラウド利用 […]

見ながらやろう! AWSを始めよう -RDS編-

第一回目: –事前準備編– 第二回目: –VPC構築編– 追記 第二回目のVPCの環境と名称が違っておりました。 3. EC2インスタンスの作成 で使うサブネット名は test-public-subnet-a となっております。 後日改定投稿いたします。 @mitch0807 さん、ご指摘いただきありがとうございました。 はじめに… VPCを構築したら、[EC2]の接続先の[R […]

Alibaba ECSとAmazon EC2を並べて機能性を比較してみる

導入 Alibaba Cloudを利用するにあたり、導入時の比較対象となりうるパブリッククラウドとしてAmazon社提供のAmazon Web Service(通称AWS)、Microsoft社提供のMicrosoft Azure(通称Azure)、Google社提供のGoogle Cloud Platform(通称GCP)など、各社色々なサービスが提供されています。 今回、この記事でパブリッククラウドではシェアNo.1のAmazon […]

TensorFlowのLeNet-5 MNIST, AlexNet MNISTをAWS EC2 t2.micro(無料利用枠対象)で実行してみる

はじめに TensorFlow(テンソルフロー)は、Googleが開発したディープラーニングのシステムでApache 2.0ライセンスで公開されています。 GPU対応、C++, Pythonに対応しています。 「GPUを使ってバリバリ動かしたぜ!」 といった投稿が多いので、あえて、AWS EC2 t2.micro(無料利用枠対象)にTensorFlow(Python版, Anaconda)をインストールし実行してみました。 AWS EC […]

江ノ島を描く ~Neural Style~ [TensorFlowでDeep Learning 14]

(目次はこちら) はじめに Deep Learning / Deep Neural Networksの人気と有用性の高さから、GPUが必須の時代となりました。 AWS EC2のp2インスタンスをよく使いますがやっぱり高い。潤沢にインスタンスの在庫があるわけではなさそうなので、スポットインスタンスも実質使えない。 でも、CPUのインスタンスでは時間がもったいない。なので仕方なく、多くの人がオンデマンドで使っているのかと思います。 クリスマ […]

1 34