AWS

1/211ページ

AWS re:Invent 2014に参加してきた – Breakout Session 2日目

AWS re:Invent 2014 – Breakout Session 2日目が終了しました! 昨日に引き続き,忘れないうちに本日の内容についてまとめます. 関連:AWS re:Invent 2014に参加してきた – Breakout Session 1日目 見たセッション 私が参加したセッションについて,感想ベースでまとめていきます. Keynote 昨日とは打って変わって,前半はAWS製品自体の話よりも […]

LambdaでIoTのバックエンドサービスを作ってみる。初回編

はじめに Lambda祭りの参加に若干遅れた感じですが、せっかく作るならやはりIoT/M2M関係で何かしたいなと思い、いろいろ考えてたら時間がかかってしまいました。 2014年5月くらいにRaspberry Piに温度センサ(ADT7410)をつなげてKinesisにあげてリアリタイムモニタリングをするデモを作りました。詳細はこちら(スライド20くらい)この時は単純に温度データをストリームとして上げることをしてました。 今回は、部屋の室 […]

Spark StreamingをAmazon EC2で使ってみた

この記事は ドワンゴ Advent Calendar 2014 の23日目の記事です。 昨日は hiroki_kanaさん でした。 最近、Sparkというソフトウェアがデータ解析界隈でこれからくる計算基盤になるのではと注目を浴びています こいつを使って、ちょっと簡単なTwitterネガポジ分析をしてみましょう TL;DR sparkは比較的新しい分散処理基盤 その中にStreamを扱うライブラリがある ec2で手軽にクラスタを組んで試 […]

Amazon Machine Learning のデータソースで日本語テキストを扱う方法

Amazon Machine Learning (Amazon ML)で日本語のテキストデータを使うと精度が上がらないという記事を見かけたので、本当かどうか検証してみました。 ※筆者は機械学習に明るいわけではなので、詳しい方が読んで誤りに気づかれた場合は是非ご指摘ください。 はじめに結論 Amazon MLに日本語のテキストをそのまま入れると確かに精度が上がりにくいと思われます。 これは、Amazon MLが日本語テキストを分かち書きせ […]

AWS EMRにspark-jobserverを構築してREST経由でJob実行させる

Sparkを利用して、ジョブをパシパシ叩きたかったのですが、どうやってジョブ実行をしようかな、と悩むことになりました。 クラウド依存になりたくなかったので、できればKinesisストリームは使いたくないな。。と思いつつも下記のように調べてみました。 利用可否 Streamingか単発ジョブか アドホックな引数設定の可否 懸念 KinesisとSpark Streaming 可 Streaming やや難しい。 GCPとかMS使いたくなっ […]

[JAWS-UG CLI] Amazon MachineLearning 入門 (1) データソースの作成(学習モデルの作成用)

この記事について JAWS-UG CLI専門支部 #67 MachineLearning入門で実施するハンズオン用の手順書です。 Amazon Machine Learningとは 教師あり学習が可能なフルマネージドサービスです。 学習モデルの生成および学習モデルを使った予測を実行することができます。 組込済みのアルゴリズムを使うことで、非常に簡単に機械学習をはじめることができます。 二項分類、多項分類、回帰分析を行うことが可能です。 […]

EMRのSparkでレコメンドを実装する

はじめに エムスリーAdvent Calendar 2016 最終日はデータ活用の王道、協調フィルタリングによるレコメンドをAmazon EMR上のSparkで実装します。 O’REILLYのSparkによる実践データ解析の第3章を元ネタに音楽の再生時間のデータを元にしたアーティストのレコメンドを実装してみます。 協調フィルタリングって何?という方は、ECサイトの「この商品を買った人はこんな商品も買っています」というのをイメ […]

AWS Machine Learningでtotoを当てる(当たるとは言っていない)

はじめに 5億円は欲しいけどサッカーの予想なんて難しくてできない〜オフサイドとか知らない〜(><) なんてお困りのみなさん! web画面をぽちぽちするだけでも簡単に機械学習できちゃうAWS MLを使って、サッカーのサの字も知らないまま試合結果を予想して、僕と一緒に5億円を目指しましょう! まずは過去のデータ準備 AWS MLに学習させるために、過去の試合結果データをcsv形式で準備する必要があります。 データを探す 公式ペー […]

chaliceを使って簡単にPythonでサーバーレスしよう

Python Advent Calendar 2016の5日目及び Fusic Advent Calendar 2016の5日目の記事です。 はじめまして、seike460と申します。 普段は主にPHPとサーバー触っています。 ふと流行りのサーバーレスしたい!と思いましたが、 僕が懇意に使用しているAWSでは、PHPでサーバーレス出来ないのが現状です。 (正確には頑張れば出来ますが、その話は置いておきます。) 出来ないものはしょうがない […]

[メモ] Data Science Event Processing | AdRoll

http://tech.adroll.com/blog/data-science/2015/12/08/data-science_event_processing.html の翻訳というかメモです。 AdRollは大規模な機械学習をインターネット広告オークションのインテリジェントな入札に活用しています。このポストでは、私たちのエンジニアリングにおけるデータのパイプラインを紹介していきます。特に、イベントストリームをリアルタイムに扱う部分 […]

1 211