DynamoDB

1/5ページ

[メモ] Data Science Event Processing | AdRoll

http://tech.adroll.com/blog/data-science/2015/12/08/data-science_event_processing.html の翻訳というかメモです。 AdRollは大規模な機械学習をインターネット広告オークションのインテリジェントな入札に活用しています。このポストでは、私たちのエンジニアリングにおけるデータのパイプラインを紹介していきます。特に、イベントストリームをリアルタイムに扱う部分 […]

DynamoDB v2のbatchWriteItemsとbatchGetItemsを利用する

DynamoDBクライアントのbatchWriteItemsとbatchGetItemsを利用する 日本語のサンプルページが少ないのでエントリ作成。本稿は2013-11-19時点でのものです。 AWS SDK for Javaのバージョンは1.7です。 modelパッケージのDeleteRequestとPutRequest、WriteRequestを利用するのですが、インターフェースになっていないのでそれぞれ処理が別になるので面倒です。 […]

実行時にDynamoDBのテーブル名を変える

はじめに このエントリはAWS SDK for Javaが対象です。 大変便利なAWSのDynamoDBですが、テーブル名に関しては以下のような制約があります。 1AWSアカウント/1リージョン内には同名のテーブルが持てない アクセスユーザーごとに名前空間を変えたりできない 例えばあるシステムがあり、「Hoge」という名前のテーブルにアクセスするプログラムを作っていた場合、同じAWSアカウント/リージョン内に同じシステムを別のユーザーに […]

DynamoDB で map 型の属性の要素を適切に更新したい

はじめに DynamoDB をバックエンドのストレージとして利用するアプリケーションにおいて、 DynamoDB テーブル上のそれぞれの項目のある属性において map 型のデータ 1 を保持したい また、その map の特定の要素を追加・更新したい ただし、その項目や属性は追加・更新の操作をしようとした段階ではまだ存在していない可能性がある 加えて、更新操作は複数のアプリケーションのプロセスから同時並列的に行われうる なお、一度追加され […]

DynamoDB Localを使ってみる

AWSで提供されているKVS、DynamoDBを動かして遊びたいなぁ と思ったけど、お金がかかる。 なんかトライアル版でもあればいいのに。。。と思っていたら 「DynamoDB Local」というものを発見。 なんちゃって版だけどAPIだけを確認したかったので良しとした。 ※DynamoDB Localを起動してエラーが出たとき、「SQLite」って文字が散見されていたので  たぶんDynamoDB Localの裏側はSQLiteなんだ […]

AWS完結でサーバレス構成のWebアプリ(SPA)を作ったときに使ったAWSサービスたち

前置き EC2+RDSのサービスを作った事はあったものの、もろもろの設定(VPCの諸々とか)がめんどくさかったので、流行りのサーバレスで作ってみたら簡単になるんじゃないかと思ってチャレンジ。 ターゲット EC2+RDSでサービス作った事あるけどサーバレス構成では作った事ない人 前提 サービスはSPA(Single Page Application)、サーバサイドの処理は主にAPI。 ◆通常(EC2+RDS)の流れ EC2+RDSの構成で […]

iOSからDynamoDBを利用する際の注意点

要点 シミュレータor実機の時刻設定 iOSの地域設定(言語設定ではないです)を使用するCognitoのリージョンに合わせる。 テーブル属性のデータ型定義 DynamoDBで扱えるデータ型(文字列・数値・バイナリ)を意識する。 DynamoDB側のテーブル定義(属性名・データ型)のとおりにクライアントを実装する。 使用するRoleに対する適切なポリシー設定 CognitoとDynamoDBに関して、必要十分な権限を付与する。 要点を無視 […]

スクレイピング時におけるDynamoDBテーブル設計

前提 毎日スクレイピングしたデータをDynamoDBに格納しているので、日々一定量のデータが増加している。 主にデータは98%がその日に利用され、1か月以降の利用率は1%未満。 つまり、新しいデータほど利用頻度が高く価値があり古いデータにかかるコストを抑えたい。 Time Based Partition Tablesパターンを利用 (AWS Summit 2014で安川さんが話していたテーブルパターン) テーブル名 まずスクレイピデータ […]

1 5