sqs

1/2ページ

LambdaでIoTのバックエンドサービスを作ってみる。初回編

はじめに Lambda祭りの参加に若干遅れた感じですが、せっかく作るならやはりIoT/M2M関係で何かしたいなと思い、いろいろ考えてたら時間がかかってしまいました。 2014年5月くらいにRaspberry Piに温度センサ(ADT7410)をつなげてKinesisにあげてリアリタイムモニタリングをするデモを作りました。詳細はこちら(スライド20くらい)この時は単純に温度データをストリームとして上げることをしてました。 今回は、部屋の室 […]

AWS SQSをひと通り(Simple,Batch,DeadLetter,LongPolling)

はじめに SQSとSDKを使ってあれこれやります。SQSはAWSの中でも古いサービスだってことらしいのでSDK javaの情報って結構出回っているのかなと思いきや、意外になかったようでして、今回ひと通り試してみました。 1.シンプルなメッセージのやりとり 2.Batch処理を使ったメッセージ送信 3.LongPolling 4.DeadLetterQueue スケールするアーキテクチャを組むときに疎結合させることがポイントとなりますが、 […]

Mastodon複数インスタンスのnotificationsをプッシュ通知する

目的 マストドン複数インスタンスの各種通知をiPhoneへプッシュ通知したい。 (すでに複数インスタンス対応のアプリが出てきているので必要性は薄れてしまったが勉強のために。) 利用言語・サービス Go言語 mattn/go-mastodon – https://github.com/mattn/go-mastodon AWS SQS IFTTT(webhook/push) moru3/mastodon-notificatio […]

Amazon SQSを使う前に知っておきたい基本的なこと

はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本 […]

AWSにて、バッチ処理系のCDPを実装してリリースした話

■これをやった理由 担当プロダクトにおいて、バッチサーバがスケール可能な状態になく、今後の利用ユーザの増大に備えて対応が必要となったため。 proxyやwebはスケールできる状態なのに!!>< ■そもそもCDPって AWSクラウドデザインパターン(略してCDPと呼ぶ) システムアーキテクチャ設計時の問題と解決方法のノウハウを整理したもの ロゴもあります!  詳しいサイトはこちらですが、ちゃんと説明します ■そもそもCDPって わかりにく […]

RubyとAWSでつくるメディアストレージ基盤

はじめに 今年の4月にドワンゴに入社し、アプリケーションエンジニアからインフラエンジニアに転向した経緯をもつ筆者が、アプリケーションエンジニアとしての知識を活かし開発した最初の成果ともいえるメディアストレージ基盤について、その概要と実装方法について述べる。 この基盤は主に、新規プロダクトを開発するにあたって必要となってくるメディアファイルに関連する一連の処理を括り出して共通化・基盤化しておくことで、新規プロダクトの開発効率を向上させると […]

Schooの非同期パイプライン処理について

はじめに 本投稿は、Schooの2016年末特別企画「Schoo advent calendar 2016」の5日目の記事になります。 エンジニア -> 法人営業 -> 新規事業立ち上げ <- いまここ ということでエンジニアを離れてすでに半年以上が経過しておりますが、1年以上前のことを思い出せる範囲で書きたいと思います。 内容は今更感が否めないですが、2日目のSchooの録画配信の裏側でも登場してきた非同期パイプライ […]

CloudWatchEvents + Lambdaを使ったfluentdインスタンスのローリングアップデート

この記事は、Recruit Engineers Advent Calendar 2016の16日目の記事です。 はじめに リクルートライフスタイル Advent Calendar 2016の2日目の記事ではELB経由のfluentd Aggregatorを安定化するためにやった3つの対策について書きました。 前記事で書いたようにAggregatorクラスタの数が増えて手動で行っていたデプロイが大変になってきました。また開発メンバーが増え […]

AuroraへのInsert TriggerでLambdaを呼びだしてServerlessで処理する

はじめに Serverless Advent Calendar 2016の22日目です。 サーバレスネタとしては、以前 在席管理をSlackとAWSのサーバレスアーキテクチャで解決してみた(iruca API編) てな記事も書いてるので、そちらも良かったらチェックしてください。 本記事では、サーバレスで、何とか先輩の手を煩わせないためにどうしたものかと考えてた内容を書きます。 来年も自分のためだけじゃなくて、人のためにもサーバレスアーキ […]

Amazon SQS Dead Letter Queueの挙動を確認したメモ

http://aws.typepad.com/aws_japan/2014/01/amazon-sqs-new-dead-letter-queue.html 最大受信数を設定し、それを超える場合は専用のキューに移動する機能。 メッセージやジョブに問題がありエラーで完了できない場合や、時間がかかり過ぎて可視性タイムアウトする場合に、同じジョブが際限なく繰り返されてしまう問題を回避、および問題を調査できる。 結論 最大受信数(maxRece […]