Amazon Kinesis StreamsのリシャーディングがAPI一発で行えるようになりました | DevelopersIO
Amazon Kinesis Streamer の皆様こんにちは。 リシャーディングのあまりの面倒くささから、ピークに合わせてシャード数を固定してストリーム運用したり、シャード数変更の際は同じ名前でシャード数だけ変えて作り直してきたという方が多いのではないでしょうか。 2016/11/16のサービスアップデートにより、ストリームのリシャーディングが API 一発で実行出来るようになりました。 トラフィックに合わせてシャード数をダイナミックにオートスケールさせるなど、夢広がる API です。 早速試してみました。 旧方式のリシャーディング:SplitShard API 編 Amazon Kinesis Streams のストリームはシャードを束ねたものであり、シャード1本辺りの性能上限が決まっているため、ストリームのキャパシティを増やしたければ、シャード数を増やすことになります。 AWS B
10分間で数億件を超えるIoT関連のデータをストリーム処理するためのPoC（概念実証）をする機会がありました。そこで経験をしてハマったことなど一部事例として紹介します。 検証の概要 まずは、何のために検証しようとしたかというと... IoT機器からKinesis Streamを通して大量のメッセージを受け取り、分散処理で関連付け処理を検証します。 実証検証の目的としては アーキテクチャ構成の妥当性を検証し コスト軽減のポイントを把握 運用に向けた課題を洗い出す としました。 データと要件の特性 今回の検証用データは自前で生成し投入する必要があり、結構なデータ量となります。 トラフィック量 およそ数十万件/秒（数億件/10分） 時間帯によってバースト（スパイク）が存在する メッセージの関連付け処理を行うが、いつ終点メッセージが届くかわからない。 数分後には処理結果を利用したいのでバッチでは実
チュートリアル: AWS CLI を使用した基本的な Kinesis Data Streams の操作を実行する - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: AWS CLI を使用した基本的な Kinesis Data Streams の操作を実行する このセクションでは、AWS CLI を使用した、コマンドラインからの Kinesis data stream の基本的な使用方法について説明します。Amazon Kinesis Data Streams の用語と概念で説明されている概念を理解している必要があります。 Kinesis Data Streams は AWS の無料利用枠の対象外であるため、ストリームの作成後は、Kinesis Data Streams の使用に対してアカウントに少額の料金が発生します。このチュートリアルを終了したら、AWS リソースを削除して料金が発生しないようにしてください
prometheusをkinesis firehose経由でs3にバックアップ¶ AlpacaJapan のshirouです。 prometheus は長期保存用ではないため、適当な間隔で消されていきます。本来であればinfluxdbなりに保存するのでしょうが、やはり安全安心のS3に保存しておきたいところです。 手法としてS3バケットに直接書き込むなどの方法が考えられますが、S3は更新には弱いのでがんがん書き込む用途には向いていません。 そこで、2017年7月に東京リージョンに来たkinesis firehoseを使います。kinesisはstream用途ですので、がんがん書き込んでも問題ありませんし、そのデータはfirehoseで自動的にS3に保存されていきます。 ということで、prometheusのremote write機能を利用し、kinesisに送りつけるremote integ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
