Content-Length: 244276 | pFad | http://b.hatena.ne.jp/atsuizo/kinesis/
KafkaとAWS Kinesisの比較
This document compares Apache Kafka and AWS Kinesis for message streaming. It outlines that Kafka is an open source publish-subscribe messaging system designed as a distributed commit log, while Kinesis provides streaming data services. It also notes some key differences like Kafka typically handling over 8000 messages/second while Kinesis can handle under 100 messages/second.Read less
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
2. 自己紹介 • Kimura, Sotaro(@kimutansk) – ドワンゴでデータエンジニアやってます • データ分析基盤の管理 • データ分析に必要な各種ETLパイプライン構築 • 生データを集計したデータマートの設計構築 • データフォーマット、内容等の設計 etc... – 好きな技術分野 • ストリーム処理（主にJVM上） • 分散システム • 実装言語：Scala, Go – 好きなAWSサービス • Amazon Kinesis Streams • Amazon Kinesis Firehose • Amazon Kinesis Analytics 3. Kinesisとの出会い • Apache Kafkaを試している頃にKinesis Streams発表 – これはつまりManaged Kafkaだ！とわくわく • ということで・・・ – こんなことを試してまし
AWS最新提案！！Redshiftを使ったリアルタイム型ＤＷＨシステム！！ | クラウド工房 Powered by Amazon Web Services
みなさん。こんにちは。STSの山口です。弊社が「Redshiftはじめました。」と宣伝を始めて以降、最近、数々のRedshift関連のお問い合わせを頂いており、非常にうれしい限りでございます。 さてさて、このような状況におきまして、今回、皆様にご紹介したいのは、この「Redshift」を使った、新しいＤＷＨシステムのご提案、「リアルタイム型DWHシステム」でございます。実際にお客様へご説明させて頂いている資料を織り交ぜながら、皆様に「リアルタイム型DWHシステム」をご紹介したいと思います。また、最後にはこの「リアルタイム型DWHシステム」のデモ機に関してもご紹介します。 言わずと知れた、AWSの「DWHの価格破壊サービス」Redshiftのご紹介です。先述しましたとおり、我々が提案する「リアルタイム型DWHシステム」では非常に重要な構成要素の１つとなっております。実はこの「リアルタイム型D
DBに保存する前にAmazon KinesisやApatch Stream などのストリーミングサーバー?に保存する理由がわかりません。
大規模なデータ収集といった話になるときに、よくストリーミング処理が必要になり、 Amazon KinesisやApatch Streamなどの話題が出ます。 複数台のサーバー -> Amazon Kinesis -> Amazon Redshift といった具合に。 複数台のサーバー -> Amazon Redshift といったように、複数台のサーバーから直接DBに保存するのはトランザクションの問題？や処理が追いつかなかったりするため、ストリーミング処理をするのだと私の中では認識しております。 ただ、結局、間にストリーミングサーバーを入れたところで、左から右へデータを流しているだけで、結局、処理が追いつかなかったりするのではないかと思っております。 実際はそんなことはなく、ストリーミングサーバーはそこら辺を上手くやっているのかと思われますが、そのあたりの知見をつけたく、調べているのですが
KinesisかS3か
Kinesisを触ってはみたものの、特別「これは使いやすい！」という印象ではなかった。 Kinesisの用途は要するに AWSにガンガンデータを送る AWS側では、送られてきたデータを片っ端から処理する AWS側に着いたデータは処理しようがしまいが一定期間(現在は24時間)で消える というもの。 しかし、AWSへの送信は単純にHTTPSのPOSTリクエストであり、さらにBase64エンコードされているということで特に効率的な方法ではない。むしろ効率をまったく考慮しておらず、シンプルさ、扱いやすさに徹している。 HTTPSのPOSTリクエストであるにも関わらずサイズ上限(現在は50KB)がきついので、小さなデータを送る用途に限定される。 個人的に数十～百台程度のサーバからAWSへのログの集約(Log Aggregation)を計画しているのだが、Kinesisの用途にぴったりか？と考えた一方
AWS再入門 Amazon Kinesis編 | DevelopersIO
はじめに AWSチームのすずきです。 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の16日目のエントリです。 昨日15日目のエントリは、千葉による『Amazon DynamoDB』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日16日目のテーマは『Amazon Kinesis』です。 Amazon Kinesisとは 大量に連続して発生するストリーミングデータをAWS上に格納するための受け口となる、フルマネージドサービスです。 高い信頼性、耐久性と、コストパフォーマンスに優れたバッフ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/atsuizo/kinesis/
Alternative Proxies:
