Content-Length: 322374 | pFad | http://b.hatena.ne.jp/sfujiwara/kinesis/
Kinesis Data Streamsを追う kinesis-tailf - fujiwara-ware 2024 day 22
この記事は fujiwara-ware advent calendar 2024 の22日目です。 kinesis-tailf とは kinesis-tailf は、読んで字のごとく Amazon Kinesis Data Streams を tail -f するためのツールです。 指定した stream の末尾を追い続け、新しいレコードが追加されるたびにそれを表示します。 なぜ作ったのか Amazon Kinesis Data Streams は、リアルタイムデータストリームを処理するためのサービスです。筆者は主にログデータを処理するために使っています。 Kinesis に流れたログは最終的には Firehose を経由して Amazon S3 などに保存されます。しかし S3 に保存されるまでには数分の遅延(バッファリング期間)があります。開発中はこのバッファリングがもどかしく、流れて
DMS を利用した継続的なデータ変更検知 - クックパッド開発者ブログ
SRE の鈴木 (id:eagletmt) です。先日、この開発者ブログで赤松から One Experience プロジェクトについての紹介がありました。 自分もこの One Experiene プロジェクトに携わっており、このプロジェクトが始まったちょうど1年くらい前にはイギリスにあるオフィスに行き、グローバル版のシステムを開発・運用しているメンバーと直接顔を合わせたりもしていました。自分は One Experience プロジェクトにおいて主にデータ移行について担当していました。データ移行に必要な作業はいくつかありますが、この記事ではその中から日本版のシステムのデータベースで発生したデータの変更をどのようにしてグローバル版のシステムのデータベースに継続的に反映したかの部分について紹介します。 One Experience でのデータ移行 赤松の記事にも書かれていたように、日本版とグロー
Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki
Introducing Dynamic Partitioning in Amazon Kinesis Data Firehose
Today we announced Dynamic Partitioning in Amazon Kinesis Data Firehose. With Dynamic Partitioning, you can continuously partition streaming data in Kinesis Data Firehose using keys within data like “customer_id” or “transaction_id” and deliver data grouped by these keys into corresponding Amazon Simple Storage Service (Amazon S3) prefixes, making it easier for you to run high performance, cost-ef
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
リアルタイムログ出力をサポートしたCloudFrontを試してみた | DevelopersIO
AWSチームのすずきです。 Amazon CloudFront、リアルタイムなアクセスログ出力をサポートするアップデートがありました。 Amazon CloudFront announces real-time logs Kinesis Data Streams へのログ出力設定と、アクセスログが参照可能になるまでのタイムラグを確認する機会がありましたので、紹介させていただきます。 AWS設定 Kinesis バージニア(us-east-1)リージョンに、Kinesis Data Stream を設置しました。 今回、シャード数は「1」で設定しました。 ログが発生量が多くスロットルが発生する場合には、シャード数を適量まで追加してご利用ください。 CloudFront CloudFrontダッシュボードに「Logs」が追加されました。 「Real-time log configuration
Amazon Kinesis Data Firehose が HTTP エンドポイントへのデータ配信のサポートを開始
Amazon Kinesis Data Firehose が汎用 HTTP エンドポイントへのストリーミングデータ配信をサポートするようになりました。この機能では、完全マネージドサービスを利用して HTTP エンドポイントにデータをストリーミングできるため、カスタムアプリケーションの構築やデータ配信インフラストラクチャの操作と管理を心配する必要がなくなります。Amazon Kinesis Data Firehose には、エラー処理、自動スケーリング、変換、集計、圧縮が組み込まれており、組織全体でのデータストリームのデプロイを加速できます。 Amazon Kinesis Data Firehose は、ストリーミングデータをデータレイクやデータストア、分析ツールに確実にロードする最も簡単な方法を提供するサービスです。ストリーミングデータを取り込んで変換し、Amazon S3、Amazon
【アップデート】ストリームベースで起動するLambdaのエラーハンドリングがやりやすくなったよ！ | DevelopersIO
先日こんなアップデートがありました。 AWS Lambda Supports Failure-Handling Features for Kinesis and DynamoDB Event Sources KinesisやDynamoDBのストリーム型のイベントソースで起動するLambdaが失敗した際の挙動をカスタマイズできるようになったみたいです。 アナウンスはAWS re:Invent 2019より前でしたが、重要なアップデートなので試してみたいと思います。 なにが変わったのか？ LambdaのトリガーにKinesisを選択すると、選択項目が追加されていました。 「障害時の送信先」 レコードの有効期限切れもしくは再試行で失敗した際に、SNSかSQSにレコードを送信できるようになったようです。非同期LambdaのDLQと同じような機能ですね。 「再試行」 失敗した際のリトライ回数を設定
AWS Container Services が AWS For Fluent Bit をリリース
AWS Container Services が、Amazon CloudWatch と Amazon Kinesis Data Firehose プラグインがプリインストールされたコンテナイメージである AWS Fluent Bit をリリースします。これにより、お客様は CloudWatch、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service などの複数の送信先にコンテナログをルーティングできるようになります。 Fluent Bit はオープンソースでマルチプラットフォームのログプロセッサおよびフォワーダーで、さまざまなソースからデータやログを収集し、それらを統合して複数の宛先に送信することを可能にします。Docker および Kubernetes 環境と完全に互換性があります。新しくリリースされた AWS Fluent Bit
Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました 2019年5月、Amazon Kinesis Data Analytics が東京リージョンで利用できるようになりました。 これまで、東京リージョンにあるデータソース（Amazon Kinesis Data Streams または Amazon Kinesis Data Firehose）を Kinesis Data Analytics に接続するためには、リージョンを跨いで接続する必要がありました。Kinesis Data Analytics が東京リージョンで利用可能となったことにより、日本国内にあるデータソースと接続しやすくなり、ストリームデータ分析の環境をよりシンプルに構築できるようになりました。 Kinesis Data Analyt
Amazon Kinesis Data Firehose がカスタム Amazon S3 プレフィックスのサポートを発表
本日、Amazon Kinesis Data Firehose がカスタム Amazon S3 プレフィックスのサポートを発表しました。これによりデータ配信向けの S3 パスの設定がより柔軟になります。 この新しい機能により、お客様は ETL (抽出、変換、ロード) ワークフローを簡素化および高速化し、データパーティションを有効にしてクエリパフォーマンスを向上させることができます。 Apache Hive フォーマット、および Java の DateTimeFormatter クラスにサポートされたタイムスタンプフォーマットを使用して、Amazon S3 プレフィックスをカスタマイズできるようになりました。
Announcement: ELB stickiness updates to support Feb 2020 Chromium CORs changes
You have been redirected here because the page you are trying to access has been archived. AWS re:Post is a cloud knowledge service launched at re:Invent 2021. We've migrated selected questions and answers from Forums to AWS re:Post. The thread you are trying to access has outdated guidance, hence we have archived it. If you would like up-to-date guidance, then share your question via AWS re:Post.
スケーラブル tail -f | grep on AWS - KAYAC Engineers' Blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！ | DevelopersIO
こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります
ストリーム処理を支えるキューイングシステムの選び方
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
Amazon Kinesis Analytics – Process Streaming Data in Real Time with SQL | Amazon Web Services
AWS News Blog Amazon Kinesis Analytics – Process Streaming Data in Real Time with SQL September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. As you may know, Amazon Kinesis greatly simplifies the process of working with real-time streaming data in the AWS Cloud. Instead of setting up and running your own processing and short-term storage infrast
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/sfujiwara/kinesis/
Alternative Proxies:
AWS Lambda Supports Parallelization Factor for Kinesis and DynamoDB Event Sources
秒間数万のログをいい感じにするアーキテクチャ