[B! s3] atsuizoのブックマーク

KinesisかS3か

Kinesisを触ってはみたものの、特別「これは使いやすい！」という印象ではなかった。 Kinesisの用途は要するに AWSにガンガンデータを送る AWS側では、送られてきたデータを片っ端から処理する AWS側に着いたデータは処理しようがしまいが一定期間(現在は24時間)で消えるというもの。しかし、AWSへの送信は単純にHTTPSのPOSTリクエストであり、さらにBase64エンコードされているということで特に効率的な方法ではない。むしろ効率をまったく考慮しておらず、シンプルさ、扱いやすさに徹している。 HTTPSのPOSTリクエストであるにも関わらずサイズ上限(現在は50KB)がきついので、小さなデータを送る用途に限定される。個人的に数十～百台程度のサーバからAWSへのログの集約(Log Aggregation)を計画しているのだが、Kinesisの用途にぴったりか？と考えた一方

atsuizo 2017/08/28

リンク

CloudWatch LogsのS3エクスポート | DevelopersIO

渡辺です。個人的に好きなAWSのサービスのひとつがCloudWatch Logsです。各サーバに保存されるログを保存するだけでなく、簡易検索や保存期間の指定ができるため、ロギングに関する最低限の要件を満たすことができます。利用方法もEC2インスタンスであればエージェントをインストールするだけという手軽さもポイントですね。 Lambdaを組み合わせれば簡単なログ監視もできます。本日はCloudWatch Logsで保存されたログを他のソフトウェアなどで利用する時に便利なS3エクスポート機能を紹介します。 S3へのエクスポート機能 S3へのエクスポート機能は文字通り、ログをS3に転送して保存します。この時、エクスポートするログの時刻（範囲）を指定します。簡易検索でログを絞り込んでのエクスポートはサポートされていないのでご注意ください。 S3バケットの準備はじめにエクスポートする対

atsuizo 2017/05/01

CloudWatchLogs大好きでお世話になりまくりだけど、、CloudWatchLogs自体がS3領域に保存してるはずなのに、S3にエクスポートしてからじゃないとAthenaやRedshift Spectrumに連携できないのが残念。

リンク

Amazon S3 でのアクセスコントロール - Amazon Simple Storage Service

AWS では、リソースはユーザーが操作できるエンティティです。Amazon Simple Storage Service (S3) では、バケットとオブジェクトが元の Amazon S3 リソースです。すべての S3 のお客様のバケットには、オブジェクトが含まれている可能性があります。新機能が S3 に追加され、リソースもさらに追加されましたが、すべてのお客様がこれらの機能固有のリソースを使用しているわけではありません。Amazon S3 リソースの詳細については、「S3 リソース」を参照してください。デフォルトでは、すべての Amazon S3 リソースはプライベートです。さらにデフォルトでは、リソースを作成した AWS アカウントのルートユーザー (リソース所有者) と、必要なアクセス許可を持つそのアカウント内の IAM ユーザーは、作成したリソースにアクセスできます。リソース所有者

atsuizo 2017/02/24

aws
s3

リンク

RDS(mysql) general_log をLambdaを用いてS3に保存する方法 - Qiita

general_log を定期的にS3へ保管できると便利 RDSでは、パラメータグループに次の設定を追加するだけで general_log がFILEに保管され、 RDS API経由で取得できるので、たいへん便利です。 general_log = 1 log_output = FILE ただし、1時間単位で general_log はローテーションされ、1日以上経ったログは消されてしまいます。このため、ログを長期保管するためには手動またはスクリプト等にて定期的にログを保管する必要がありました。 Lambda を用いて、S3 上ログを簡単に保管 EC2インスタンス等を新たに構築せずログを定期的に保管する方法としては、Lambda Function を用いた実装が、コスト・運用の観点でお勧めです。既に、すぐに使える Lambda Function が github 上にありましたので、次にま

atsuizo 2016/11/28

リンク

乙武不倫の謝罪ホームページに見るサーバー構築：

今回、不倫で有名になった乙武さんの謝罪文はAWSのS3で構築してる。技術的にもプロの犯行だ。S3とは、ざっくり言うとAmazonさんが運営してるほぼ絶対落ちない静的サーバのことです。http://ototake.com をDNSで全部S3に降ってる。要するに謝罪文しか表示しないけど絶対落ちないサーバをAmazonさんから短期的に借りる。今後、芸能人の謝罪文はAWSのS3というソリューションが増える。 GMOさんは芸能人に強いのに営業しないのかな。CAと組んで謝罪文サーバとか売ればいいのに。これは、芸能人のサイトを運用している人には重要な事例だ。教科書にのるかもしれない。むしろ、今後の謝罪ページのセオリーになるかもしれない。昔に比べて、DNSの浸透は爆速になったので、こういうのが可能なんだろな。今まで、ototake.comを無視して、短期的にS3にDNSを降ることで、以下のメリットが有る