Content-Length: 393539 | pFad | http://b.hatena.ne.jp/takaesu/aws/
新しい Amazon Redshift コンソールでクエリをモニタリングおよび最適化する | Amazon Web Services
Amazon Web Services ブログ 新しい Amazon Redshift コンソールでクエリをモニタリングおよび最適化する 数万人ものお客様が Amazon Redshift を使用してワークロードを強化し、ビジネスインテリジェンス、予測分析、リアルタイムストリーミング分析などの最新の分析ユースケースを実現しています。管理者やデータエンジニアにとって、データアナリストや BI プロフェッショナルなどのユーザーが最適なパフォーマンスを得ることは重要です。Amazon Redshift コンソールで、クエリのパフォーマンスに関する問題をモニタリングおよび診断できます。 Amazon Redshift マネジメントコンソールには、Amazon Redshift クラスターを作成、管理、モニタリングするためのダッシュボードや更新したフローをモニタリングする機能があります。詳細について
「ALB 502 エラーの原因切り分け Yes/No 診断」を作ってみた | DevelopersIO
こんにちは、テクニカルサポートの Shimizu です。 弊社ヘルプデスクへ「Application Load Balancer（ALB）の 502 エラーの原因調査が難しい」というお問い合わせをよくいただきます。 実際サポート側においても「原因箇所が ALB 側か、またはバックエンド EC2 サーバー側か」の切り分けは確認するべき点が多く、毎回時間がかかります。 そこで「もっと簡単に原因を切り分ける方法がないか」と考えた結果、Yes/No 形式のトラブルシューティングを作ろうと思いつきました。 それでは始めてみましょう！ 質問 [質問1] 該当時刻の ALB のメトリクスを確認しましょう。「HTTP 5XXs」は出ていますか？ YES（出ている） バックエンドサーバーの内部から 500 系のエラーレスポンスが返されており、バックエンド側の問題を明確に示しています。 → [結果A] へ N
[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO
はじめに こんにちはAWS事業本部コンサルティング部のみなみです。 明日からre:Inventが始まりますね！ 今年もラスベガスから最新のアップデートをお届けします! アップデートですが、Cloudwatch Logsに低頻度アクセス用のログクラスInfrequent Accessが追加されました! https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-cloudwatch-logs-infrequent-access-log-class/ 忙しい人のためのまとめ 新しいログクラスInfrequent Accessの利用により、これまで高いと感じられていたデータ転送料が半額に。 ただし、Infrequent Accessは機能の制限があり、サブスクリプションフィルターやメトリクスフィルターなどの多くの機能が使えません。 既
![[アップデート]Cloudwatch Logsに低頻度アクセス用のログクラスが追加されました。#AWSreInvent | DevelopersIO](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2Ff099104aaa09df58f234f4f90b04b2f5cefbb675%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttps%253A%252F%252Fdevio2023-media.developers.io%252Fwp-content%252Fuploads%252F2023%252F11%252Feyecatch_reinvent-2023-newservice-update.png&q=12&output=webp&max-age=110)
AWS SDK for RubyでS3のファイルを扱う時はdownload_file/upload_fileを使う - kenju's blog
tl;dr S3へのファイルのアップロードには、#putも#upload_fileもいずれも使えるが、特別な理由がない限り#upload_fileを使うべき 同様に、ダウンロードする際は#download_fileを使う s3 = Aws::S3::Resource.new(...) obj = s3.bucket('bucket-name').object('key') # upload obj.upload_file('/source/file/path', acl:'public-read') # download obj.download_file('key') 理由 AWS::S3::Object#upload_file, AWS::S3::Object#download_fileいずれも、容量が大きいオブジェクトの処理の時に自動でmultipartで処理をしてくれるから。 Up
「もうさばき切れない」アクセスが激増したECプラットフォームにおける負荷対策 - BASEプロダクトチームブログ
はじめに CTOの川口 (id:dmnlk) です。 5月にオンラインmeetupをさせて頂きその中で「具体的な負荷対策に関しては開発ブログで！」と言っていた件ですが気づいたらもう9月になりかけていました。 コロナ禍においてネットショップ作成サービス「BASE」の利用者様が急増しました。 www.nikkei.com 5 月には 100 万ショップを超えるショップオーナー様にご利用していただいております。 今まで EC 事業を行っていなかった飲食店様や様々な業種の方が利用をはじめていただき、ショップオーナー様も購入者様共に短期の見通しでは想定をしていないアクセスが発生しました。 その途中でシステムとして対応しきれない面もあり、アクセス負荷によるサービスの不安定を招き皆様にはご不便や販売時間を変更していただくお願いなどをしてしまい大変申し訳ありませんでした。 現在では安定しておりますが、その
[動画公開] RDSプロキシは未来を変えるか #devio2020 | DevelopersIO
CX事業本部＠大阪の岩田です。「Developers.IO 2020 CONNECT」 で 「RDSプロキシは未来を変えるか」 というタイトルで動画を公開しました。このブログではセッションの内容について簡単に紹介させて頂きます。 登壇動画 動画はこちらです。 約35分とそこそこのボリュームになっているので、35分も見てられない！という方向けに後ほど概要を説明していきます。 登壇資料 発表に使用した資料はこちらです。 以後内容について説明していきます。 大事なこと RDS Proxyというテーマを選定したのが3ヶ月ほど前。動画公開までにはGAされるかなー？と淡い期待を頂きながら様子を見守りましたが、GAされませんでした。よって本セッションでは実際にRDS Proxyを利用して得られた知見をお話するような、いわゆる「やってみた」系の内容はありません。RDS ProxyがGAされた際に、正しく利
![[動画公開] RDSプロキシは未来を変えるか #devio2020 | DevelopersIO](https://images.weserv.nl/?url=https%3A%2F%2Fcdn-ak-scissors.b.st-hatena.com%2Fimage%2Fsquare%2F7a4d00d485ecf366b8a9ba772843b25407a635c2%2Fheight%3D288%3Bversion%3D1%3Bwidth%3D512%2Fhttps%253A%252F%252Fdevio2023-media.developers.io%252Fwp-content%252Fuploads%252F2020%252F06%252Fdevio_2020_connect.png&q=12&output=webp&max-age=110)
EKS for Fargate vs EC2 Design comparison
CloudNative Meets WebAssembly: Exploring Wasm's Potential to Replace Containers
「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」を１年掛けて整理した
こんにちわ。rwle1212です。 本記事は JAWS Days 2020 で話す予定でしたが、昨今の事情によりオンライン開催となったため、登壇予定の内容を記事にしたものになります。 登壇していれば諸般の事情により左手首を骨折したネタが使えたのですが、ブログでは伝わらないので非常に残念な思いをしております。という話はどうでも良いので本題に入ります。 50分の登壇内容なので少々長くなりますが、お付き合いください。 JAWS Days 2019で登壇した内容の振り返り昨年の JAWS Days 2019 で「Infrastructure as Codeに疲れたので、僕たちが本来やりたかったことを整理する」という内容で登壇しました。 まずは上のリンクに添付されているスライドを5分位で読めると思うので一読頂いて、下の文に進んで頂ければと思います。 そもそもInfrastructure as Cod
Amazon GuardDutyを導入する前に知っておきたいこと | DevelopersIO
Amazon GuardDutyは、悪意のある操作や不正な動作を継続的にモニタリングする脅威検出サービスです。AWS CloudTrail、Amazon VPC フローログ、DNS ログをデータソースに利用します。GuardDutyに興味がある方に向けて、GuardDutyでできることや、料金、実運用について紹介します。GuardDutyはコストパフォーマンスの良く導入障壁もほとんどない大変素晴らしいサービスです。 GuardDutyを有効にすることで、不審なアクティビティに気づける GuardDutyを有効化しておくと、AWS上の不審なアクティビティに気づくことができます。既存の通信やパフォーマンスへの影響は一切ありません。検知できる内容はこちらをご覧ください。ざっくりと、EC2関連とIAM関連のFindingがあります。いくつか例を紹介します。Findingとは、GuardDut
10分くらいでわかる、KubernetesとEKSの何が便利なのか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 注意 この記事は、実運用したことのない、Kubernetes初心者が調べた結果に基づき作成しています。 間違い・誤解などありましたら、コメントや編集リクエストでご連絡ください。 TL;DR / 結論から先に言うと コンテナをクラウドでそのまま動かそうとすると困る n台動かしたいコンテナが、今クラウド全体で何台動いているのかとか デプロイするときに、コンテナを立ち上げたり落としたりする順番・タイミングとか コンテナに割り当てるロードバランサ、ストレージなどの作成とか 他にもいろいろ Kubernetesはクラウド全体のコンテナ周りを一元管
NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し
Amazon ECS タスク定義のコンテナ依存関係を可視化する - 酒日記 はてな支店
Amazon ECS のタスク定義には、タスク内のコンテナの起動と終了の順序を制御する依存関係が定義できます。 docs.aws.amazon.com アプリケーションのコンテナと、アプリケーションが依存しているミドルウェアのコンテナがあった場合、依存を定義すると タスク開始時にミドルウェアが起動してからアプリケーションが起動する タスク終了時にアプリケーションが停止してからミドルウェアが停止する というような制御が可能です。 graphviz による可視化 しかし依存関係が複雑になると、JSON で文字列で書いただけでは実際にどう依存しているのかがよく分からないし、間違ってループを作ってしまうと起動できないので事前に確認したい、ということで可視化してみました。 これはとあるアプリケーションタスクの依存関係を、task definition の JSON から graphviz 用の .d
Aurora - クラウド時代のDBアーキテクチャ - 発明のための再発明
はじめに Amazon Auroraは、AWSを触る人ならほとんどの人が利用を検討したことがあるでしょう。 Amazon社内ではOracleを止めたというtweetもありました SHUTDOWN ABORT the last Oracle database running Amazon Fulfillment! pic.twitter.com/DorqTua2Lt— John Darrow (@jdarrow) 2019年3月29日 そんなAuroraは、従来のRDBとは違いクラウド上で動くことを念頭に設計されています。 また、ログが中心的な役割を持つことから「The log is the database」と表現されることもあります。 そんなAuroraの仕組みについての論文を読んだので紹介します。 読んだ論文は以下の２つです。 Amazon Aurora: Design Conside
イメジン – デザイン特化型クラウドソーシング
ブラウザから自前のサーバーを通さずAmazon S3に直接画像ファイルをアップロードする実装をしてみました。 背景 サーバーサイドはRailsで作っていて、もともとはcarrierwaveというgemを使ってファイルアップロードを実装していました。 このgemはサーバーにアップロードされたファイルを簡単な設定でS3に保存できるスグレモノなのですが、パフォーマンスに難点がありました。 サーバーはherokuでの運用を考えているのですが、この設計だとブラウザからherokuにアップロードしたファイルをherokuからS3に送信することになるので、ネットワークのコストが高い上、herokuのサーバーは貧弱なのでサーバー内の処理時間も大きいです。 解決策を探したところ、herokuのドキュメントにDirect to S3 Image Uploads in Railsという記事を見つけました。この記
AWS CDK 開発者プレビュー | Amazon Web Services
Amazon Web Services ブログ AWS CDK 開発者プレビュー 皆さんに AWS Cloud Development Kit (CDK) の開発者プレビューをご案内できることを嬉しく思います。現在の対応言語は TypeScript、 JavaScript そして Java で、.NET と Python を近々ご案内予定です。AWS CDK はソフトウェア開発のフレームワークであり、クラウドのインフラストラクチャをコードで定義して CloudFormation でプロビジョニングできます。CDK は AWS のサービスと統合され、高レベルかつオブジェクト指向の抽象概念を使ってAWS リソースを定義できます。CDK によってモダンなプログラミング言語を使ってAWS インフラストラクチャを見通しよく効率よく定義できるため、アプリケーションからインフラストラクチャまで一貫した開
サーバーレス失敗談 - テーブル設計編 | HiCustomer Lab - HiCustomer Developer's Blog
こんにちは、エンジニアの肥前です。この記事は Serverless Advent Calendar 2018 の13日目です。 また、HiCustomer Tech Blog の最初の記事でもあります。今後もチームで継続して得られた知見を書き溜めていく場にしたいなと思います。 さて、いわゆる ”サーバーレスアーキテクチャ” を採用してスタートアップのプロダクト開発を開始しておおよそ一年が経過しました。もちろん恩恵に預かっている部分、省力化できた点は多々あるのですが、今改めて振り返るとアンチパターンを踏んでいたり、このまま放置すると負債化しそうな箇所が見えてきています。失敗した話というのはなかなか表に出しづらいものではあるのですが、少しでもこれから取り組む方の助けになればと思い記事に残してみようと思います。サーバーレス界隈の方々にはあるあるネタだと思うのでご笑納ください。 前提となる構成 事
AWS Dev Day Tokyo 2018 で「マイクロサービス時代の認証と認可」の話をしてきた #AWSDevDay | DevelopersIO
緊張すると声がヤムチャになる都元です。このセッションの自己紹介でアムロ・レイとか言って盛大にスベったので切り替えていきます！ さて、1週間の時間が経ってしまいましたが、去る 11/2 (金) に目黒セントラルスクエアにおいて「マイクロサービス時代の認証と認可」と題しましてお話をさせていただきました。 スライド 認証と認可の基礎知識 繰り返しになりますので、過去エントリーよくわかる認証と認可 ｜ DevelopersIO を参照してください。 また、Web API のアクセス制御としては、だいたい次の4つくらいが頭に浮かぶと思います。 Basic 認証 Digest 認証 リクエスト署名 OAuth 2.0 この辺りは Spring Day 2016 - Web API アクセス制御の最適解でお話したことがありますので、こちらも併せてご覧ください。 Coffee break: 都元、日頃のお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/takaesu/aws/
Alternative Proxies:
Use Next.js with SST | SST v2
20190427 Cloud on the BEACH 2019 #jawsug / Get Ready to Race in the AWS DeepRacer League
GitHub - rubyonjets/jets: Ruby on Jets
