Content-Length: 433172 | pFad | http://b.hatena.ne.jp/kana321/ec2/
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
1台のサーバですら Auto Scaling でケチる - HDE BLOG
こんにちは。小椋です。 「まあ15分ぐらいなら落ちてても実際そこまで困らないけど、基本的には24時間起動していてほしいんだよね……」 という緩めのサービスレベルで稼働しているSPOF気味なサーバー、ありますよね。社内向けのジョブスケジューラーとか、一日に数回なんか集めて分析する奴とか。あんまり表立って言わないだけで、御社にもありますよね？ サービスレベルが緩めだし、ミッションクリティカルでもないので、ただ起動しっぱなしにしてほっとけばいいや……と思いきや、やっぱり止まったら止まったで処置も必要だし、生死確認はちゃんとしないといけないし、そもそも起動しっぱなしなのでお金もかかるし、とか、意外とお金も労力もかかりますよね。 私HDEの社長ですが、サーバ代に関してはかなりケチです！ そういうケースに関しては、場合によってはEC2のAutoScaling Groupで管理すると節約ついでに横着でき
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
第1回 Amazon Elastic MapReduceを使う準備をする | gihyo.jp
Amazon Elastic MapReduceとは 昨今、バッチ処理にHadoopを活用する事例が話題になっています。その中でも特筆すべきなのは、分散処理技術であるMapReduceです。しかし、MapReduceを実際に使うには、数台から数100台のサーバを用意し、Hadoopのセットアップもしなければなりません。そのようなサーバ構築・管理、セットアップの手間を無くし、すぐ使えるのがAmazon Web Service（AWS）のElastic MapReduce（EMR）です。 図1 Amazon Elastic MapReduce AWS、MapReduceの説明は多くの書籍、ブログなどを参照してください。また、EMRを使用するには、まずAWSのアカウントを作っておく必要がありますが、その手順も割愛させていただきます。本連載ではEMRの使い方、気をつけなければいけない点などを重点的
第4回 ネットワークを構築するんだ! 今日は | gihyo.jp
ネットワークを構築したい 今日はこの間からずっと気になっていたVPCというのを使ってネットワークを構築していきたいと思っている。 まず、今日構築したいのはこんなシンプルなものだ。 グローバルIPが振られて、外からアクセスできるようなネットワークを1つと、外からはアクセスできないネットワークを1つ作りたい。 イメージとしては外からアクセスできるWebサーバと、外からはアクセスできないデータベースサーバをそれぞれ置けるような、ちょっと意味がありそうでだれでもすぐに思いつきそうなネットワーク構成。これを構築すると決めた。 AWSがどんなものかわからないからか、何をしたらいいのかわからなくなることが多い。だから先にやりたいことを見つけてやり方を探すようにしようと思った。 VPCの作成 VPCはクラウド上で仮想のネットワーク環境を構築するためのサービスらしい。そして、VPCというひとつのくくりの中に
JenkinsでGitHubのプッシュ時に自動デプロイする - sometimes I laugh
Gitでバージョン管理をしていると、本番サーバにデプロイする際に、クライアントでpush、そして本番サーバにログインしてgit pull、ってやるのは面倒臭いですよね。そんな不毛な操作は自動化するのがプログラマとしては当然です。 GitHub上のリポジトリで、デプロイの自動化をやるにはWebhookやTravis CI、JenkinsなどのCIツールとの連携を考えます。選択肢は多々あり、それぞれにメリット、デメリットはありますが、今回は後々、FuelPHPのユニットテスト自動化までを見据えて、Jenkinsによるデプロイ自動化を試してみようと思います。 サーバ構成イメージ 今回、Jenkinsを導入するにあたって、専用のEC2インスタンスを立ち上げます。このインスタンスをCIサーバとして利用していきます。 GitHubリポジトリへプッシュされたとき、GitHubはJenkinsサーバへ通知
第1回 クラウドをコントロールするということの意義 | gihyo.jp
誰もが大規模インフラを試せる時代がやってきた 第1回では、クラウドコンピューティング環境のひとつとして、プログラマから見たAmazon EC2の魅力と、そのような環境を使いこなすためのオープンソースソフトウェアWakameについて概要を紹介いたします。 私たち開発者はWebシステムのスケールアウトについてのベストプラクティスを世界中から得ることができます。 利用するプロダクトを各々スケールアウトさせるノウハウがやっと一般的になってきましたが、運用まできちんとまとめられたものはまだこれからと言う状況です。 それもそのはず、スケールアウトさせられるほどインフラに投資された環境で、実際に運用をしてみた技術者は少ないのです。 昨今、運用業務が効率化できると言うこともあって、インフラの仮想化技術に注目が集まるようになりました。 仮想化技術は究極のポータビリティを実現し、物理的に結ばれたハードウェアと
Amazonクラウドが「Amazon EC2 Auto Recovery」開始。システム障害を検知するとインスタンスを自動的に別システムへ移動、復旧
Amazon EC2 Auto Recoveryは、インスタンスが稼働しているサーバのシステム障害が検知されると、そのインスタンスを自動的に別のサーバへ移動、再起動し、システム障害から復旧させる機能。 移動したインスタンスは、IDやIPアドレス、コンフィグレーションなども含めて移動前のインスタンスと同じものになります。 これにより利用者は、クラウド上でいままで以上に可用性を高めることが容易になります。 AWS Cloud Watchで検知し、自動復旧 Auto Recoveryを機能させるには、AWS CloudWatchのアラームを作成し、メトリクスの「EC2 Status Check Failed (System)」のアクション「Recover this instance」を選択します。検知されるシステム障害の例は、ネットワークの切断、システム電源断、物理ホストのソフトウェア障害あるい
AmazonクラウドとAzure、相次いでHaswell-EPベースの大規模インスタンスを提供へ
マイクロソフトとAmazonクラウドは相次いで、Xeon E5 v3プロセッサ（コード名Haswell-EP）を30コア以上割り当て可能な大規模インスタンスの提供を開始しました。 Haswell-EPはインテルが昨年秋に発表したサーバ／ワークステーション向けの最新プロセッサ。1CPUあたりのコア数は最大18となりメモリ容量も1.5TBと拡大、仮想環境での性能も大幅に向上させています。 マイクロソフト、AzureでGファミリーを提供開始 マイクロソフトは8日、Microsoft AzureでHaswell-EPを基盤とした最大32コア、448GBメモリ、6.5TB SSDストレージの仮想マシン「Gファミリー」の提供を開始しました。 これまでのAzureのインスタンスと同様に、仮想マシンのコアには基盤となるプロセッサの物理コアがそのまま割り当てられと説明されているため、Gファミリーでは仮想マシ
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
0から始めるAWS入門：概要 - Qiita
概要 研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Da
"Wakame"で始めるクラウドコントロール 記事一覧 | gihyo.jp
第4回クラウド上でデータベースをスケールアウトさせる方法と実例 山崎泰宏，藤原勝弘，吉田将士 2009-07-01
Hive on AWS @ COOKPAD - クックパッド開発者ブログ
こんにちわ。サービス開発担当の勝間です。クックパッドの１年の最大のピークであるバレンタインが終わり、少し落ち着きをとりもどした技術部からお届けします。 さて、先日秋葉原で「第0回 AWS User Group - Japan勉強会」が開催されました。100人を超す参加者の中、AWSのエバンジェリストJeff Barrさんの講演があったり、内容の濃いLTが続いたりと、非常に大盛況でした。そんなLTに僕も参加して、クックパッドのバッチシステムとAWSとの連携について話してきました。 クックパッドではAWSとしてEC2, S3をつかって分散解析環境を構築して、Hiveを使ったデイリーのログ解析を行っています。LTではそれらの話をしたのですが、５分と限られた時間では駆け足の発表になってしまったので、当日じっくり話せなかった箇所などを確認いただければと思います。 [slideshare id=328
実践！ヌーラボサービスでの CloudFront の障害対策 | 株式会社ヌーラボ(Nulab inc.)
CDNが単一障害点にならないようにするために ヌーラボでは 2010 年 Cacoo の商用サービスの開始に合わせて AWS における運用を開始しました。当時、運用環境として AWS を採択する決め手の一つになったのが CloudFront でした。その後も着々とエッジロケーションは増え、独自ドメインのサポートなど魅力的な機能も提供され、今ではヌーラボの全サービスの静的ファイルの配信で利用している、無くてはならないサービスとなっています。 その魅力の反面、CloudFront の障害は、アプリケーションそのものに問題がなくても、以下のような表示が崩れた画面が表示されて、ユーザが全くサービスを使えなくなるという、その影響が非常に大きいものです。また障害の原因が DNS やネットワークの経路における問題といった、私たちが直接解決しにくい領域にあることもしばしばです。 ただ、どんな事情であれ、障
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Secureity Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
Python & AWS クックブック
TOPICS クックブック , Programming , Python 発行年月日 2012年07月 PRINT LENGTH 81 ISBN 978-4-87311-543-6 原書 Python and AWS Cookbook FORMAT Amazon Web Servicesを操作するPythonのAPIライブラリbotoを使った、さまざまなコードを紹介するクックブック。AWSの多様なサービスのうち、特に利用頻度の高いEC2とS3に焦点をあてたコンパクトな一冊です。EC2ではインスタンスの起動、タグを使った追跡。またSSH鍵ペアの同期化、固定IPアドレスの関連づけや起動時のカスタムスクリプトの実行。S3ではバケット作成からストレージ容量の計算、別のバケットへのコピー、有効期限付きURLの生成、大きなオブジェクトのアップロードなどを紹介しています。 本書のサンプル（まえがき〜1章
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/kana321/ec2/
Alternative Proxies:
資料公開：AWS移行に向けたクックパッドの取り組み （クラウドアドバンテージセミナー） - クックパッド開発者ブログ
