20140419【qpstudy】OSとNW設計の勘所
- 2. 自己紹介 • おおむら ゆきたか • @yktko • SIerなのに IaaSの中の人 • qpstudyスタッフ • CloudStackユーザ会 • にーちゃん→おっさん
- 4. 勘所 ノウハウ＝失敗経験
- 10. OSとネットワーク設計の 勘所おっさんの小言 1. レイヤ感覚 2. 時間感覚 3. トラブル感覚
- 12. レイヤ感覚とは？ • OSやNWでだいたいどこが何をやっているのかわかること • 何かするとき具体的にどこで処理が行われているかわかること カーネル ネットワーク※図はインターネットから頂きました ディスクIO
- 13. ネットワークの経路 NIC スイッチ ルータ FW LAN/WAN OS アプリ
- 14. ネットワークのレイヤ感 レイヤ 問題になりそうなところ OSIレイヤ アプリ コネクション管理、タイマ 5∼7 NWスタック パケット分割・送信処理 4∼2 NICドライバ カーネル/NICとの相性 1∼2 NIC リンク方式、ファーム 1∼2 ケーブル等 物理的破損 0 スイッチ リンク速度、MAC重複 1∼2 ルータ ルーティング 3 FW アクセス制御 3∼4 WAN 網障害 0∼4 その先 それ俺ですか 10
- 16. ディスクアクセスのレイヤ感 レイヤ 問題になりそうなところ アプリ アプリ実装（CPU使用率のusrが高い） ファイルシステム FSの特性（RW速度はext4<<xfs） キャッシュ OSキャッシュの乗り方 IOスケジューラ カーネルスケジューラの特性 ドライバ バグ、相性 CNA/NIC/HBA ファームバグ/リンク速度 通信経路 物理破損、スイッチなど コントローラ コントローラCPU使用率 キャッシュ ストレージアーキテクチャ ディスク そのものの性能、RAID構成
- 17. カーネルのレイヤ感 • Kernel Panicになってもサジを 投げない • 関数名を見ればだいたい問題箇 所がわかる • ドライババグやメモリ不足に起 因する事象が多い http://manual.atmark-techno.com/armadillo-guide/armadillo-guide-1_ja-2.0.0/ch02.html
- 18. レイヤ感覚 • ネットワークのレイヤ感 • カーネルのネットワークスタック • OSIモデル • ディスクアクセスのレイヤ感 • カーネルのデバイスアクセス構成 • SAN • ストレージアーキテクチャ • カーネルのレイヤ感 • カーネルの大まかな構造
- 19. 参考資料 • 「Linuxカーネル解読室」 • Linuxカーネル2.6系の概要 を知るのにオススメ • 最近のオススメがあれば教え てください http://sourceforge.jp/projects/linux-kernel-docs/wiki/%E7%9B%AE%E6%AC%A1
- 23. cronの罠 • 先輩： ちょっとバックアップとっといて • あなた：はい ! • 先輩： はいじゃないが • #vi /etc/crontab • 1 * * * * * root tar cvzf /tmp/uploads-`date +%Y%m%d`.tgz -C /var/www/html uploads
- 24. 数ヵ月後 • ログインしたら毎回メッセージ出ませんか • you have new mail in /var/spool/mail/root • サーバがへんな動きしてませんか • File System Full • ls ‒l /var/spool/mail/root • ああああ • ls -l /tmp • うぇぇぇ • df, du -k /tmp • くぁｓdｓかだしｆじゃｌｓｄかｊｓｊｄｌふじこp
- 26. ログのローテーション • ログ抜け、ログ溢れ、監視できてない • ローテーション方式 ! ! • ログ切り替えタイミング 方式 内容 注意 コピー退避 別ファイルにコピー コピー中の抜け オリジナル移動 元ファイルを移動 書出先FDをリセット 方式 内容 注意 サイズ固定切り替え 一定サイズで切替 時間で切れない サイズ固定上書き 一定サイズで戻る 消える 時間で切替 一定時刻で切替 ディスク れ 件数固定 一定件数で切替 消える
- 28. えいえんはあるよないよ • カウンタ溢れ系のバグが見つかってOSはどっかで再起動する日が来る →メンテの計画を • 208.5 →TSCカウンタ。OSが落ちる / リブート後起動しなくなる。 • 248 →1/10秒精度カウンタ。Oracle Clientハングとか。 • 497 →1/100秒精度カウンタ。カーネル2.4の時に問題があった。 • 2004/01/11 →2038年の半分。ATMの誤動作が発生した。 • 2012/07/01 →うるう秒。MySQLなどでCPUが高負荷に。 • 2038/01/19 →UNIX TIME time_t(int)型の秒カウンタ。 http://irs.ietf.to/past/docs_20080808/2008-09-11-IRS17-XXX-days-Problems-nishino.pdf http://itpro.nikkeibp.co.jp/free/NC/NEWS/20040202/139212/
- 29. 時間感覚 • cronの罠 • ログのローテーション • えいえんはあるよないよ
- 32. サーバを「触診」する 1. コンソールにログインしたらログイン画面が出る（何を言ってry 2. 何もしていないのに帯域いっぱいの通信が出ていく 3. ssh接続しようとしても繋がらずタイムアウトする 4. ssh接続しようとしてもパスワードのプロンプトが出るのが遅い 5. sshでログインするとプロンプトが出るのに数分かかる 6. lsしても返ってくるのが遅い 7. -bash: ls: command not found 8. : bad interpreter: そのようなファイルやディレクトリはありません
- 33. こんな風に考える 1. /bin/bashが無いかクラックされてる 2. クラックされてDoSの攻撃元になってる 3. sshdが落ちたかFWで蹴られている 4. IPアドレスの逆引き設定がおかしい 5. メモリ不足でスラッシングが発生している 6. そのディレクトリに大量のファイルがある 7. $PATHがおかしいか/bin/bashが無いか 8. シェルスクリプトの改行コードがCRLF • od ‒t xCzで確認を
- 34. システムバックアップありますか • データはいいけどOS領域壊れたらどうすんの？ • いみゅーたぶ（略 • システムバックアップの取り方、リストアのやり方も考える • リリース前に必ずリストアできることを確認 • 怖い。でもやるべし。 • RAID1の片方を外してテストするとか • リストア後のシステムで運用するルールとか • acronisとかイメージ系バックアップいいけど • 取った後の構成管理・変更管理をきっちりやる • お前それ１年後も使えるの？
- 35. 屍は生ける師なり • 四の五の言わずログを取れ • アクセスログ • エラーログ • パフォーマンスログ • 監査ログ • OSが死んだとき、事実を語るのはログしかない • クラッシュダンプも取れるようにしておくとよい • 最近はメモリサイズがでかいのが困りもの… 財前五郎@白い巨塔
- 36. 屍は生ける師なり • 障害対応の流れは決まっている • 事実を正確に把握する • 原因を推測する • 推測した原因が正しいことを検証する • 対処を実施する • 障害が回復したことを検証する
- 38. トラブル感覚 • サーバを「触診」する • システムバックアップありますか • 屍は生ける師なり
- 39. OSとネットワーク設計の 勘所おっさんの小言 1. レイヤ感覚 2. 時間感覚 3. トラブル感覚
- 40. 勘所 ノウハウ＝失敗経験
- 43. ありがとうございました