実務で使う固有表現抽出 / Practical Use of Named Entity Recognition■イベント ：自然言語処理勉強会 https://sansan.connpass.com/event/190157/ ■登壇概要 タイトル：実務で使う固有表現抽出 発表者： DSOC R&D研究員 高橋 寛治 ▼Twitter https://twitter.com/SansanRandD
Content-Length: 358352 | pFad | http://b.hatena.ne.jp/muddydixon/operation/
MySQL 8.0.17のCLONE INSTANCE FROMを使うとすごく楽にレプリケーションスレーブが作れる
TL;DR 日々の覚書: MySQL 8.0.17でついにCloneプラグインが入った で紹介した CLONE LOCAL DATA は現在のdatadirをローカルのファイルシステムに一貫性のある形でコピーするステートメントだった これをスレーブになるサーバーに転送してやってももちろん良いんだけど、そこまで一括でやってくれる CLONE INSTANCE FROM のステートメントも存在する スレーブ増やすのが捗る CLONE INSTANCE FROM を使うためには、データのコピー元（ ドキュメント 上では ドナー(Donor) ）とコピー先（同 レシピエント(Recipient) ）それぞれのMySQLでCloneプラグインが有効化されていないといけない。 donor> INSTALL PLUGIN clone SONAME 'mysql_clone.so'; recipient>
システム運用の現場でしか学べないことは他メンバーに積極的に経験してもらうべきだった - seri::diary
基本的に自分はタスクを拾いすぎてしまう傾向にある。それに加えて比較的朝型なこともあり、前職ではエンジニアの中で一番朝早く出社していることも多かった。*1 その結果どうなるかというと、朝出社して見つけた運用上のトラブルは大体自分がとりあえず手を付ける状態になっていた。前日の夜間バッチやその日の早朝に動くバッチがコケて問い合わせが来ているのでそのリカバリをする、前日にデプロイした後レスポンスが高くなってアラートが出ているのでその調査をする、web appがやたらと500系エラーを吐いているのでBugsnagを見る、等々。 出社している以上無視するわけにもいかないというのもあるが、見つけてしまうと放っておけない性格ということもあり最優先でこれらの対応をしてしまっていた。お陰で前職で触っていたproductについてはかなり広範囲の知見があり、その行動がそれなりに社内での評価につながっていたのではな
機械学習案件は本運用乗せきってからが本当の勝負、みたいなところあるので気をつけて - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 『機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて』を読みました。 つまづきから得られた知見の共有は貴重だと思います 実際、機械学習とか最適化とか自律的なシステムの開発は、罠が多いです。 研究や試作では成功していても、様々な事情により実用化できず消えていくものを沢山見てきました。 そのため、本運用に乗せてユーザの受け入れも上々というところまで辿りつければ、それはそれは本当に喜ばしいことなのですが、そこから始まる試練も色々とあったりします ということで、運用後に体験したり見聞きしたことをいくつか、私も共有してみたいと思い
最新版Hadoopクラスタを運用して得られたもの
8. ● Hadoop ○ HADOOP-12366 : expose calculated paths ○ HADOOP-11628 : SPNEGO auth does not work with CNAMEs in JDK8 ● HBase ○ HBASE-18000 : Make sure we always return the scanner id with ScanResponse ← NEW !!! ● Flume ○ FLUME-3026 : Add Kafka 0.10 support for Flume ○ FLUME-3065 : Enable multiple monitoring types ○ FLUME-3100 : Support arbitrary header substitution for topic of Kafka ● Spark ○ SPAR
情報処理学会でウェブオペレーション技術について招待講演した話 - ゆううきブログ
情報処理学会インターネットと運用技術研究会が主催されているIOTS2016という研究会で、「サーバモニタリング向け時系列データベースの探究」というタイトルで招待講演をしてきました。 講演のきっかけ インターネットと運用技術研究会(以下IOT研究会)というのは僕にとっては id:matsumoto_r さんが所属されている研究会です。 matsumotoryさんが、ちょうど2年前のアドベントカレンダーで書いた僕の記事に日本語だとIPSJのIOTは分野的にもインターネットの運用技術が含まれるので興味深い論文が沢山あると思う とコメントしていただいたのが最初に研究会の存在を知るきっかけだったと思います。 そのときはそんなものもあるのかと思ってちょっとプログラムを眺めた程度でした。 しかし、まさかその2年後にこうして招待していただくことになるとはもちろん思っていませんでした。 id:MIZZYさん
ISUCON予選突破を支えたオペレーション技術 - ゆううきブログ
ISUCONに参加する会社の同僚を応援するために、ISUCONの予選突破する上で必要なオペレーション技術を紹介します。 自分がISUCONに初出場したときに知りたかったことを意識して書いてみました。 一応、過去2回予選突破した経験があるので、それなりには参考になると思います。 といっても、中身は至って標準的な内容です。 特に、チームにオペレーションエンジニアがいない場合、役に立つと思います。 今年のISUCON6は開催間近で、まだ予選登録受付中です。 ※ 文中の設定ファイルなどはバージョンやその他の環境が異なると動かなかったりするので必ず検証してから使用してください。 ISUCONでやること (Goal) ISUCONでやることは、与えられたウェブアプリケーションをとにかく高速化することだけです。 高速化と一口に言っても、複数のゴールがあります。ウェブアプリケーションの場合は以下のようなも
2016年ウェブオペレーションエンジニアの新卒研修 - Hatena Developer Blog
ウェブオペレーションエンジニアの id:y_uuki です。2016年度のウェブオペレーションエンジニアの新卒研修を紹介します。 今年はウェブオペレーションエンジニアとして2名(id:masayoshi id:taketo957)が新卒として入社しました。若手のインフラ系エンジニアが少ないと言われる昨今で、もともと7人のインフラチームに2人も新卒が加わることはなかなか珍しいのではないでしょうか。 今年の新卒エンジニアは 2016年度はてな新人エンジニア研修を行いました - Hatena Developer Blog のエントリで紹介した新人エンジニア研修の後に、チームに配属されました。通例であれば、チーム配属後はOJTという名目で即実戦投入されます。しかし、今回は、OJTの前段に2週間程度の研修期間を設けてみました。 研修の動機 ウェブオペレーションエンジニアは、一般的なコンピュータサイエ
ITは必要悪か？その2 - 急がば回れ、選ぶなら近道
大規模会社、特に社会インフラ系の会社で売上も兆に届くところでのITのあり方は、中小規模の会社とは全く違います。システム構築、とくにSI的な観点からは、実際のプロジェクト単位で見たときに大規模システムと中小規模システムを便宜的に一緒にして考察することが多いのですが、俯瞰したときのあり方は、まったくの別ものです。 大規模な会社では情報システムは、大きな組織のバックエンドの一部であると同時に、企業を動かす歯車として欠くことできない存在になっています。「ITがない」という選択肢は企業活動としてありえません。システムのあり方が大企業と中小企業では異なるため、中小企業でITの必要性という点と、大企業でのITの必要性では意味が大きく違います。明確に区別する必要があります。 ■あり方 大規模企業の内部において、情報システムはその企業が存続するための重要な機能を担っており、それなしでは企業は成立しません。大
Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ
主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /
諸君、私は運用が大好きだ！私がZabbixを導入した根本的な理由 | Pocketstudio.jp log3
諸君、私は運用が大好きだ！ 監視が好きだ 監視設計が好きだ アラートが好きだ パトランプが好きだ データセンタの入館申請が好きだ Muninも好きだ Zabbixも大好きだ トラブルシュートが好きだ 報告書作成が好きだ データセンタで オフィスで 公園で 映画館のロビーで この地上で行われる ありとあらゆる運用が大好きだ ――とある運用担当者の手記より。作者は不明である。 本稿は、Zabbix アドベントカレンダー 2015 の、12月9日分の投稿です。想定している読者は、Zabbix や運用・監視といったキーワードに興味をお持ちの方です。 ■ 概要（はじめに、運用があった） 先日、Zabbix Conference Japan 2015 で登壇の機会をいただきました。その発表内容の前半、「そもそも、わたしは何故 Zabbix を導入したのか」を、改めて文章として紹介したいと思っています。
運用に自動化を求めるのは間違っているだろうか
3. アジェンダ 1. HashiCorpとは？ HashiCorpの歴史 The Tao of HashiCorp – HashiCorp 道 2. HashiCorpの提供するツール群 Vagrant … 開発環境自動構築 Packer … マシンイメージ自動作成 Terraform … インフラ環境の自動構築 Serf … オーケストレーション Consul … サービス検出と運用自動化 Atlas … DevOps プラットフォーム Vault … シークレット管理 3. まとめ・質疑応答 開発と運用が一枚岩となって戦うDevOps スタイルが広まりつつある昨今。これは開 発者視点だけではありません。運用として も、避けて通れない課題。それを解決する ためにDevOpsツール群の使用と、自動化 が必要とされています。 しかし、「運用の
2015年GMOペパボ新卒エンジニア研修 Webオペレーション研修イントロダクション
2015年GMOペパボ新卒エンジニア研修、Webオペレーション研修イントロダクションの資料 * http://www.slideshare.net/hifumis/20150608-thetaoofpepaboengineer-49152106 * http://www.slideshare.net/hifumis/20150609-webdevelopmenttraining * http://www.slideshare.net/hifumis/20150706-weboperationtraining * http://blog.hifumi.info/2015/06/14/pepabo-engineer-training-2015/ * http://blog.hifumi.info/2015/07/20/pepabo-web-operation-training-2015/ Re
Jenkinsと完全にサヨナラして、CircleCIに移行した話 - tehepero note(・ω<)
2015-07-02 Jenkinsと完全にサヨナラして、CircleCIに移行した話 CI Jenkins CircleCI 長らくCIはJenkinsを利用して開発をしてきて、Hudson時代からご愛顧してきたのですが、この春から新しくスタートしたプロジェクトではJenkinsを利用しないという決断をしました。 Jenkinsとサヨナラした理由 複数プロジェクトで共有して利用するのがツライ うちの会社では共通で用意されたJenkinsがあって（それなりにスペック高くて、slaveもぶら下がってる）、色々なプロジェクトがそれを利用しています。 このケースの問題点は何よりもランタイムやSDKを共有してしまうことにあります。全てのビルドに副作用を与えることなく、ランタイムやSDKを追加・更新するのが簡単ではありません。それを滞りなくやるには事前にどのビルドが何を使っているかを把握したり、利用
開発するように運用するインフラ JAWS DAYS 2015
Helping Users Find Their Own Way: Creating Modern Search Experiences
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/muddydixon/operation/
Alternative Proxies:
運用自動化、不都合な真実 // Speaker Deck
Consulと自作OSSを活用した100台規模のWebサービス運用
マイクロサービス運用の所感 #m3dev
運用を楽にするためのアプリケーションコードを書くということ : sonots:blog
Osquery