(Photo credit: A Health Blog via Visual Hunt / CC BY-SA) 「人工知能」ブームが本格化してまだほんの数ヶ月だと思うんですが、気がついたらTV含む大手メディアが皆こぞって毎日のように「人工知能」を取り上げ、あまつさえ政府や与党の諮問会議でまで「人工知能」の語が飛び交う有様で、一体何をどうしたらこうなるのか僕には全く分かりません（汗）。 とは言え、実際にビジネスの現場でも「人工知能」への期待感が日に日に高まり続けているのは事実で、例えば友人知人の経営者との酒席でも「最近人工知能ってめっちゃくちゃ流行ってるじゃん、あれって実際どうなの？本当に役に立つの？今からでも人工知能事業に参入すべきなのかな？それとも俺たちあいつらに滅ぼされちゃうの？」みたいなことを聞かれることが多いんですよね。 ということで、そういう「人工知能」ブームに乗り遅れたけれど
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
(Photo via VisualHunt) 追記 2017年3月現在の最新書籍リストはこちらです。 最近になってまた色々とデータサイエンティストを目指す人向けのお薦め書籍リストとか資料リストとかが出てきてるんですが、個人的には何かと思うところがあるので僕も適当にまとめておきます。偏りありまくり、完全に主観で決めたリストなので文句が出まくるかと思いますが、もはや毎回のことなのでご容赦を。 なおこちらのリストはあくまでもビジネスの現場でデータ分析を生業にする（しようとしている）人たち向けのものであり、研究者含めたガチ勢の方々向けのものではありませんのでどうか悪しからずご了承下さい。 ちなみに毎回言ってますが、アフィリエイトは全くやっていないのでここに貼られたリンクを踏んで皆さんが購入されても僕の懐には一銭も入りません。拙著だけはそもそも例外ですが（笑）。*1 初級者向け5冊 一応初級者向けと
LINE DEVELOPER DAY_2015 Tokyo「ビッグデータを活用するための分析プラットフォーム」レポート #linedevday こんにちは、虎塚です。 昨日は、LINE株式会社さんが開催されたイベントLINE DEVELOPER DAY_2015 Tokyoへ参加してきました。 Taichi Hashimotoさんが講演された「B-5: ビッグデータを活用するための分析プラットフォーム 〜データ集計した先に求められる分析技術」を聴きましたので、レポートします。 前半は、さまざまOSSを活用して構築された、社内の利用者のニーズに応じたデータ分析基盤の紹介でした。後半は、KPIを人間が見るのでなく、変化を自動検知して通知するシステムを開発中というお話でした。 以下、レポートです。 データ分析について LINEにとってデータ分析とは何か Collecting: データを集約する
フランスの希代の美食家であるブリア・サヴァランは「ふだん何を食べているのか言ってごらんなさい、そしてあなたがどんな人だか言ってみせましょう」といったそうだ。これは、「ドン・キホーテ」の有名な一文「君の友人を教えなさい、そうすれば君がどういう人間か言ってみせよう」をもじったものであるが、示唆に富んだ文である。その人が何を食べるか（もっと正確に言えば、何を食べないか）によって、その人の育ちや信仰、文化的・民族的背景など様々なことを知ることが出来る。 同様に、口コミもそれを書いた人について多くを物語る。ここで試しに、以下に挙げた食べログの口コミを読んで頂きたい。 バラのクリームにたっぷりのフランボワーズをマカロンとともに。ルバーブのアクセント。コレめっちゃカワイイ（*^_^*） 一目ぼれです☆ バラにフランボワーズにマカロンにピンクときたら、女子にはたまらない～！ ちょっと高めの価格設定やけど、
総務省は、将来の経済成長を担う“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を本日開講します。 この講座は日本政府が初めて提供するMOOC（ムーク）講座です。 我が国の国際競争力を強化し、経済成長を加速化させるためには、ビジネスの現場においても、データに基づいて課題を解決する能力の高い人材、いわゆるデータサイエンスを身に着けた人材が不可欠となっています。 このような状況を踏まえ、総務省統計局及び統計研修所は、“データサイエンス”力の高い人材育成のための取組として、自らの学びをサポートするウェブ上で誰でも参加可能なオープンな講義「社会人のためのデータサイエンス入門」を本日開講します。 この講座は日本政府が初めて提供するMOOC講座です。 今回開講する講座は、統計学の基礎やデータの見
広告宣伝費を各宣伝媒体へのコスト配分を調整することで効率化したいという事業部の課題に対してデータ分析のプロジェクトはどう進められるものなのか。筆者の経験を基に紹介する。 連載目次 これまで、連載第1回「4W1Hで分かる、ビジネスに本当に役立つデータ分析とは、どんなものか」、第2回「事例で分かるデータ分析プロジェクトの進め方の基本」を通じて、「データ分析そのもの」の中身、「データ分析プロジェクト」の中身を紹介してきました。今回は、データ分析プロジェクトのケーススタディを紹介します。 紹介に当たり、筆者の立ち位置をあらためて説明しておきます。筆者はリクルートテクノロジーズに所属しており、リクルートグループの事業会社に関連する各種のデータ分析を行っています。連載1回目の「Where」でいうと、筆者は少し特殊で、外部組織と事業会社内の中間的なところにおり、グループ内の各企業に対して、データ分析での
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
Turn your data into clear natural language Natural Language Generation from Stats Perform Automated Insights’s generative AI capabilities are now focused on turning big data into readable narratives exclusively for sport. If you’d like to see how Stats Perform’s generative AI tools can help you scale your sports content and capture the magic in the detail please use our Product Finder. For enquiri
レビュー自動承認化と精度100%を目指して。いち早く生成AIの導入に踏み出した「ユーザーレビュー基盤」の取り組み
USでは、定額制動画配信サービスの絶対的王者であるNetflix。 視聴者データ分析をもとに１億ドルという巨額の制作費をつぎ込み成功させたエミー賞受賞ドラマ「ハウスオブカード」や、2014年にはネットワーク中立性の話題でも有名になりました。しかし、私が最も注目しているNetflixのすごさは、何よりもオススメ機能（レコメンデーションエンジン）です。 全視聴の75％がオススメ機能から。 Netflixのなんと75％もの視聴が、オススメ機能から始まっているといいます。これは驚異的な割合です。だって、想像してみてください。「XXって映画観たいな。検索、検索・・・」という前に「（オススメ欄に）XXがある！これ観よう。」となる状況を作っているのです。通常のケースでは、オススメ機能からの視聴なんて、Netflixの半分もないでしょう。 この75％という数字こそが、Netflixのプロダクトイノベーショ
2. データサイエンティスト 2 今世紀でもっともセクシーな職業 ハーバード・ビジネス・レビュー 2013年年2⽉月号 2018年年までに⽶米国で14〜～19万⼈人不不⾜足 マッキンゼー 2011年年5⽉月 求められるスキル ビジネススキル，機械学習／ビッグデータ， 数学／OR，プログラミング，統計 Analyzing the Analyzers, O’reilly 2013 4. 本⽇日お話すること 4 1. データのこと Keywords: ダミー変数，⽋欠損値，正規化，次元の呪い 2. 機械学習のこと Keywords: 機械学習の分類，アルゴリズム，注意点 3. 評価のこと Keywords: 混同⾏行行列列，適合率率率，再現率率率，F値，ROC曲線 4. 分析のこと Keywords: 過学習，交差検証，学習曲線，バイアス・バリアンス 教師あり学習(後述)寄りの内容が多いです
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
ちなみにカウントしたのは以下のタイトル 「ウィザード・バリスターズ～弁魔士セシル」「ウィッチクラフトワークス」「いなり、こんこん、恋いろは。」「Wake Up,Girls！」 「ニセコイ」「ノラガミ」「中二病でも恋がしたい！戀」「未確認で進行形」「ディーふらぐ！」「銀の匙 Silver Spoon」 「のうりん」「生徒会役員共＊」「バディ・コンプレックス」「桜Trick」「咲-Saki- 全国編」「鬼灯の冷徹」「悪魔のリドル」 「世界征服～謀略のズヴィズダー～」「スペース☆ダンディ」「とある飛空士への恋歌」「そにアニ」「ハマトラ」「ノブナガン」 「最近、妹のようすがちょっとおかしいんだが。」「マケン姫っ！ 通」「ノブナガ・ザ・フール」「Z／X IGNITION」「魔法戦争」 「一週間フレンズ。」「エスカ＆ロジーのアトリエ～黄昏の空の錬金術士～」「M3～ソノ黒キ鋼～」「彼女がフラグをおられた
はじめに 今回から全11回の予定で、情報推薦システムの入門という題目で連載させていただくことになりました。連載は株式会社Gunosyの福島、関、吉田が連載ごとに担当します。よろしくお願いします。 近年、ビッグデータやデータサイエンティストといった言葉が巷を賑わせています。筆者自身は、これらの言葉はバズワードであり、盛り上がり過ぎていると冷静に見ています。一方で、Gunosyというサービスを提供する側としては、以下の2点について非常に重要な課題であると思っています。 データの分析結果を中心にした意思決定をどうやって組織に組み込んでいくか 大量で非構造なデータの解析結果をどうやってユーザの満足度の向上に反映させるか そしてデータ解析の有力な応用先といった文脈で、情報推薦システムへの注目が大きくなっていると筆者は感じています（それが少々過大にも思えるほど）。 本連載では、情報推薦システムとは
第１週：統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 第２週：データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 第３週：データの見方と適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 第４週：誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
