Content-Length: 292120 | pFad | http://b.hatena.ne.jp/gayou/bigquery/
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
LaravelでBigQueryのデータを取得する方法
LaravelでBigQueryのデータを取得する方法です。 環境 Laravel6 LTS PHP7.4 schulzefelix/laravel-bigquery (version1.2.0) 取得方法 $rawQuery = 'SELECT * FROM `dataset.table` WHERE key = @value LIMIT 1 OFFSET 0'; //parametersメソッドで条件のプレスホルダーを設定 $queryJobConfig = \BigQuery::query($rawQuery) ->parameters([ 'key' => "value" ]); $result = \BigQuery::runQuery($queryJobConfig); //日付等の条件設定は以下のソースコードを参照 //vendor/google/cloud-bigquery
[PHP]BigQueryのデータを取得する | yyuuiikk blog
BigQuery コンソール上での実行コンソール上の「クエリエディタ」でSQLを実行することができる。 コンソール上で結果確認もできるし、結果テーブルをcsvやスプレッドシートとしてGoogleドライブ上に保存することも可能。 またJSON形式で扱うこともできる。 PHPでデータを取得する手順としては大きく2つのことを行う必要がある。 GCPサービスアカウントキーの作成PHPプログラムの作成GCP サービスアカウントキーの作成phpでGCPを扱う上でサービスアカウントキーを発行し認証を行う必要がある。 GCPの「APIとサービス」>「認証情報」から「認証情報を作成」を選択してサービスアカウントキーを発行する。キーの形式はJSONを選択。 役割はここでは「BigQuery管理者」を選択。 操作が完了するとキーファイルが端末にダウンロードされる。 phpでの実行composerでGCPを扱うた
MySQL / MariaDB から BigQuery にデータをインポートする
MariaDB で構築されている DB からエクスポートしたクエリの結果を BigQuery にインポートしようとしたところ、意外と面倒だったと言う話。 何が面倒なのかというと、「データに " (ダブルクオート) が含まれていると取り込めない」と言う話で、対処法は TSV でエクスポート " のエスケープは \" ではなく "" で という、これだけです。 これだけなのですが、分かるまでしんどかったです... やりたいことは、MariaDB で実行したクエリの結果を BigQuery に取り込みたいと言うだけ。 私は MariaDB で行いましたけど、手順的には MySQL でも同じだと思います。 では、まずは正解から。 手順 1. TSVファイルのエクスポート MariaDB でクエリを実行してファイルに保存します。 SELECT * FROM table_name INTO OUTFI
野球のビッグデータをGCPとPySparkでいい感じに使いやすくしてみた - DataprocとGCFを使った緩いデータ基盤 - Lean Baseball
最近の野球界隈の出来事が斜め上すぎて驚いてるマンです.*1 本業の仕事および, 本業じゃない個人開発や趣味プログラミングにおいて, データの量が多くて 単位やフォーマットが不揃いで それでも仕事（もしくは趣味の分析）をこなすため, いい感じの使いやすいデータセットにしないと（使命感） という機会は非常に多いです. いや, 機会が多いというより多かれ少なかれ毎日戦っている気がします. 今回は, ちょっとした分析とお遊びのため, メジャーリーグの公式データサイト「Baseball Savant」のデータを使ったBigQueryデータベースを作りたくなったので, クローラーでBaseball Savantのデータを取ってCSVにして CSVからデータを集計したり整えたりしていい感じの単位にして BigQueryから使えるようにしてみたよ！ というタスクをGoogle Cloud Platform
BigQueryでビッグデータを解析する
BigQueryとは BigQueryは、Google Cloud Platformで提供されるビッグデータ解析プラットフォームです。1PB（ペタバイト）あるいは10億行といった膨大なデータに対して、集計・分析処理を極めて高速に実行できます。処理はSQL風のクエリ言語で記述します。 処理対象のデータは、リレーショナルデータベース（RDB）と同様に「テーブル」としてBigQueryに保持されます。つまり、事前にデータ構造をスキーマとして定義しておき、それに沿ったデータが独立したレコードとして登録されます。 BigQueryの特徴のひとつは、内部的にカラム指向データ構造を持っているという点です。一般的なRDBは、性質の異なるカラムを並べ、1件のレコードをひとまとまりとして格納するレコード指向データ構造です。それに対してBigQueryでは、レコードを分解し、カラムごとに格納します。 カラム指向
誰でも簡単に超高速なクエリができるBigQueryとは？
この2つの技術は、グーグル独自の技術というわけではない。しかし、ハードウェアから構築している、既存のグーグルのクラウド技術を活用し、パブリックなクラウドサービスとして提供可能なレベルの実装になっている点がGoogle BigQueryの強みとなっている。 BigQueryの特徴 他の類似サービスとの比較 巨大データを処理する技術としては、同じグーグルが使ってきたMapReduceというものがある。MapReduceとBigQueryを比べると、MapReduceが巨大なデータを安定的に処理できるプログラミングモデルであることに対し、BigQueryはアドホックにトライ＆エラーしながらクエリを実行するサービスであることが異なっている。 MapReduceは、非構造化データを、プログラミングモデルを通して扱うことができ、巨大なテーブルの結合や巨大な出力結果のエクスポートも可能である半面、処理時
O'Reilly Japan - Google BigQuery
TOPICS Data Science , Database 発行年月日 2015年03月 PRINT LENGTH 524 ISBN 978-4-87311-716-4 原書 Google BigQuery Analytics FORMAT PDF EPUB 本書は、クラウド上でSQLを使ってビッグデータを解析するGoogle BigQueryについて包括的に解説する書籍です。Google BigQueryの使い方から内部動作、そしてBigQueryならではのSQLの活用法、サードパーティのツールとの連携までを詳しく解説します。また、BigQueryを支えるGoogleのインフラストラクチャについても総覧しており、現代最高の超巨大インフラストラクチャの姿を知ることができます。BigQueryの全体像をマスターできる本書は、ビッグデータをSQLで活用したいデータサイエンティスト、ソフトウェ
Pelletkachels | Dé Expert voor jou duurzame Pelletkachel in huis
Pelletkachels waren ooit eenvoudige apparaten voor verwarming, maar ze hebben een opmerkelijke evolutie doorgemaakt sinds hun bescheiden begin in de jaren ’80 van de vorige eeuw. In dit artikel duiken we diep in de geschiedenis van pelletkachel, bespreken we de belangrijkste mijlpalen en ontwikkelingen op het gebied van subsidiemogelijkheden en werpen we een blik op de transformatie tot moderne en
Google BigQuery 正式版をリリースしました
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/gayou/bigquery/
Alternative Proxies:
BigQuery Remote Functionsによる形態素解析 - DMM inside
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
BigQuery、パブリック データセット、TensorFlow で需要を予測する