Presto at TwitterLessons learned while taking Presto from alpha to production at Twitter. Presented at the Presto meetup at Facebook on 2015.03.22. Video: https://www.facebook.com/prestodb/videos/531276353732033/Read less
Content-Length: 322090 | pFad | http://b.hatena.ne.jp/s-wool/twitter/
Hadoop filesystem at Twitter
Twitter runs multiple large Hadoop clusters that are among the biggest in the world. Hadoop is at the core of our data platform and provides vast storage for analytics of user actions on Twitter. In this post, we will highlight our contributions to ViewFs, the client-side Hadoop filesystem view, and its versatile usage here. ViewFs makes the interaction with our HDFS infrastructure as simple as a
Twitter、NTTデータを含む再販業者へのFirehose提供を8月までに打ち切りへ
米Twitter傘下のGnipは4月10日（現地時間）、公開ツイートデータ「Firehose」の再販業者への直接提供を8月中に打ち切ると発表した。企業や組織へのFirehoseの提供はGnipのみが行うことになる。 Gnipによると、TwitterはGnip買収直後から再販業者へのFirehose提供打ち切りのプロセスを開始し、現在まだFirehoseを扱っているNTTデータと米DataSiftへのFirehose提供を8月半ばには終了する見込みという。 再販業者へのFirehose提供打ち切りの理由は、Firehoseのユーザー企業とダイレクトな関係を築くことが、Firehoseをサポートする最善の方法だと確信するからとしている。 Twitterは2012年に立ち上げた「公認製品プログラム」で、Twitterのデータの価値を高め、利用しやすくするツールの構築をサードパーティーに奨励し、F
Building a complete Tweet index
Today, we are pleased to announce that Twitter now indexes every public Tweet since 2006. Since that first simple Tweet over eight years ago, hundreds of billions of Tweets have captured everyday human experiences and major historical events. Our search engine excelled at surfacing breaking news and events in real time, and our search index infrastructure reflected this strong emphasis on recency.
古参Twitter女子に聞く！ 初期のTwitterって今とどう違ったの？
こんにちは、小野ほりでいです。 ツイッターが流行してから随分経ちますが、昔のツイッターってどんな感じだったんでしょうか？ 当時を知る古参Twitter女子に聞いてみました。 エリコちゃん 流行ってだいぶ経ってからツイッターをはじめた女の子。 ミカ先輩 流行る前からツイッターをやっていたことが誇りのOL。 クリオネくん 今考えたキャラクター。今度なんかのコンテストに応募しようと思う うおお～！ 水色のパプリカをくらえ～！ …？ くらえ～！ あれ…？ いつもならミカ先輩が「どうしたのエリコちゃん」て話しかけてくれるのに、おかしいな。 ミカ先輩～。 ああ～。 わ～！ ミカ先輩が58歳になってる！ どうしたんですか、ミカ先輩!? ツイッターの話するの飽きた…。 なんでですか？ あんなに沢山人がいて、毎日いろんなことが起こってるのに…。 だってなんかもう、似たようなことばっか起こってるじゃない。毎日
Hadoop 2 @ Twitter, Elephant Scale
1) Twitter migrated their Hadoop infrastructure from Hadoop 1 to Hadoop 2 to address scalability challenges and improve efficiency from tens of thousands of servers and hundreds of petabytes of data. 2) The migration involved extensive testing of Hadoop 2 configurations and dependent components before rolling out to production clusters supporting various use cases such as analytics, personalizatio
Hadoop 2 @Twitter, Elephant Scale. Presented at
1) Twitter migrated their Hadoop infrastructure from Hadoop 1 to Hadoop 2 to address scalability challenges and improve efficiency from tens of thousands of servers and hundreds of petabytes of data. 2) The migration involved extensive testing of Hadoop 2 configurations and dependent components before rolling out to production clusters supporting various use cases such as analytics, personalizatio
Twitterで見かけるハミ出した顔文字の正体 - RyoAnna
少し前からTwitterで見かけるようになった、上下に飛び出す変な顔文字。 気持ち悪いのであまり関わらないようにしていたのだが、この顔文字の謎が明らかになったのでお伝えしたい。 いつものようにiPhoneのApp Storeをぶらぶらしていた時のこと。 Unicoder Lite (App Store)というアプリが気になりダウンロードした。 起動するとなにやら見慣れた文字が。 顔文字でよく使われるギリシャ文字やキリル文字だ。 しばらく眺めているとこんな符号が。 合成用区分符号 これが上と下の行にはみ出す顔文字の正体だった。 ためしに作ってみよう。 ベースとなる顔文字を置く。 左目に合成用区分符号を入れる。 続いて右目に。 見事にはみ出す。 Unicode（ユニコード）とは、世界中のコンピュータの文字を符号化したもの。その "U+0300-036F" に配置されているダイアクリティカルマー
GAE/PythonでOAuth « python練習帳
GoogleAppEngine / Python環境で、TwitterのOAuthを使ってみた。 1. TwitterのAPI利用申請 Twitterのアカウントを取得し、API利用申請をします。 Twitterのアカウントを取得します Twitterにログインします 以下のアドレスにアクセスします https://twitter.com/apps 新しいアプリケーションを追加をクリックします アプリケーションの情報を入力して登録します ※コールバックURLは、GAEのIDがXXXの場合は、http://XXX.appspot.com/oauth/twitter/callback とします。 以下の２つの値をメモします Consumer key pQcelwAEib60BhEoE52*** Consumer secret ******* 2. サンプルアプリをデプロイ すぐ動作するサンプル
xAuthの申請方法をまとめました
twitterと外部アプリを連携させるにはOAuthを利用します。 しかし、OAuthで認証するには、ブラウザ上でtwitterへアクセス許可の認証が必要となります。 そこで、直接アプリケーションから認証することができるXAuthの導入を紹介します。 まず、アプリケーションの登録申請が必要となります。 Twitter Application : http://twitter.com/apps ここからアプリの申請を行ないましょう。登録が完了すると、OAuthを利用することができます。 さらにXAuthを利用したい場合は、Twitterサポートと連絡をとる必要があります。 連絡は api@twitter.com から行ないます。 Hi. my name is Hiroaki. My twitter id is kodam_dev. Please permit the access to xA
チャットでチームの情報共有 | Teemline
チームラインはチーム内の情報共有、情報交換を促進することで チーム全体としての力を高めることを目的とした、チャット風マイクロブログサービスです。 各チームメンバーがちょっとしたノウハウやアイデア、報告、雑談を気軽に発信できる環境を用意することで チーム内での情報流通量を増やし、それをチームラインの機能を使ってフィルタすることで、 発信された情報を価値のあるナレッジデータベースとして活用することができます。 チームシステム - 発言はチームメンバー以外には非公開です。会社、地域、部署など、複数のチームを使いわけることができます タイムライン - チーム内の発言はほぼリアルタイムで共有されます。小さな情報をたくさん発信することができます。 返信機能 - 発信情報について他のメンバーとやりとりし、あとで議事録として利用できます。 話題機能 - 発言を話題毎にグループ化することで情報をまとめること
iPhoneアプリからTwitpicに画像をアップロードする方法 - tomute's note
Twitterに画像をポストする事が出来るTwitpicというサービスがあるが、このTwitpicにiPhoneアプリから画像をアップロードする方法を以下に記載する。 まずTwitpicのAPIドキュメントを見ると、画像のアップロードはHTTPのPOSTを利用して出来ることが分かる。そこで、以前に紹介したCFNetwork APIのラッパーフレームワークASIHTTPRequestに、ASIFormDataRequestという便利なクラスがあるので、これを利用した方法を紹介したいと思う。 [事前準備] 1. ASIFormDataRequestクラスを使えるようにする 以下の記事内の[設定]に従いXCodeのプロジェクトを設定する。 ASIHTTPRequestを使って簡単非同期通信 - Tomute’s Notes 2. XPathQueryを使えるようにする TwitpicのAPIはレ
ツイッターが始める新卒採用の条件は？
ツイッター社は自らの成長スピードに追いつけないでいるようだ。アクセス急増によるサーバーダウンや処理速度低下の問題だけではない。人材不足も深刻なようで、ここへきて大量に人を雇い始めている。今年２月の時点では従業員数は１４０人だと共同創業者ビズ・ストーンは言っていた。今は、少なくとも２４０人はいる。そしてこうしている間にも増え続けている！ だとすれば、ツイッターが大学生に求人の網を広げ始めたのも驚くにあたらない。大学新卒向け募集要項はまだ発表されてはいないものの、７月24日にツイッター社自身がこうつぶやいている。「大卒の採用を始めます。このプログラムにつけるツイッターっぽい（Twitter-y）名前を募集します」 採用基準などの詳細はまだわからないが、勝手に想像してみるのは自由。ツイッターの採用状況を執拗にウォッチしてきた私のこの数カ月の知見に基づけば、同社には新卒者レベルの仕事はまだ存在しな
TwitterのOAuth認証を使う - 強火で進め
(2010/06/18 追記) OAuthのみへの移行がワールドカップによる負荷を理由に8月16日からに変更されました。 moving the OAuth switch over date to august 16, 2010 - Twitter Development Talk | Google グループ http://groups.google.com/group/twitter-development-talk/browse_thread/thread/dfb89d9f29f339a2?pli=1 段階的に移行が行われ、8月31日からはBASIC認証が完全に使えなくなる様です。 Twitterブログ: Twitter APIデベロッパー・コミュニティへのお知らせ (oAuthへの移行に関しての期限延長) http://blog.twitter.jp/2010/06/twitter-a
高密度小池 ／ OAuth とかについて
OAuth とかについて なんかいろいろ理解してない人がいるように見えるので。 あるサービスでのリソースに対するアクセス権をデスクトップアプリケーションなり Web アプリケーションなりに移譲する時に、一番簡単な方法は ID と PW をそのまま渡してしまう方法。 twitter では従来これが用いられてきた。 twitter の情報なんて大したことないから、 ID/PW 流出しても問題ないよね、というような論調比較的よく見ます。こういうこと言うのは迷惑。死んでください。 twitter と他のサービスで ID/PW を分けている人がいったいどれくらいいるのか。多数派ということは無いと思います(根拠無い推測だけど間違ってないと思う)。 twitter で使っている ID/PW が流出すれば様々な悲劇が起きます。 一次流出もとは他のサービスですが、これによって悲劇が起きた事例と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/s-wool/twitter/
Alternative Proxies:
GitHub - atl/twitstream: A simple asynchronous HTTP library in python for speaking with Twitter's streaming API, with numerous example applications.
IDEA * IDEA
IDEA * IDEA
IDEA * IDEA
読解アヘン