前回のMilkodeでの事例紹介では、Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エンジンを組み込むことにより、大量のファイルに対しても高速な検索を実現しています。rroongaを使った代表的なアプリケーションの1つです。プログラマにとってとても便利なアプリケーションなので、ぜひ使ってみてください。 前回はユーザ視点からのrroongaの紹介でしたが、今回は違った角度から紹介します。rroongaの歴史、大事にしていることについて説明します。 自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？ 自分のアプリケーションが大事にしたいことをそのプロダクトでも大事にしているなら、相性がよいかもしれません。さて、rroongaはあなたが大事にしたいことを大事
lunr.jsはJavaScript製のオープンソース・ソフトウェア（MIT License）です。 Webサイトを運営していて、煩雑な仕組みになりがちながらも実装を考えなければならないのが全文検索エンジンです。もし作ろうとしているのがWebアプリケーションであれば、いっそのことクライアントサイドで提供してみるのはいかがでしょう。lunr.jsを使えば手軽に実現できます。 デモアプリケーションです。左上に検索ボックスがあるのが分かるかと思います。 検索はインクリメンタルに行われます。ただし全文と言ってもタグとして指定された文字だけに限定されるようです。 インデックスの作り方です。まずindexとしてフィールドを作り、その後addメソッドを使ってオブジェクトを追加していきます。 lunr.jsではテキスト処理部分を別で設ける事ができますので非英語圏では別途分かち書きを行ってインデックス化でき
はじめまして、おんがえしと申します。 今回は私が作っているソースコード検索エンジンのMilkodeにて、rroonga（とその内部で動くgroonga）がどのように使われているのかを紹介します。 Milkodeの検索画面 ソースコードを検索するということ プログラマの仕事はプログラムを書くことですが、同じくらい「検索する」ことは多いのではないでしょうか。 ある関数の名前を変えたいので使っている箇所をすべて見つけたい ライブラリの仕様が変わった。使っているコードはどこだったか？ コードリーディング中。今読んでいる関数の実体はどこにあるのか？ ベーマガを買ってゲームのプログラムを写経していた頃から時代は進み、WebにアクセスすればゲームやOS、Webアプリなどのソースコードを無料[1]で手に入れることができるようになりました。必要なものをソースコードから検索し、知識として取り込んでいく技術は今
前回は形態素解析を使う検索エンジンのしくみについて説明しました。今回は、FINDSPOTで使用しているN-gramという検索エンジンのしくみについて説明します。 N-gramによる見出し語の切り出し 前回は、形態素解析による検索エンジンでは、検索可能な最小単位が分かち書きの切り分け単位となる点を説明しました。 一方、N-gramを使った検索エンジンでは、単純に文字の並びを見出し語としてインデックスを作成します。1文字を元にインデックスを作成する方法をユニグラム、2文字の並びを元にインデックスを作成する方法をバイグラム、3文字の並びを元にインデックスを作成する方法をトリグラムと呼んでいます。 1文字：ユニグラム 2文字：バイグラム 3文字：トリグラム N-gramによる見出し語の切り出しは、形態素解析のための文法解析を伴わないため、特定の自然言語に依存しないという特徴があります。 FINDS
AJAX SolrはSolrのAjax検索インタフェースです。 個人的にもWebサービスの検索エンジンとして使うことが増えてきているSolr。そんなSolrのフロントエンドとして使えるソフトウェアがAJAX Solrです。 デモです。左側がフィルタ、右側に結果が表示されています。 結果の全文を読むこともできます。 フィルタ条件は左上に表示されています。×リンクをクリックして解除することもできます。 社内の検索エンジンに採用したりした場合、管理画面を作る手間なくAJAX Solrを使えます。検索エンジンをより手軽に使えるソフトウェアです。 AJAX SolrはJavaScript製のオープンソース・ソフトウェア（Apache License 2.0）です。 MOONGIFTはこう見る ローカルOSにおける検索エンジンは随分と広まってきたような思います。しかし意外とまだまだ弱いのが社内のファイ
オープンソースの検索エンジンというのが幾つかあります。オープンソース、つまり無料の検索エンジンですね。 ほとんどは目的がニッチに特化したものが多く、ウェブで一般的に使えそうなものはあまり多くはないのですが、それでもちゃんと実用に使える、使っているものもあります。今回、テコラボでそういった使えるオープンソースの検索エンジンとして選んだものを載せておきます。 なんらかの理由でGoogleやBingを使えない、且つ、初期投資としてお金をかけられない、といったサイト開発やアプリケーション開発の場合に有効です。 BEST1 : [ Fess（Solr）] http://fess.codelibs.org/ja/index.html 検索エンジンにSolrを、クローラーにS2Robotを使う検索システムパッケージ。 5 分で簡単に構築可能な全文検索サーバー！ ウェブ、ファイルシステム、データベースのク
WiSEとは WiSE（Wordwide internet&intranet Search Engine）とは、BSTが自社開発した全文検索エンジンです。全文検索に最適化したデータベース構造を持ち、大量のデータを高速に全文検索できます。文字単位（欧米言語は単語単位）で、漏れのない検索ができます。 WiSEパッケージ WiSEは、用途に応じた2種類のパッケージを選択できます。小規模から大規模まで、Webサイト、ECサイト、企業内ポータル、データベースコンテンツなどの検索システムを構築できます。Webクローラは単独でも利用できます。 ※１ WiSE ECでは標準搭載、WiSE Standardではオプション ※2 WiSE Standardでは標準搭載、WiSE ECではオプション ※3 WiSE Standard、WiSE EC共に追加が可能なオプション WiSE Standard（ワイズ
Cloud Miningはタグクラウドや全文検索を使った構造化データに向いた検索エンジンです。 Webサイトで常に必要になるのが検索エンジンです。最近は全文検索エンジンが人気ですが、より大量の構造化データを検索するのに最適な検索エンジンとしてCloud Miningを紹介します。 デモです。IMDBを解析した検索エンジンです。 画面上部にタグ（検索キーワード）が出ています。 さらにタグを追加します。 最終的に1件にまで絞り込まれました。 こちらも別な検索エンジンです。 Cloud Miningは全文検索としてSphinxを使い、データからタグクラウドを生成したり、絞り込んだ件数の表示、年数や共演者などのデータをピックアップもできます。複雑な構造データから望んだレコードを取り出すのに使えそうです。 Cloud MiningはPython製のオープンソース・ソフトウェア（GNU Affero
FullproofはJavaScriptベースの全文検索エンジンです。高速に動作します。 Webサイトのコンテンツが充実してきたら欲しくなるのが検索機能です。Google検索を使っても良いですが、ここではFullproofを紹介します。何とJavaScriptベースの全文検索エンジンです。 色検索エンジン。 動作は高速です。 動物検索エンジン。 ゲーム検索エンジン。スコアが表示されています。 スコアの高いデータが上に出ます。 FullproofはHTML5のローカルストレージに対応し、WebSQLやIndexedDBにも対応します。Unicodeをフルサポートしています。スコアによって順位が決定します。発音記号に対応しますが、現在は英語とフランス語のみとなっています。JavaScriptだけとあって動作は高速です。 FullproofはHTML5/JavaScript製のオープンソース・ソ
WEKOとはスワヒリ語でリポジトリを意味します．WEKOは国立情報学研究所が開発しているNetCommons 2上で動作するリポジトリモジュールです．文献だけではない研究成果がどんどん共有されるような学術社会を作りたいという願いを込めて開発しています．NC2のいろんな機能と組み合わせながら，新しい研究スタイルの構築を目指します． 【重要】WEKO ver.2.x.xの問合せ及び公開停止について ながらくご利用いただいたWEKO ver.2系の問合せ対応については2020年12月をもって終了とさせていただきます．今後は現在開発中のWEKO3をご利用ください． WEKO3については2020年度中の公開を予定しています． ご理解のほど、よろしくお願い致します． 開発中のコードリポジトリはこちらです． https://github.com/RCOSDP/weko 現在，フォーラムおよび問合せフォー
Read the DocsはDjango製のドキュメントビューワーで、Python向けのドキュメントフォーマットSphinxに対応しています。 Pythonで作られたソフトウェア、ライブラリのドキュメントを閲覧、検索できるソフトウェアがRead the Docsです。Sphinxで書かれたドキュメントを読み取り、リッチな表示をしてくれます。 トップページです。様々なプロジェクトが登録されています。 登録されているソフトウェアのトップページです。バージョンやリポジトリなどの情報も載っています。ここからePubやmanpageのダウンロードもできます。 ビルドのリザルト一覧です。 ドキュメントです。右側に見出しが並んでいて左側に内容が記載されています。 次のトピックにも対応していてさくさく読めます。 検索機能ももちろんあります。 ユーザごとの参加プロジェクトです。 Read the Docsは
bayonはフォーマットに沿った入力データを高速にクラスタリングするソフトウェアです。 テキストコンテンツは世の中にあふれています。そうしたコンテンツを収集するのは容易ですが、次はうまく分類分けして表示しなければなりません。そこで使えそうなのがbayonです。高速なクラスタリングを実現するソフトウェアです。 インストールします。configure、make、make installで完了です。 ヘルプです。 サンプルのファイルです。左がIDで、それに続く右側が属性となっています。 実行しました。100分割なので全てばらばらに検出されています。 例えば上記例では2つのグループにクラスタリングされています。 3つの場合のクラスタリングです。 中心ベクトルを求める方法です。 bayonは特徴的なキーを自動判別したり、クラスタリングの手法を変更することもできます。デフォルトではRepeated B
GrepTweetは指定ユーザのツイートをテキストファイルに保存してGrepで検索するソフトウェアです。 Twitterで自分のツイートを検索するサービスはいくつもありますが、今回紹介するGrepTweetはツイートをテキストで保存して、Grepで検索するシステムになっています。 まずTwitterユーザのツイートをインポートしないといけません。公開メッセージのみなので認証は不要で、ユーザ名を指定するだけで実行できます。 取り込み中のログです。今回は6ページ目の実行でエラーになってしまいましたが、途中までのデータは取り込まれます。 取り込みが終わって検索できるようになりました。日本語も使えます。検索実行ボタンはないのでエンターキーを押せば良いだけです。 例えばMOONGIFTで検索した結果です。 日本語にも対応しています。 生データを見ることもできます。 データベースを検索するのではなく、
Outline Grepは検索にマッチした行からノードをさかのぼって検索結果を出してくれるテキスト検索ツールです。 プログラマーであれば誰しもが使ったことのあるコマンドの一つがGrepではないでしょうか。確かに便利なコマンドなのですが、ちょっと不便に感じていたのが抽出した行の「周囲」の情報が得られないということです。そんな不満を解消してくれそうな面白いソフトウェアがOutline Grepです。 Outline GrepはHaskellで作られています。別途インストールが必要です。なお、インストールは簡単（cabal installくらい）です。 検索元になるテキストです。テキストがアウトライン化されているのが分かるでしょうか。ここがミソです。 実際に検索した結果です。結果行のアウトラインで言う所の親ノード（さらに親があればそれも含めて）を辿って出力しています。どのカテゴリに属している情報
MilkodeはRuby製のソースコード専用の検索エンジン。指定した単語が全て入った行を探すのが特徴。 MilkodeはRuby製のオープンソース・ソフトウェア。最近ではシステムの開発においてスクラッチで開発するのではなく、何かのフレームワークをベースにすることが増えてきた。シンプルなフレームワークもあれば、全てこなしてくれる大型のものもある。 メイン画面 そして開発を行っているとフレームワークやライブラリの中を見なければならないケースが増えてくる。そんな時には毎回grepで探すのではなく、Milkodeを使って高速に検索しよう。 Milkodeはソースコード検索エンジンだ。とてもシンプルなソフトウェアで、ターミナルからinitしてリポジトリを作成する。その後、addでソースコードを取り込んでいくだけで準備が完了してしまう。webオプションでWebサーバが立ち上がり、検索エンジンとして利用
最新バージョンはコチラです。 Milkode(ミルコード)はソースコード検索エンジンです。手元にある大量のソースコードを登録し、ブラウザで閲覧したり検索することが出来ます。20000ファイル位であれば1秒位で特定の一行を見つけることが可能です。 Rubyで書かれており、使っているライブラリも含めてRubyGem経由でインストールすることが出来ます。 OSX, Unix $ sudo gem install milkode Windows(32bit) $ gem.bat install rroonga --platform x86-mingw32 $ gem.bat install milkode Windows(64bit) ※ 事前に64bit版rroongaのインストールが必要です。 $ gem.bat install milkode詳しいインストール方法はホームページをご覧下さい。
PDFファイルをNamazuの検索対象に加えるにはxpdfに含まれるpdftotextというプログラムを使用する必要があります。pdftotextはPDFに含まれているtextを抽出するツールです。これまでは日本語の処理に不十分な面があった感じでしたので、個人的には別のツールを使ってPDFのインデックス化をしていました。しかし、2002年2月1日にリリースされたxpdf-1.00から日本語や中国語、韓国語などのLanguage Support Packageが提供されるようになり、機能的にも十分なツールになった感があります。 詳細はhttp://www.foolabs.com/xpdf/(英文)を参照してください。 Namazu2.0.12のリリースに伴い、pdfファイルの文書フィルタであるpdf.plがxpdf1.00以降のpdftotextのオプション変更に対応しました。xpdfのバー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
