WEB+DB PRESS Vol.64に日本語入力についての記事を書かせていただきました。特集3の「作って学ぶ日本語入力」という奴です。 日本語入力の歴史とかについて簡単に触れた後、かな漢字変換を実際に作ってみる、という構成になっています。ビタビアルゴリズムやダブル配列、構造化パーセプトロン、構造化SVMなどのテクニックを紹介しています。この特集だけ読めば、今年の3月の言語処理学会に私が出した論文(?)と同じものがたぶん作れます。日本語入力だけに限らず、教師あり機械学習を実装するときの最低限の知識、みたいなところも身につくと思いますので、WEBやDBに興味のある人だけでなく、自然言語処理に興味のある大学生の人々にもぜひ読んで欲しいと思います。データを入れ替えれば形態素解析なんかもほぼそのままで作れます。 構成的には、確率の概念について一切触れていないところが一つのポイントになっています。統
2018年05月30日 平素よりみんなの翻訳サイトをご利用いただき誠にありがとうございます。 この度、2018年05月30日 10:00より、サーバ移行に伴いサービスを一時停止させていただきます。 ※作業完了予定は未定となります。 完了時期が分かり次第、サイト上で連絡させていただきます。ご迷惑をお掛けし、申し訳ございませんが、しばらくお待ちください。
概要 ウェブページに出現する形態素 N-gram と文字 N-gram を頻度とともに収録したコーパスです．各 N-gram コーパスには，頻度 10/100/1000 以上の 1-gram から 7-gram までが収録されています． N-gram コーパスの構築においては，Google N-gram コーパスと同様の前処理を施しています．句点・感嘆符・疑問符を文の区切りとして利用しているので，「モーニング娘。」や「Yahoo!」などの固有名詞については，不適切な文の区切りがおこなわれています．また，文の区切りは削除するようになっているため，コーパス中に句点・感嘆符・疑問符は出現しません． 形態素 N-gram コーパス，文字 N-gram コーパスともに，文境界マーク（<S>，</S>）は採用していますが，未知語トークン（<UNK>）は採用していません．また，文字 N-gram コーパ
統計的自然言語処理エンジンStaKK を開発しました。nokuno’s stakk at master - GitHub 以下、READMEからの引用です。 現在の機能 かな漢字変換 予測変換 または サジェスト スペル訂正 形態素解析 HTTPによるAPIサーバ Trieの直接操作現在は、StaKK は辞書として Mozc （Google日本語入力のOSS版）のデータを使っています。 リバースモードについてStaKK はノーマルモードとリバースモードの2つのモードを持っています。 ノーマルモードでは、かなを入力し、単語（主に漢字）を出力します。 リバースモードでは、単語を入力し、読みや品詞を出力します。これらの2つのモードの応用例をまとめると、次の表のようになります。 機能 ノーマルモード リバースモード Convert かな漢字変換 形態素解析 Predict 予測変換 検索ワードのサ
不自然言語処理では単語の尤度比を使ってコーパスの性質を調べたわけですが、そのデータはGoogle N-gramに依存しているため公開は見送るつもりでした。ところで昨日、id:s-yata氏が作成中のウェブコーパスから集計したN-gramデータを公開されました。ウェブコーパスの一部から形態素 N-gram コーパスを作成しました - やた＠はてな日記ということで、さっそく尤度比をとってみました。対象は以下の３つです。 yata氏のコーパス Wikipedia N-gram Baidu N-gram（合計とキャリア別）データはtar.bz2に固めてgithubにアップロードしました。http://github.com/downloads/nokuno/nokuno/rate.tar.bz2
自然言語処理や機械学習でいくつか新しい教科書的なものが登場してきたので、まとめてみようと思う。 教科書について。Introduction to Information Retrieval Introduction to Information Retrieval 作者: Christopher D. Manning,Prabhakar Raghavan,Hinrich Schuetze出版社/メーカー: Cambridge University Press発売日: 2008/07/07メディア: ハードカバー購入: 7人 クリック: 115回この商品を含むブログ (37件) を見るの翻訳が進んでいる(あとこれを研究室の輪読に使っていたりする)という話を聞いたりするのだが、やっぱり知識として知っておくべき本というのと、そこから超えていく本というのは違うものであって、どれだけ研究が進んでも、分
こんにちは。プロダクト事業部エンジニアの萩原です。 ８月１１日、東洋大学白山キャンパスにて、文字研究会主催の「第5回ワークショップ:文字―「現実」から見た改定常用漢字表― 」が開催されました。ワークショップにて、「ウェブ上における使用実態統計から改定常用漢字を考える」というタイトルで発表させていただきましたので、今回はそのご報告です。 今回のワークショップの背景として、常用漢字表の改定があります。現行の常用漢字表が制定されたのは29年前の1981年ですが、現在では、情報機器の普及、インターネットの発展によって、漢字をはじめとすることばの使用実態にに大きな変化が起こっています。 新しい言語現象の最先端とも言えるウェブで、どのような変化が起こっているのでしょう。その変化を正確に捉えるために、今回、ウェブ上の言語現象を、正確な時間と共に記録した「高精度時間軸ウェブコーパス」をバイドゥ独自に構築し
追記（2010-09-22）：完成版がこちら（N-gram コーパス - 日本語ウェブコーパス 2010）にあります． 追記（2010-08-06）：文末記号（</S>）を追加したものを作成しました（形態素 N-gram コーパスの修正版 - やた＠はてな日記）． ダウンロード 頻度が 100 以上の N-gram を収録したもの（over99）と，頻度が 10 以上の N-gram を収録したもの（over9）を用意しました．少しでも圧縮できるように，形態素数によるファイルの分割はおこなっていません． ファイル名 サイズ 展開時のサイズ over99-0000.xz 84,443,192 bytes 459,278,821 bytes ファイル名 サイズ 展開時のサイズ over9-0000.xz 329,101,340 bytes 2,147,483,623 bytes over9-0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
