はじめに この記事は UEC Advent Calendar 2023 10日目になります。 9日目はへるくんさんの「免許合宿に行きました」でした。 helkun.dev さらに、免許取得したら色んな場所に行きやすくなり、フットワークが軽くなります。世界は広いと実感させられます。 これはかなり真で、普通自動車を運転できることで人類が到達可能な陸地の99%に行けるようになり、さらに限界旅行の手段が格段に増えることが一般に知られている。したがって人類は軽率に普通運転免許を取得し、努めて移動などをするべきです。 また、 UEC 2 Advent Calendar 2023 9日目の記事はこうくんの「…

最近業務でAWSを触ることが多く、その中で形態素解析をする機会があったので、その際の内容を備忘録として残しておきます。 やったこと 手順 手順詳細 参考 やったこと AWSのサービスを使い、ファイルがS3に置かれたら自動で形態素解析ができるようなシステムを作る サービスとして、今回はLambdaを採用した 形態素解析ツールとしてMeCabを利用する 手順 今回実装した大まかな手順は以下になります EC2インスタンスを作成し、SSH接続をする EC2インスタンス上にDockerとAWS CLIをインストールする EC2インスタンス上でDockerfile、requirements.txt、lam…

Pythonで自然言語処理を行うためには、MeCabと呼ばれる形態素解析器を使用することができます。MeCabは日本語のテキストを単語や品詞などの形態素に分解することができ、Pythonから簡単に利用することができます。本記事では、MeCabを使った日本語の形態素解析の方法を具体的な例とコードを交えて説明します。 MeCabのインストール Macの場合 Windowsの場合 1. MeCabのインストール 2. 辞書のインストール Pythonライブラリのインストール Macの場合 Windowsの場合 解析の準備 形態素解析の実行 具体例 よく発生するエラーと対応法 MeCabをインストール…

MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 環境 解決策 その前に コメント MeCabのRuntimeError（Windowsでのpythonにて） エラー内容 _MeCab.Tagger_swiginit(self, _MeCab.new_Tagger(*args)) RuntimeError 詳細 Traceback (most recent call last): File "mecab_test.py", line 6, in <module> mecab = MeCab.Tagger("-O chasen -d /var/lib/mec…

RMeCabをMac、しかもUTF-8環境で使いたいという条件で色々やって大変だったので、過程をメモしておきます。 ついでにcondaをメインで使っている都合上、Homebrewはインストールしないものとして環境を構築します。また、前提としてXcodeからコンパイラーはインストールされているものとします。 さらにインストールするMeCabは本体が「mecab-0.996.tar.gz」、辞書が「mecab-ipadic-2.7.0-20070801.tar.gz」とします。 MeCabのインストール 1. MeCabのダウンロードとインストール 2. 辞書のインストール 事前にnkfコマンドを…

はじめに: 『R環境で小説のテキストマイニング』の連載シリーズです。 連載シリーズの目次 実行環境 形態素解析と辞書設定 mecabを使った形態素解析 MeCabの辞書設定 辞書による形態素解析結果の違い デフォルトのipadic辞書を使った場合 neologd辞書を使った場合 unidic辞書を使った場合 jumandic辞書を使った場合 RMeCabで辞書設定を変更する方法 RMeCab形態素解析 + neologd辞書を用いた「坊ちゃん」の第1章テキストの形態素解析 RMeCab形態素解析 + neologd辞書を用いた「坊ちゃん」の第2章以降のテキストの形態素解析 まとめ テキスト処理…

はじめまして。キュービックでWebエンジニアを担当しているthと申します。 本年（2022年）は梅雨をすっ飛ばして突然真夏に突入してしまいましたが、みなさんいかがお過ごしでしょうか。 背景・概要 さて、早速ですが今回のお話の概要です。 複数のECサイトにて販売されている商品を一つのサイトにまとめて掲載する、いわゆる「価格比較サイト」のようなサービスの展開を検討しました。 このときに、各ECサイトにてJANコードのような商品が一意に識別できるIDが付与（掲載）されていればそれを元に「同一商品である」と簡単にみなすことができますが、サイトによって付与されているIDがまちまち、またはそもそも掲載され…