Content-Length: 217009 | pFad | http://b.hatena.ne.jp/raimon49/communication/NLP/
否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「
ChatGPT 雑感 - murawaki の雑記
ChatGPT についてポエムを書き散らすのが流行っている。珍しく流行に乗ってみる。機会を逃すとまた状況が激変しそうだし。 研究者の YouTuber 化 ChatGPT は研究者が想定していた成長曲線よりも上に外れたところに現れた。こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。なぜ日本語まで流暢なのかはいまだに謎。 ChatGPT はテレビでも取り上げられるくらい一般に認知されているらしい。複数のテレビ取材に応じたという人がいたのでそうなのだろう。*1 私の観測範囲で起きているは、参入者が大勢いること。これまで自然言語処理をやってこなかったであろう人。従来の技術よりも圧倒的に敷居が低い。そもそもプログラムを書く必要がない。自然言語で指示を出すだけなら誰でもできる。 ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/raimon49/communication/NLP/
Alternative Proxies:
