Bert

文書類似度計算で直面する課題

日本語の文書検索や推薦システムを構築する際、以下のような問題に直面していませんか？

1. 精度の問題

• 単語レベルの一致だけでは文書の意味的類似度を正確に測れない
• 同じ意味でも表現が異なる文書を関連文書として発見できない
• 従来のTF-IDFやBM25では意味的な類似度が取得できない

2. 計算速度の問題

• BERTモデルで毎回文書をエンコードすると時間がかかりすぎる
• 大量の文書との類似度計算がリアルタイムで実行できない
• 文書検索のレスポンス時間が数秒〜数十秒かかる

3. 日本語対応の問題

• 英語向けのモデルでは日本語の意味的類似度が正確に取得できない
• 日本語特有の表現や文法構造に対応していない
• カスタムモデルの構築が困難

実際に遭遇した文書類似度の課題事例

失敗事例：従来手法での限界

# TF-IDFによる類似度計算の例
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 以下のような文書では類似度が正しく計算されない
doc1 = "機械学習の精度を向上させる方法"
doc2 = "AIモデルの性能を改善する手法"
# 結果: 低い類似度（単語が異なるため）

# BERTの直接利用も計算コストが高い
# 毎回エンコードが必要で、大量データに不向き

この問題を解決するのがSentence BERTです。

単語単位の分散表現

• Word2vec
  • 自然言語処理における分散表現の一つのオリジナル
  • 基本原理くらいは知っていてもいいかもしれない
  • gensimがよく使われる
• Fasttext で文書分類問題までやったった
  • fastと名前がついているだけあってfacebookが公開しているモデルは高速に動作する
  • 分散表現とクラス分類に対応していたり、利便性が高い
  • 特にこのモデルで利用されている分かち書きの特徴から未知語に強いとされている
• 日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
  • Google の検索エンジンにも採用されている、らしい
  • 自然言語処理の研究を大きく変えたモデル
  • 関連する技術であるTransformerは自然言語処理だけでなく、画像処理の界隈にも流用された
  • huggingfaceで日本語版のBERTも色々と公開されている
• 日本語に対応したT5
  • この日本語版のモデルの作者が公開しているサンプルがわかりやすい
  • また同じ作者がSBERTのモデルも公開している

文単位の分散表現

• tf-idf
  • 最初の選択肢
  • 単語の出現頻度を計算してスコアを割り当てる
  • gensimがよく使われる
• BM25
  • 単語の出現頻度を計算してスコアを出す
  • QAモデルの最初の大雑把な検索によく使われる印象
• doc2vec
  • word2vecの文書版
  • gensimがよく使われる
• Universal Sentence Encoder
  • 結構重宝する
  • そこそこ性能もよく使い勝手がいい
• SBERT
  • GPUがないとしんどいかも
  • 性能自体は上のUSEよりも体感ではいい

. BERT is a model that can be powerfully applied to natural language processing tasks.

However, it does not do a good job of capturing sentence-wise features.

Some claim that sentence features appear in [ CLS\ ], but This paper](https://arxiv.org/abs/1908.10084) claims that it does not contain that much useful information for the task.

Sentence BERT is a model that extends BERT to be able to obtain features per sentence.

The following are the steps to create Sentence BERT in Japanese.

huggingface has released a Japanese model for BERT.

The Japanese model is included in transformers.

However, I stumbled over a few things before I could get it to actually work in a Mac environment, so I’ll leave a note.

Preliminaries: Installing mecab

The morphological analysis engine, mecab, is required to use BERT’s Japanese model.

The tokenizer will probably ask for mecab.

This time, we will use homebrew to install Mecab and ipadic.