日本語の分散表現の計算方法まとめ

単語単位の分散表現

  • Word2vec
    • 自然言語処理における分散表現の一つのオリジナル
    • 基本原理くらいは知っていてもいいかもしれない
    • gensimがよく使われる
  • Fasttext で文書分類問題までやったった
    • fastと名前がついているだけあってfacebookが公開しているモデルは高速に動作する
    • 分散表現とクラス分類に対応していたり、利便性が高い
    • 特にこのモデルで利用されている分かち書きの特徴から未知語に強いとされている
  • 日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
    • Google の検索エンジンにも採用されている、らしい
    • 自然言語処理の研究を大きく変えたモデル
    • 関連する技術であるTransformerは自然言語処理だけでなく、画像処理の界隈にも流用された
    • huggingfaceで日本語版のBERTも色々と公開されている
  • 日本語に対応したT5
    • この日本語版のモデルの作者が公開しているサンプルがわかりやすい
    • また同じ作者がSBERTのモデルも公開している

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

[続きを読む]

Sentence transformer用にNatural Language Inference(NLI)形式でデータ作成

Sentence Transformerを使って、 文書間の因果関係を推論しようとしている。

これができれば、報告書からそのインシデントの原因と症状を抽出できる。

そこで特徴量の学習にNLIを因果関係の情報抽出に使えないか?と考えた。

[続きを読む]

Sentence transformersを使って日本語版BERTで文章の分散表現を得る方法

  • BERTは自然言語処理タスクに強力に応用できるモデルである。
  • しかし、文章単位の特徴量をうまく取得できない。
  • [ CLS] に文の特徴量が現れるという主張もあるが、それほどタスクに対して有益な情報は含まれていないとこの論文は主張する。
  • 文単位の特徴量を取得できるようにBERTを拡張するモデルがSentence BERTである。

2022/03追記

  • Hugging Face で日本語のSentence BERTが公開されているのでそちらを利用してもいい。
  • fugashi・ipadicが単語分割のために要求されるのでインストールしておく
pip transformers fugashi ipadic

サンプル

from transformers import BertJapaneseTokenizer, BertModel
import torch


class SentenceBertJapanese:
    def __init__(self, model_name_or_path, device=None):
        self.tokenizer = BertJapaneseTokenizer.from_pretrained(model_name_or_path)
        self.model = BertModel.from_pretrained(model_name_or_path)
        self.model.eval()

        if device is None:
            device = "cuda" if torch.cuda.is_available() else "cpu"
        self.device = torch.device(device)
        self.model.to(device)

    def _mean_pooling(self, model_output, attention_mask):
        token_embeddings = model_output[0] #First element of model_output contains all token embeddings
        input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
        return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

    @torch.no_grad()
    def encode(self, sentences, batch_size=8):
        all_embeddings = []
        iterator = range(0, len(sentences), batch_size)
        for batch_idx in iterator:
            batch = sentences[batch_idx:batch_idx + batch_size]

            encoded_input = self.tokenizer.batch_encode_plus(batch, padding="longest", 
                                           truncation=True, return_tensors="pt").to(self.device)
            model_output = self.model(**encoded_input)
            sentence_embeddings = self._mean_pooling(model_output, encoded_input["attention_mask"]).to('cpu')

            all_embeddings.extend(sentence_embeddings)

        # return torch.stack(all_embeddings).numpy()
        return torch.stack(all_embeddings)


MODEL_NAME = "sonoisa/sentence-bert-base-ja-mean-tokens-v2"  # <- v2です。
model = SentenceBertJapanese(MODEL_NAME)

sentences = ["暴走したAI", "暴走した人工知能"]
sentence_embeddings = model.encode(sentences, batch_size=8)

print("Sentence embeddings:", sentence_embeddings)

Sentence Transformers

  • 以下はSentence Transformers を日本語BERTモデルで作成する際の手順になる。

環境構築

  • 今回はGoogle colabでのモデル学習方法を行う。
!pip install -U sentence-transformers
!apt-get install mecab mecab-ipadic-utf8 python-mecab libmecab-dev
!pip install mecab-python3 fugashi ipadic
  • 日本語版BERTを使うのでそれに伴ってmecabなどのインストールが必要

モデル構築

  • sentence_transformersのライブラリを利用した場合、GPUについては指定しない場合、自動で利用する設定になるらしい。
import transformers
from transformers import BertJapaneseTokenizer, BertModel

transformers.BertTokenizer = transformers.BertJapaneseTokenizer

from sentence_transformers import SentenceTransformer
from sentence_transformers import models,InputExample,losses
from sentence_transformers.losses import TripletDistanceMetric, TripletLoss
from sentence_transformers.evaluation import TripletEvaluator
from sentence_transformers.readers import TripletReader
from sentence_transformers.datasets import SentencesDataset
from torch.utils.data import DataLoader

# ver0.4までは以下
#transformer = models.BERT('cl-tohoku/bert-base-japanese-whole-word-masking')
# ver1.以上では以下
transformer = models.Transformer('cl-tohoku/bert-base-japanese-whole-word-masking')

pooling = models.Pooling(
    transformer.get_word_embedding_dimension(), 
    pooling_mode_mean_tokens=True, 
    pooling_mode_cls_token=False, 
    pooling_mode_max_tokens=False
)

model = SentenceTransformer(modules=[transformer, pooling])

データセット作成

  • センテンスに対してラベルを予測するモデルを考える。
  • マルチラベルのデータを用意した。tripletのデータセットを作成する。
df = pd.read_excel(report_path, dtype={'text':str,'tokens':str,'label':int,"cause":int,"effect":int,})

train_exapmle = []
labels = []
for index1, row1 in df.iterrows():    
    if row1['cause'] == 1:
        label = 1
    elif row1["effect"] == 1:
        label = 2
    else:
        label = 0
        
    train_exapmle.append(InputExample(texts=[row1.tokens], label=float(label)))
    labels.append(label)
InputExample(texts=[row1.tokens], label=float(label))
  • ここの記述は損失関数の選択によって修正する必要がある。
  • 今回は BatchAllTripletLoss を選択したため、一つの文とラベルのセットになっている。
  • 以下でpytorchでの学習用データローダーを作成する。
train_example = SentenceLabelDataset(train_exapmle, samples_per_label=16)
train_dataloader = DataLoader(train_example, batch_size=32)
  • batch_sizeは計算環境に応じて調整する。メモリ使用量に影響する。
  • samples_per_labelは自動でtriplet datasetを作成する際のサンプリング数らしい。
    • ここで samples_per_label は batch_size の約数でなければならない。
  • 他のデータの作り方は以下のリンクを参照する。

Sentence transformer用にNatural Language Inference(NLI)形式でデータ作成

[続きを読む]