概要
分散表現を用いた検索システムを作る。
- teratailから質問をスクレイピングする。
- スクレイピングした文章をもとにword2vecを学習する。
- word2vecによって得られた分散表現をもとにcosine similarityを計算して、クエリと質問文の類似度を得る。
- 類似度をもとにソートする。
ソース
teratail_w2v_question.ipynb
関連書籍
[続きを読む]分散表現を用いた検索システムを作る。
関連書籍
[続きを読む]Refav Gallery - X(Twitter)いいねギャラリー + AIレコメンド
tsuzukan(続刊) - 漫画・小説の続刊管理アプリ
[続きを読む]Sentence Transformerを使って、 文書間の因果関係を推論しようとしている。
これができれば、報告書からそのインシデントの原因と症状を抽出できる。
そこで特徴量の学習にNLIを因果関係の情報抽出に使えないか?と考えた。
[続きを読む]janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。
generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。
[続きを読む]pip transformers fugashi ipadic
from transformers import BertJapaneseTokenizer, BertModel
import torch
class SentenceBertJapanese:
def __init__(self, model_name_or_path, device=None):
self.tokenizer = BertJapaneseTokenizer.from_pretrained(model_name_or_path)
self.model = BertModel.from_pretrained(model_name_or_path)
self.model.eval()
if device is None:
device = "cuda" if torch.cuda.is_available() else "cpu"
self.device = torch.device(device)
self.model.to(device)
def _mean_pooling(self, model_output, attention_mask):
token_embeddings = model_output[0] #First element of model_output contains all token embeddings
input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
@torch.no_grad()
def encode(self, sentences, batch_size=8):
all_embeddings = []
iterator = range(0, len(sentences), batch_size)
for batch_idx in iterator:
batch = sentences[batch_idx:batch_idx + batch_size]
encoded_input = self.tokenizer.batch_encode_plus(batch, padding="longest",
truncation=True, return_tensors="pt").to(self.device)
model_output = self.model(**encoded_input)
sentence_embeddings = self._mean_pooling(model_output, encoded_input["attention_mask"]).to('cpu')
all_embeddings.extend(sentence_embeddings)
# return torch.stack(all_embeddings).numpy()
return torch.stack(all_embeddings)
MODEL_NAME = "sonoisa/sentence-bert-base-ja-mean-tokens-v2" # <- v2です。
model = SentenceBertJapanese(MODEL_NAME)
sentences = ["暴走したAI", "暴走した人工知能"]
sentence_embeddings = model.encode(sentences, batch_size=8)
print("Sentence embeddings:", sentence_embeddings)
!pip install -U sentence-transformers
!apt-get install mecab mecab-ipadic-utf8 python-mecab libmecab-dev
!pip install mecab-python3 fugashi ipadic
import transformers
from transformers import BertJapaneseTokenizer, BertModel
transformers.BertTokenizer = transformers.BertJapaneseTokenizer
from sentence_transformers import SentenceTransformer
from sentence_transformers import models,InputExample,losses
from sentence_transformers.losses import TripletDistanceMetric, TripletLoss
from sentence_transformers.evaluation import TripletEvaluator
from sentence_transformers.readers import TripletReader
from sentence_transformers.datasets import SentencesDataset
from torch.utils.data import DataLoader
# ver0.4までは以下
#transformer = models.BERT('cl-tohoku/bert-base-japanese-whole-word-masking')
# ver1.以上では以下
transformer = models.Transformer('cl-tohoku/bert-base-japanese-whole-word-masking')
pooling = models.Pooling(
transformer.get_word_embedding_dimension(),
pooling_mode_mean_tokens=True,
pooling_mode_cls_token=False,
pooling_mode_max_tokens=False
)
model = SentenceTransformer(modules=[transformer, pooling])
df = pd.read_excel(report_path, dtype={'text':str,'tokens':str,'label':int,"cause":int,"effect":int,})
train_exapmle = []
labels = []
for index1, row1 in df.iterrows():
if row1['cause'] == 1:
label = 1
elif row1["effect"] == 1:
label = 2
else:
label = 0
train_exapmle.append(InputExample(texts=[row1.tokens], label=float(label)))
labels.append(label)
InputExample(texts=[row1.tokens], label=float(label))
train_example = SentenceLabelDataset(train_exapmle, samples_per_label=16)
train_dataloader = DataLoader(train_example, batch_size=32)
Sentence transformer用にNatural Language Inference(NLI)形式でデータ作成
[続きを読む]このページではBARTのチュートリアルを実行する手順を示す。
[続きを読む]Universal Sentence Encoder を使って文書のベクトルが得られる。
多言語に対応している。
日本語にも対応している。
日本語の文章をベクトルで扱える
クラスタリング、類似度の計算、特徴量の抽出
[続きを読む]この記事はコマンドラインをある程度利用できる方に向けて書いています。
コマンドラインがなにか分からないけど、pythonを使いたい方はGoogle Colaboratory というサービスの利用を検討してください。
[続きを読む]