文書分類問題の応用
機械学習について勉強したけど、その使い道が分からん!ってなってないですか?
勉強するときに強く意識してないと見落としがちですが、どうやって使うんだろう、とアンテナを常日頃から張らないと使い道が分からなくなります。
[続きを読む]機械学習について勉強したけど、その使い道が分からん!ってなってないですか?
勉強するときに強く意識してないと見落としがちですが、どうやって使うんだろう、とアンテナを常日頃から張らないと使い道が分からなくなります。
[続きを読む]関連書籍
[続きを読む]brew install mecab mecab-ipadic
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
./bin/install-mecab-ipadic-neologd -n -a
pip install mecab-python3
pip install transformers
import torch
from transformers.tokenization_bert_japanese import BertJapaneseTokenizer
from transformers.modeling_bert import BertForMaskedLM
tokenizer = BertJapaneseTokenizer.from_pretrained('bert-base-japanese-whole-word-masking
model = BertForMaskedLM.from_pretrained('bert-base-japanese-whole-word-masking')
input_ids = tokenizer.encode(f'''
青葉山で{tokenizer.mask_token}の研究をしています。
''', return_tensors='pt')
print(input_ids)
print(tokenizer.convert_ids_to_tokens(input_ids[0].tolist()))
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1].tolist()[0]
print(masked_index)
result = model(input_ids)
pred_ids = result[0][:, masked_index].topk(5).indices.tolist()[0]
for pred_id in pred_ids:
output_ids = input_ids.tolist()[0]
output_ids[masked_index] = pred_id
print(tokenizer.decode(output_ids))
hidden_states = result.hidden_states
単語の意味を学習する分散表現について、 実際にプログラムを実行しながら仕組みを理解しませんか?
[続きを読む]関連書籍
[続きを読む]NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit はTencentが公開しているマルチラベルな文書分類問題用のpythonライブラリです。
詳しくは
NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit NeuralClassifier is designed for quick implementation of neural models for hierarchical multi-label classification task, which is more challenging and common in real-world scenarios.
[続きを読む]
文書分類のタスクに取り組むことになり、当初は、
[続きを読む]深層学習を用いた機械翻訳モデルを用いて、ニュース本文からタイトルを自動生成するモデルの学習に成功しました。
以前にネットニュース向けに、原稿からタイトルを自動で作れないか?という案件に携わることがありました。
[続きを読む]## ニュースタイトルの自動生成モデルの作成
[続きを読む]