文書分類問題の応用を列挙したった

文書分類問題の応用

機械学習について勉強したけど、その使い道が分からん!ってなってないですか?

勉強するときに強く意識してないと見落としがちですが、どうやって使うんだろう、とアンテナを常日頃から張らないと使い道が分からなくなります。

[続きを読む]

word2vecのアルゴリズムを把握するためにnotebookで動かしながら挙動を理解しよう

word2vecを理解しよう!

  • word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか?
    • アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
    • 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
    • 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか?

環境構築不要!

  • そこでGoogle Colaboratoryというサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう!
    • Google Colaboratory はGoogleが提供しているサービスです。
    • Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
  • そこでword2vecを動かせるプログラムを用意しました。
  • このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから


関連書籍

[続きを読む]

日本語Wikipediaで学習したBERTが公開されたので使い方のメモ

  • huggingface がBERTの日本語モデルを公開しました。
  • 日本語モデルはtransformersに含まれています。
  • しかし、Mac 環境で実際に動かすまでにいくつか躓いたので、メモを残しておきます。

前準備:mecabのインストール

  • 形態素解析エンジンであるMeCabが BERT の日本語モデルを利用する際に必要になります。
  • おそらくトークナイザがmecabを要求する仕組みになっています。
  • 今回はHomebrewを利用して、MeCabとipadicをインストールします。
brew install mecab mecab-ipadic
  • 辞書を更新するために、適当な辞書用のディレクトリを作成し、以下のコマンドを実行します。
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git  
./bin/install-mecab-ipadic-neologd -n -a
  • python のmecabラッパーをインストールします。
pip install mecab-python3

transformersのインストール

pip install transformers

BERT の利用方法については下記の例を参考にします。

import torch  
from transformers.tokenization_bert_japanese import BertJapaneseTokenizer  
from transformers.modeling_bert import BertForMaskedLM  
tokenizer = BertJapaneseTokenizer.from_pretrained('bert-base-japanese-whole-word-masking
  • bert-base-japanese-whole-word-maskingは学習時に用いたトークナイズの方法(単語区切りか文字区切り)を指定しています。
model = BertForMaskedLM.from_pretrained('bert-base-japanese-whole-word-masking')
  • タスクに対応したBERTモデルを読み込みます。
  • 今回はMLM(Masked Language Model )となります。
  • マスクトークンが存在する位置に入る単語の確率を返します。
input_ids = tokenizer.encode(f'''  
   青葉山で{tokenizer.mask_token}の研究をしています。  
''', return_tensors='pt')
  • トークナイザを利用して、トークンを対応する辞書番号に変換します。
print(input_ids)  
print(tokenizer.convert_ids_to_tokens(input_ids[0].tolist()))
  • id番号を対応する辞書のトークンに置き換えます。
masked_index = torch.where(input_ids == tokenizer.mask_token_id)[1].tolist()[0]  
print(masked_index)  
result = model(input_ids)  
pred_ids = result[0][:, masked_index].topk(5).indices.tolist()[0]  
for pred_id in pred_ids:  
   output_ids = input_ids.tolist()[0]  
   output_ids[masked_index] = pred_id  
   print(tokenizer.decode(output_ids))
  • マスクトークンが入っている位置に入る確率が高いトークンをk=5個表示します。
  • BERT のモデルを指定することで、単語の確率だけでなく、分散表現も計算できます。
hidden_states = result.hidden_states

自然言語の分散表現を取得したあとの応用範囲

単語の分散表現の応用範囲は以下のリンク

分散表現の仕組みについて学ぶ

単語の意味を学習する分散表現について、 実際にプログラムを実行しながら仕組みを理解しませんか?

[続きを読む]

word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

  • 日本語を扱うAIについて解説する本を出すことで少しでも多くの人にAI、特に日本語を扱う自然言語処理に関心を持ってもらい、日本語で使えるAIの研究開発が盛んになり、最先端のAIの恩恵を日本語で受けられる未来を実現したいです。
  • そのためにAIのモデルの一つである word2vec についてアルゴリズムの解説本を世に出したいです。

メリット

  1. Google Colaboratory という無料のプログラミング環境を使って、アルゴリズムの挙動を分かりやすく説明する。ただ実装を紹介するのではなくコードの意味に納得感を得られるものにします。
  2. 日本語を扱うAIについて日本語で説明します。
  3. 本書を読むことでfasttextというモデルの実装とアルゴリズムの理解が出来るようになり、最先端のモデルへの理解をしやすくなります。

Word2Vec から始めよう

  • word2vec はラベル無しの文章から単語の意味ベクトルを学習することが出来るモデルです。
  • 単語のベクトルを扱うことで、単語の類似度の計算やクラスタリングといった応用が可能になります。
  • そしてその技術の延長であるBERTはGoogleの検索サービスにも用いられています。
  • 2021年時点での自然言語処理で必須の概念となる単語の分散表現を学習することへの理解を進めるために word2vec の仕組みを知ることは非常に役に立ちます。

問題点: 概念の理解が難しい

  • しかし、皆さんはword2vec について勉強しようとして、苦戦していませんか?なかなかその概念を理解することは、馴染みが無いものですから、難しいです。
  • word2vec について解説している資料はすでにあります。
  • しかし、図解だけでは仕組みを理解して扱うレベルに至るのは難しいでしょう。
  • そして実際に動くプログラムで記述されると、解説のコメントがあっても、その一行が何をしているのか飲み込みづらいものです。

Google Colaboratory を使って、アルゴリズムの挙動を把握することでその仕組みを理解する

  • そこで一行単位でプログラムを実行できるGoogle Colaboratoryを利用することをおすすめします。
  • Google Colaboratory を使うメリットとして、
    • Gmail のアカウントを取得していれば無料であること、
    • 一行単位で実行できること、
    • word2vec以外の機械学習にも応用が効くことが挙げられます。
  • 実際に多くの方がGoogle Colaboratory を利用して機械学習の学習や実験に取り組んでいます。
  • アルゴリズムの仕組みを理解するには実際に手を動かしてみるのが一番です。
  • 私も実際にword2vecを動かして遊びながら、理解を深めていきました。
  • そこで皆さんの学習の助けとなるように、Google Colaboratoryのプログラムと解説を用意しました。

以下のリンクからどうぞ。


関連書籍

[続きを読む]

文書分類問題に対応するめちゃたくさんのモデルを提供するライブラリNeuralClassifier の使い方について

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit はTencentが公開しているマルチラベルな文書分類問題用のpythonライブラリです。

詳しくは

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit NeuralClassifier is designed for quick implementation of neural models for hierarchical multi-label classification task, which is more challenging and common in real-world scenarios.

[続きを読む]

Fasttextで文書分類問題までやったった

Fasttext で文書分類問題までやったったのまとめ

  • Facebook research がFasttextを使った文書分類ライブラリを公開してる
  • Fasttext のpython 環境でのinstall 方法は簡単
  • 実行時間は早い

前振り

文書分類のタスクに取り組むことになり、当初は、

[続きを読む]

短文ニュースを作るための要約文生成AIをつくったった

深層学習を用いた機械翻訳モデルを用いて、ニュース本文からタイトルを自動生成するモデルの学習に成功しました。

追記

前振り

以前にネットニュース向けに、原稿からタイトルを自動で作れないか?という案件に携わることがありました。

[続きを読む]

深層学習でニュースタイトルの自動生成モデルつくったった

  • 深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
  • 朝日新聞が自動要約生成APIの提供を始めました。

追記

モデル概要

  • 朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
  • さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
  • また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
  • この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

## ニュースタイトルの自動生成モデルの作成

[続きを読む]