自然言語処理

janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。

generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。

生成式要約文のモデルに需要がある。

そのモデルの評価指標についてのめも。

結論としてはやはり正解になる文の用意は必要だということ。

そこを省きたいんだけどなぁ？

この記事はコマンドラインをある程度利用できる方に向けて書いています。

コマンドラインがなにか分からないけど、pythonを使いたい方はGoogle Colaboratory というサービスの利用を検討してください。

word2vecを理解しよう！

• word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか？
  • アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
  • 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
  • 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか？

環境構築不要！

• そこでGoogle Colaboratoryというサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう！
  • Google Colaboratory はGoogleが提供しているサービスです。
  • Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
• そこでword2vecを動かせるプログラムを用意しました。
• このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから

• 詳細は以下のリンクからどうぞ。
  • word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

関連書籍

• 深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
• 朝日新聞が自動要約生成APIの提供を始めました。
  • 自動要約生成API: TSUNA

追記

• 2022時点ならT5を使ってファインチューニングを試す方が簡単な気がする。

モデル概要

• 朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
• さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
• また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
• この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

##　ニュースタイトルの自動生成モデルの作成