日本語テキスト生成の精度が低い・コストが高い問題をT5で効率的に解決する方法

日本語テキスト生成で直面する課題

日本語の文章要約、タイトル生成、文書分類などのタスクに取り組む際、以下のような問題に直面していませんか?

1. 精度の問題

  • 従来のルールベース手法では自然な日本語文章が生成できない
  • 英語向けモデルでは日本語の文法や表現に対応できない
  • 複数のタスクで個別にモデルを構築する必要がある

2. 開発コストの問題

  • 各タスク専用のモデル開発に時間とリソースがかかる
  • 文書分類、要約、タイトル生成それぞれで異なるアプローチが必要
  • 学習データの準備とモデル構築の工数が膨大

3. 運用の複雑さ

  • 複数のモデルを管理・運用する必要がある
  • タスクごとに異なるAPIやインターフェース
  • モデルの更新やメンテナンスが煩雑

実際に遭遇したテキスト生成の課題事例

失敗事例:タスク別個別開発の限界

# 従来のアプローチ
classification_model = load_bert_classifier()      # 文書分類用
summarization_model = load_summarization_model()   # 要約用
title_generation_model = load_title_model()        # タイトル生成用

# 問題:
# - 3つのモデルを個別管理
# - メモリ使用量が3倍
# - 開発・保守コストが高い

この問題を解決するのが**日本語T5(Text-To-Text Transfer Transformer)**です。

[続きを読む]

日本語要約の手法・サービスのまとめ

  • 日本語文章の自動要約について調べたのでまとめておく
  • 原文から一部を選択的に抜粋する抽出型と機械翻訳のように対応する要約文を生成する生成型がある
  • またウェブで公開されている要約サービスもある

生成型要約

モデル

  • DNN 言語モデル
    • BERTの文脈から派生した要約手法が多い
    • BART
    • T5
      • 学習をすべて自然言語で設定して行うことで複数のタスクへと柔軟に対応する、というコンセプトのモデル
      • T5がhugging face で公開されたモデルをファインチューニングして使うことが割と手軽にできた
      • 要約だけでなく単語の分散表現を得ることにも使える
  • 整数計画問題
    • ソルバーで厳密に解くことができる
      • 無償のソルバーはpythonだとpulp, Python-MIPが選択肢になる
      • 式を記述する際の挙動の軽さから私はPython-MIPを勧める
    • 制約条件として文の数、文字数を指定できる
    • 計算時間が短いというわけではない
      • 定式化の問題か?
    • 各モデル
      • 文全体が一つのトピックを扱っていると仮定して、その代表的な文を拾ってくるイメージ
      • McDonaldモデル
      • 最大被覆モデル
      • 施設配置モデル
        • 劣モジュラ最適化問題に帰着できる
        • 文の類似度を計算する必要がある
        • 原論文では単語の重複をスコアとしている
          • ROUGEみたいな
          • 2022年現在では文の分散表現を求めることもできるのでそこはケースバイケースで特徴量を選択する
  • LexRank
    • 文間の類似度からグラフ関係を計算して、重要な文をランキングする
    • 文字数の指定はできない
    • Sentence Transformersのサイトに実装例がある
      • 日本語に適用するには多少の修正が必要になる
    • 別に文の間の類似度が出せるならSBERTでなくてもいい
      • ROUGE, USEなど

サービス

  • イライザダイジェスト
    • 3文に要約
    • 割と内容を理解した出力をする印象
    • 生成型特有のゆらぎが見られる
      • 不自然な箇所に句読点など
  • タンテキ(サービス終了)
    • 3文に要約
    • 抜粋型か?

関連記事


機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

[続きを読む]

hugging face でBART(文章要約モデル)を使ってみた

  • BARTは文書要約のためのモデル
  • BERTと同じtransformerの派生
  • BERTとは異なり、encoder-decoderの構造
    • これは文生成を目的とするため

2022/03追記

このページではBARTのチュートリアルを実行する手順を示す。

[続きを読む]