https://www.subcul-science.com/tags/%E6%96%87%E7%94%9F%E6%88%90/ Recent content in 文生成 on サブカル科学研究会のブログ Hugo en Wed, 09 Mar 2022 14:51:58 +0900 https://www.subcul-science.com/post/20220309summarize-matome/ Wed, 09 Mar 2022 14:51:58 +0900 https://www.subcul-science.com/post/20220309summarize-matome/ <ul> <li>日本語文章の自動要約について調べたのでまとめておく</li> <li>原文から一部を選択的に抜粋する抽出型と機械翻訳のように対応する要約文を生成する生成型がある</li> <li>またウェブで公開されている要約サービスもある</li> </ul> <h2 id="生成型要約">生成型要約</h2> <h3 id="モデル">モデル</h3> <ul> <li>DNN　言語モデル <ul> <li>BERTの文脈から派生した要約手法が多い</li> <li>BART <ul> <li>BERTから文の要約に特化して派生したもの</li> <li><a href="https://www.subcul-science.com/post/20210119huggingface/">BART(文章要約モデル)</a>は日本語に対応していない</li> </ul> </li> <li>T5 <ul> <li>学習をすべて自然言語で設定して行うことで複数のタスクへと柔軟に対応する、というコンセプトのモデル</li> <li><a href="https://www.subcul-science.com/post/20210701t5/">T5がhugging face で公開</a>されたモデルをファインチューニングして使うことが割と手軽にできた</li> <li>要約だけでなく単語の分散表現を得ることにも使える</li> </ul> </li> </ul> </li> <li>整数計画問題 <ul> <li>ソルバーで厳密に解くことができる <ul> <li>無償のソルバーはpythonだと<a href="https://coin-or.github.io/pulp/index.html">pulp</a>, <a href="https://www.python-mip.com/">Python-MIP</a>が選択肢になる</li> <li>式を記述する際の挙動の軽さから私はPython-MIPを勧める</li> </ul> </li> <li>制約条件として文の数、文字数を指定できる</li> <li>計算時間が短いというわけではない <ul> <li>定式化の問題か？</li> </ul> </li> <li>各モデル <ul> <li>文全体が一つのトピックを扱っていると仮定して、その代表的な文を拾ってくるイメージ</li> <li>McDonaldモデル</li> <li>最大被覆モデル</li> <li>施設配置モデル <ul> <li>劣モジュラ最適化問題に帰着できる</li> <li>文の類似度を計算する必要がある</li> <li>原論文では単語の重複をスコアとしている <ul> <li>ROUGEみたいな</li> <li>２０２２年現在では<a href="https://www.subcul-science.com/post/20220302embedding-matome/">文の分散表現を求める</a>こともできるのでそこはケースバイケースで特徴量を選択する</li> </ul> </li> </ul> </li> </ul> </li> </ul> </li> <li>LexRank <ul> <li>文間の類似度からグラフ関係を計算して、重要な文をランキングする</li> <li>文字数の指定はできない</li> <li>Sentence Transformersのサイトに<a href="https://sbert.net/examples/applications/text-summarization/README.html">実装例</a>がある <ul> <li>日本語に適用するには多少の修正が必要になる</li> </ul> </li> <li>別に文の間の類似度が出せるならSBERTでなくてもいい <ul> <li>ROUGE, <a href="https://www.subcul-science.com/post/universal-sentence-encoder/">USE</a>など</li> </ul> </li> </ul> </li> </ul> <h3 id="サービス">サービス</h3> <ul> <li><a href="https://www.digest.elyza.ai/">イライザダイジェスト</a> <ul> <li>３文に要約</li> <li>割と内容を理解した出力をする印象</li> <li>生成型特有のゆらぎが見られる <ul> <li>不自然な箇所に句読点など</li> </ul> </li> </ul> </li> <li>タンテキ（サービス終了） <ul> <li>３文に要約</li> <li>抜粋型か？</li> </ul> </li> </ul> <h2 id="関連記事">関連記事</h2> <ul> <li><a href="https://www.subcul-science.com/post/20250705japanese-text-generation-solution/">日本語テキスト生成の精度が低い・コストが高い問題をT5で解決</a></li> </ul> <hr> <p><strong>機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ</strong></p> https://www.subcul-science.com/post/20200612dnnabstractnewstitle/ Fri, 12 Jun 2020 23:52:00 +0900 https://www.subcul-science.com/post/20200612dnnabstractnewstitle/ <ul> <li>深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。</li> <li>朝日新聞が自動要約生成APIの提供を始めました。 <ul> <li><a href="https://cl.asahi.com/api_data/headlinegeneration.html">自動要約生成API: TSUNA </a></li> </ul> </li> </ul> <h2 id="追記">追記</h2> <ul> <li>2022時点なら<a href="https://www.subcul-science.com/post/20210701t5/">T5を使ってファインチューニングを試す</a>方が簡単な気がする。</li> </ul> <h2 id="モデル概要">モデル概要</h2> <ul> <li>朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。</li> <li>さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。</li> <li>また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。</li> <li>この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。</li> </ul> <p>##　ニュースタイトルの自動生成モデルの作成</p>