深層学習

アテンションを用いた画像処理モデルの作成のまとめ

画像認識にアテンションという機構を付与して、判断の根拠を可視化しました。

前振り

画像認識についてはもう深層学習が人間を超えてから(2015)しばらく経っています。

AI を用いて観賞魚の品種識別のまとめ

1. AI はもはや普通の人間を超える性能を発揮している

2. 深層学習系の手法がメジャー

3. デバイスは2 万円〜から利用が可能

前振り

仕事がらAIについて調べております。調べると言ってもプレスリリースを漁るといったものではなく、主に公開されている論文やソースコードを読みこなして自力でAIを構築できるように取り組んでいます。

問題解決の思考はまだ人間がしないといけないよ。

AIは魔法の杖じゃないよ。

機械学習、AI、深層学習がすごいのは事実としてそうだと思うけど、線形計画や統計みたいな素朴な方法が全て取って代わられるかというと、そうではないよね。

• 深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
• 朝日新聞が自動要約生成APIの提供を始めました。
  • 自動要約生成API: TSUNA

追記

• 2022時点ならT5を使ってファインチューニングを試す方が簡単な気がする。

モデル概要

• 朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
• さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
• また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
• この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

##　ニュースタイトルの自動生成モデルの作成