技術

word2vecを理解しよう！

• word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか？
  • アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
  • 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
  • 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか？

環境構築不要！

• そこでGoogle Colaboratory というサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう！
  • Google Colaboratory はGoogleが提供しているサービスです。
  • Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
• そこでword2vecを動かせるプログラムを用意しました。
• このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから

• 詳細は以下のリンクからどうぞ。
  • word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

Mac でpythonの環境構築

Mac にpythonをどうやってインストールしたらいいのか悩んでいませんか？

単純にhome brewを使ってインストールしてもいいのですが、 以下のデメリットがあります。

**

Let’s start with Word2Vec.**

word2vec is a model that can learn the semantic vectors of words from unlabeled text are.

Dealing with word vectors allows for applications such as word similarity calculation and clustering, and BERT. And BERT, an extension of that technology, is also used in Google’s search service.

It’s hard to understand the concept.

But are you struggling to learn about word2vec? It’s hard to understand the concept because it’s not something you’re familiar with.

社会実装と研究

社会データ実装は一筋縄ではいかない！？～AIによる海上保安:船舶モニタリングを行うGeoTrackNetとは～

最先端が最善ではない

最先端の手法を使えばいい結果が得られると思いがちです。

しかし、実世界の問題ではデータがきちんと整備されていることは少ない。

また取得したデータを加工したとして、そのデータにアルゴリズムを適用しても狙った結果が得られないこともある。

• 深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
• 朝日新聞が自動要約生成APIの提供を始めました。
  • 自動要約生成API: TSUNA

追記

• 2022時点ならT5を使ってファインチューニングを試す方が簡単な気がする。

モデル概要

• 朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
• さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
• また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
• この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

##　ニュースタイトルの自動生成モデルの作成