サブカル科学研究会のブログ

自分を変えたいと思いませんか？

でもそれって大変ですよね。

素人がアウトプットするのって抵抗あるよね？

アウトプットを多くしよう

インプット3:アウトプット7が理想という説を信じるならば、圧倒的にアウトプット量が足りていない。

勉強嫌いやと思ってない？それ、学校の勉強が嫌いなだけかもしれへんで？

勉強について

そういえば勉強のコツってメモしたっけか？
まあ、個人的なやり方やし、なんかエグイ結果が出たかと言われると困るんやけど。

コンテンツの世界観って大事にしてる？

私は最近その楽しみ方が出来るようになって、幅が広がった気がするんよ。

世界観のコンテンツ

#アイマス の曲を久しぶりに聞いてるんやけど、曲とドラマパートを合わせて楽しむというのは世界観の娯楽やな！ #ヒプノシスマイク でも同じ楽しみ方が出来て、改めて聞き返すと曲の歌詞や音への解釈力が上がっててより深く楽しめる！すごいわ。

.

A vector of documents can be obtained using Universal Sentence Encoder.

Features

Supports multiple languages.

Japanese is supported.

Can handle Japanese sentences as vectors.

Usage

Clustering, similarity calculation, feature extraction.

Usage

Execute the following command as preparation.

pip install tensorflow tensorflow_hub tensorflow_text numpy   

Trained models are available.

See the python description below for details on how to use it.

import tensorflow_hub as hub  
import tensorflow_text
import numpy as np  
# for avoiding error  
import ssl  
ssl._create_default_https_context = ssl._create_unverified_context  

def cos_sim(v1, v2):  
   return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))  
  
embed = hub.load("https://tfhub.dev/google/universal-sentence-encoder-multilingual/3")  
  
texts = ["I saw a comedy show yesterday." , "There was a comedy show on TV last night." , "I went to the park yesterday." , "I saw a comedy show last night.", "Yesterday, I went to the park."]  
vectors = embed(texts)  
```.

See the following link for more details

[Try Universal Sentence Encoder in Japanese](https://qiita.com/kenta1984/items/9613da23766a2578a27a)


### Postscript
```py
import tensorflow_text

Without this line, you will get an error like ``Sentencepiece not found! error. This line is not explicitly used in the sample source, but is required for the actual execution. This line is not explicitly used in the sample source, but is required in the actual runtime.

この記事はコマンドラインをある程度利用できる方に向けて書いています。

コマンドラインがなにか分からないけど、pythonを使いたい方はGoogle Colaboratory というサービスの利用を検討してください。

Applying the Document Classification Problem

You’ve learned about machine learning, but you don’t know how to use it! Isn’t it?

It is easy to overlook this if you don’t pay attention to it when you study it, but if you don’t keep your antennas up, you won’t know how to use it.

If you don’t keep your antennae up, you won’t know how to use it. Since a tool is only a tool if it is used, you should make a note of how you use your newly acquired tool.

数学は暗記だ、と思っている人居ますよね？

直観で理解できたら簡単なのにって思いませんか？

物理数学は難しい

物理数学には挫折するポイントが幾つもある。

大学で数学の講義を受けて、ヒイコラ言いながら単位を取る。理解など到底おぼつかない。まして直観的な方法だって？

word2vecを理解しよう！

• word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか？
  • アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
  • 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
  • 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか？

環境構築不要！

• そこでGoogle Colaboratoryというサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう！
  • Google Colaboratory はGoogleが提供しているサービスです。
  • Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
• そこでword2vecを動かせるプログラムを用意しました。
• このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから

• 詳細は以下のリンクからどうぞ。
  • word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

関連書籍

huggingface has released a Japanese model for BERT.

The Japanese model is included in transformers.

However, I stumbled over a few things before I could get it to actually work in a Mac environment, so I’ll leave a note.

Preliminaries: Installing mecab

The morphological analysis engine, mecab, is required to use BERT’s Japanese model.

The tokenizer will probably ask for mecab.

This time, we will use homebrew to install Mecab and ipadic.

Mac でpythonの環境構築

Mac にpythonをどうやってインストールしたらいいのか悩んでいませんか？

単純にhome brewを使ってインストールしてもいいのですが、 以下のデメリットがあります。