サブカル科学研究会のブログ

T5(Text-To-Text Transfer Transformer) とは

• 事前学習における入出力を文に統一してしまうことで、 複数の形式の問題に対しても適応できる様式となった。
• モデルの基本構造としては Transformer が使われており、その点はBERTと共通している。
• 事前学習の形式をすべてテキストによる指定にするというアイデアはGPT-3などでも用いられている。
  • 0 shot learning など入力文で模範解答例を入力するだけで、出力を操作するということも行われている
  • “操作の指定:入力文１、出力に期待する文、操作の指定：入力文２"で、“出力文２"が得られるという次第

できること

• 下流のタスクとして転移学習を行うことで以下のようなことが実行できる。
  • 文書分類
  • タイトル生成
  • 文章生成
  • 生成要約

生成要約の例

• 一つの原文から２種類の要約文を生成するファインチューニングが思いの外うまく働いた。

データとしては

Circle Ci を利用してre:viewをビルドしてpdfを得る手順

1. Re:VIEW Template をローカルに用意する
2. 自分のgithubレポジトリに移す
3. article フォルダ以下の該当するファイルを編集する
4. Circle Ciへgithubアカウントでログインして連携する
5. 自分のgithub レポジトリへpushするとgithub actions が実行される
6. Actions -> buildの指定 -> Artifacts から出力されたpdfをダウンロードできる

参考リンク

• ワークフローの成果物をダウンロードする
• Circle Ci
• Re:VIEW Template

Chrome OSでRを触るために環境を構築した。

文字入力の利便性の点からRstudio Serverを利用することとした。

Rstudio Serverはサーバー上にRstudioを起動してクライアントのブラウザから操作ができる。

tarky: reevo　試してみたぞ。

メロディ生成、人口音声生成、でまあアイデア出しにはなるんちゃうか？

R：　自動作曲系だとfork RNNもあるね。

これはMIDIで出力できるのが嬉しい。

今回のメモ

• ストロークが詰まる
  • 打つときに動きながら打っているので、打点が内側にずれる原因になっているらしい。
  • 止まって打つことを意識しようとのこと
• サーブは安定して入れられるようになった
  • 前を向いて弾道を意識しながら打つイメージだと打球のコントロールが良くなる気がする
• リターンがアホほど下手くそ
  • テイクバックが遅いのか？
  • 低い弾道でアウトしないリターンのイメージが掴めない
  • ストロークの練習のときと何が違うのか？
  • いやストロークの練習も下手くそか
  • ロブみたいに打ち上げることが多い。
• サーブで筋肉がつった
  • 水分補給をちゃんとしよう
  • 甘草の漢方がよく効くらしい。同じレッスンを受けていた方に頂いた。自分用に常備しようかしら？

次回への課題

• ストロークの方法について情報収集

参考資料

スライスサーブの方法

リターンの方法

ツムラの漢方

芍薬甘草湯（シャクヤクカンゾウトウ)

Dialogue

R: I don’t understand soccer at all, but you can talk a lot, can’t you tarky?

R: I don’t know anything about soccer, but you can talk a lot, can’t you? tarky: That’s because I used to go to the home games of my favorite clubs quite often.

Hanasana: In Hiroshima, there’s Sanfrecce Hiroshima. A recent topic for Sanfrecce Hiroshima is the Emperor’s Cup. In soccer, from the top to the bottom, there is J1, J2, J3, and JFL, and there was a giant-killing when they were trounced 1-5 by a team from the fifth division.

手順

1. ターミナルでcurl -fsSL https://code-server.dev/install.sh | sh を実行してインストールする。
2. バックエンドでcode-serverを起動するようにする。sudo systemctl enable --now code-server@$USER
3. cat ~/.config/code-server/config.yamlでパスワードを確認する。ここでパスワードを設定し直したり、ipアドレスを設定したりする。
4. http://127.0.0.1:8080 をブラウザからアクセスして、上で確認したパスワードを入力する。

参考リンク

• Visual Studio Code を Chromebook で使う方法と、Chrome OS のレンダリングパイプライン
• code server

interactive

R: I’ve recently become interested in something called NFT.

TARKY: Yeah, I gave it a try.

R: What’s it like?

tarky: Right now I’m stuck at creating an account, but I wonder if it’s that different from trading virtual currency.

R: I’m not sure about the virtual currency trading, though.

tarky: First, you open an account at an NFT exchange and deposit virtual currency into it.

Then you use the virtual currency to buy collections (works of art linked to virtual currency).

hugo は多言語をサポートしている

基本的にはindex.mdをindex.en.md などのように言語情報を追記するだけでいい。

それで翻訳ページとして処理される。

R: I’d like you to give evidence or sources when you talk about it.

Tarky: What do you mean? Commentators on TV shows say whatever they want.

R: Those are experts of some kind, aren’t they? I’d like you to ensure their expertise.

Tarky: That’s a natural science argument, so I don’t think it’s something that is generally required or accepted.

R: Does that mean you think so?

Tarky: The argument is refined with evidence. The argument is refined by criticism. I think this is a special method of argumentation in the natural sciences, which we developed in our graduate school days. It’s not the best way to appeal to the masses.