Python on サブカル科学研究会のブログ

StreamlitでChatGPTのUIを作る—LangChain ReActエージェントとGoogle検索の組み合わせ

Mon, 20 Apr 2026 21:00:00 +0900

Streamlit と LangChain を組み合わせて、Google検索・Wikipedia検索ツールを持つ ChatGPT エージェントのWebUIを作りました。LangChain の ReAct（Reason + Act）エージェントが自律的にツールを選択して質問に答えます。

EasyOCRで日本語画像をテキスト化—セットアップから実運用まで

Mon, 20 Apr 2026 20:00:00 +0900

EasyOCRを使ってJPEG画像から日本語テキストを抽出するスクリプトを作りました。フォルダにまとめて置いた画像を一括処理し、テキストファイルに書き出します。日本語OCRの精度と前処理のコツも解説します。

GradioでAI水平思考クイズを作ってHugging Face Spacesにデプロイした話

Mon, 20 Apr 2026 19:00:00 +0900

水平思考クイズ（海亀スープ）のAI GMをGradioで作りました。Cohere の command-r-plus モデルが「はい」「いいえ」「わからない」で答えるGMを担当し、CSVで問題を管理します。Hugging Face Spacesに無料でデプロイしています。

Xのタイムラインを自動要約！FastAPI + LLMで作るトピックダイジェストシステムの設計

Mon, 20 Apr 2026 18:00:00 +0900

関心のあるトピック（キーワード）を登録すると、X（Twitter）の関連ツイートを収集しLLMで要約するWebアプリ「TopicDigestX」の設計を紹介します。FastAPI + SQLAlchemy + React + Viteの構成で、Docker Composeで手軽に起動できます。

Apple SiliconでLLMをファインチューニング！MLX + LoRAで日本語読解モデルを自作する方法

Mon, 20 Apr 2026 16:00:00 +0900

LiquidAI の LFM2.5-1.2B-JP モデルを Apple Silicon の MLX フレームワークで LoRA ファインチューニングするパイプラインを構築しました。JsQuAD（日本語読解）データセットで学習し、カスタム Chunked Loss と早期停止も実装しています。

バンドのセットリストをAIで自動生成！OR-Tools TSPで転換コストを最小化する方法

Mon, 20 Apr 2026 15:00:00 +0900

バンド「Luke Avenue」のセットリスト作成を自動化するスクリプトを開発しました。OR-ToolsのTSP（巡回セールスマン問題）ソルバーで、メンバー交代によるパート転換コストを最小化した最適な曲順を自動生成します。YouTube APIで曲の長さも自動取得します。

声を学習してテキスト読み上げ！TADAで作る日本語ボイスクローンTTSシステム

Mon, 20 Apr 2026 14:00:00 +0900

HumeAIのTADA（Text-Acoustic Dual Alignment）を使って、参照音声の声質でテキストを読み上げるボイスクローンTTSシステムを構築しました。FastAPIサーバーとCLIツールで構成し、日本語の読み上げに対応しています。

配信録画を自動で分割！FFmpegのsilencedetectで作る動画分割Webアプリ

Mon, 20 Apr 2026 09:00:00 +0900

FFmpegのsilencedetect フィルターを使って動画を無音区間で自動分割する Webアプリ「JamSlicer」を開発しました。従来の librosa/moviepy 実装と比べてメモリ使用量を 1/100 以下に抑えつつ、分割速度を10〜20倍に向上させた実装を解説します。

How to Efficiently Solve Low Accuracy and High Cost Issues in Japanese Text Generation with T5

Sat, 05 Jul 2025 21:00:38 +0900

Challenges in Japanese Text Generation

When working on Japanese text summarization, title generation, and document classification tasks, do you face these problems?

1. Accuracy Issues

Traditional rule-based methods cannot generate natural Japanese text
English-oriented models cannot handle Japanese grammar and expressions
Need to build separate models for multiple tasks

2. Development Cost Issues

Time and resources required for task-specific model development
Different approaches needed for document classification, summarization, and title generation
Enormous effort required for preparing training data and building models

3. Operational Complexity

Need to manage and operate multiple models
Different APIs and interfaces for each task
Complex model updates and maintenance

Real-world Text Generation Challenge Cases

Failure Case: Limitations of Task-specific Individual Development

# Traditional approach
classification_model = load_bert_classifier()      # For document classification
summarization_model = load_summarization_model()   # For summarization
title_generation_model = load_title_model()        # For title generation

# Problems:
# - Managing 3 separate models
# - 3x memory usage
# - High development and maintenance costs

The solution to this problem is Japanese T5 (Text-To-Text Transfer Transformer).

日本語文書の意味的類似度計算が遅い・精度が低い問題をSentence BERTで解決する方法

Sat, 05 Jul 2025 20:32:15 +0900

文書類似度計算で直面する課題

日本語の文書検索や推薦システムを構築する際、以下のような問題に直面していませんか？

1. 精度の問題

単語レベルの一致だけでは文書の意味的類似度を正確に測れない
同じ意味でも表現が異なる文書を関連文書として発見できない
従来のTF-IDFやBM25では意味的な類似度が取得できない

2. 計算速度の問題

BERTモデルで毎回文書をエンコードすると時間がかかりすぎる
大量の文書との類似度計算がリアルタイムで実行できない
文書検索のレスポンス時間が数秒〜数十秒かかる

3. 日本語対応の問題

英語向けのモデルでは日本語の意味的類似度が正確に取得できない
日本語特有の表現や文法構造に対応していない
カスタムモデルの構築が困難

実際に遭遇した文書類似度の課題事例

失敗事例：従来手法での限界

# TF-IDFによる類似度計算の例
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 以下のような文書では類似度が正しく計算されない
doc1 = "機械学習の精度を向上させる方法"
doc2 = "AIモデルの性能を改善する手法"
# 結果: 低い類似度（単語が異なるため）

# BERTの直接利用も計算コストが高い
# 毎回エンコードが必要で、大量データに不向き

この問題を解決するのが**Sentence BERT**です。

文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

Sat, 05 Jul 2025 20:28:41 +0900

文書分類で直面する三重苦

文書分類プロジェクトに取り組む際、以下のような問題に直面していませんか？

1. 精度の問題

既存の手法では十分な精度が出ない
複雑なディープラーニングモデルでも期待した結果が得られない
データセットによって性能が大きく左右される

2. 速度の問題

学習時間が長すぎてイテレーションが回せない
GPUリソースが必要で開発コストが高い
本格的なモデル訓練に数時間〜数日かかる

3. 導入コストの問題

複雑なモデルの構築・運用が困難
環境構築が複雑で他のメンバーに共有できない
プロトタイプ作成に時間がかかりすぎる

実際に遭遇した文書分類の課題事例

失敗事例：複雑なモデルでの挫折

# NeuralClassifierを使った事例
# 複雑な設定ファイルが必要
# GPU環境の準備が必要  
# 結果：精度が期待値以下、学習時間が長い

このような状況で、Facebook Researchが公開するFasttextライブラリが解決策として注目されています。

機械学習実験が管理できず再現性がない問題をMLflowで体系的に解決する方法

Sat, 05 Jul 2025 20:23:24 +0900

機械学習実験で直面する再現性の課題

機械学習の実験を繰り返していると、以下のような問題に直面することがありませんか？

良い結果が出たモデルのパラメータを忘れてしまう
過去の実験結果を比較できず、改善が進まない
チームメンバーと実験結果を共有できない
同じ実験を再実行しても結果が再現できない

これらの問題は、機械学習の実践が「ある種の黒魔術」となってしまう原因でもあります。

キーワード検索では見つからない関連文書を発見する方法

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜキーワード検索では欲しい文書が見つからないのか

社内の膨大な文書データベースから「機械学習の性能向上に関する文書」を探しているとします。キーワード検索で「機械学習」「性能向上」と入力しても、本当に必要な文書が見つからない経験はありませんか？

少ないデータで高精度な文書分類を実現する戦略

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ実際のプロジェクトでは十分なデータが集まらないのか

「ニュース記事を『政治・経済・スポーツ・エンタメ』に自動分類したい。でも各カテゴリ30件ずつしかラベル付きデータがない…」

機械学習の教科書では数万件のデータセットが当たり前ですが、実際のビジネス現場では全く異なります。

日本語自然言語処理で直面する現実的な課題と解決策

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ日本語のテキスト処理は難しいのか

「英語のNLPライブラリを日本語に適用したら、全然うまくいかない…」

日本語の自然言語処理は、英語中心に設計されたツールでは対応できない独特な課題が多数存在します。

機械学習実験の混乱を解決する：再現できない結果との戦い

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ機械学習の実験結果が再現できないのか

「先週良い結果が出たモデルがあったんだけど、どのパラメータを使ったか覚えてる？」

機械学習プロジェクトでこんな会話を聞いたことはありませんか？多くのチームが直面する典型的な問題です。

ctranslate2でpytorchがimportできないエラーが出たので回避方法メモ

Fri, 18 Aug 2023 16:23:27 +0900

公式のインストール方法

pip install ctranslate2

CTranslate2（GitHub）

Macでは上手く動作しない

segmentatioin faultになった。

しかしlinuxでは動作するとの情報を得た。なのでまずはMacの中でDocker環境を構築して問題を回避できないか確認しようとした。

pysenをインストールするとmypy周りで他のライブラリがエラーになる

Sun, 18 Jun 2023 01:53:52 +0900

pysenが入っていたらLangChainと依存関係がバッティングする？

環境

Mac OS poetry python == 3.9

LangChainのインストールに失敗する

poetry add langchain

が失敗する

CLANG 〜

C言語関係のエラーかと思われた。

なんだっけ

xcode-toolsのインストールとアップデート

pip install --update pip
pip install --upgrade setuptools

mypyのバージョンによるエラーらしい

poetry環境でpytorchをインストールしても失敗したのでその対処法

Wed, 07 Jun 2023 05:47:12 +0900

`poetry add torch` でパスが通らない

Dcokerfile＋Poetryで環境構築をしていた
poetry add torchでpytorchをインストールした
import torchでエラー
cuda周りのパスが通っていないらしい

対処法

poetry run python -m pip install torch
poetry.tomlに記述することもできるらしい

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

日本語要約の手法・サービスのまとめ

Wed, 09 Mar 2022 14:51:58 +0900

日本語文章の自動要約について調べたのでまとめておく
原文から一部を選択的に抜粋する抽出型と機械翻訳のように対応する要約文を生成する生成型がある
またウェブで公開されている要約サービスもある

生成型要約

モデル

DNN　言語モデル
- BERTの文脈から派生した要約手法が多い
- BART
  - BERTから文の要約に特化して派生したもの
  - BART(文章要約モデル)は日本語に対応していない
- T5
  - 学習をすべて自然言語で設定して行うことで複数のタスクへと柔軟に対応する、というコンセプトのモデル
  - T5がhugging face で公開されたモデルをファインチューニングして使うことが割と手軽にできた
  - 要約だけでなく単語の分散表現を得ることにも使える
整数計画問題
- ソルバーで厳密に解くことができる
  - 無償のソルバーはpythonだとpulp, Python-MIPが選択肢になる
  - 式を記述する際の挙動の軽さから私はPython-MIPを勧める
- 制約条件として文の数、文字数を指定できる
- 計算時間が短いというわけではない
  - 定式化の問題か？
- 各モデル
  - 文全体が一つのトピックを扱っていると仮定して、その代表的な文を拾ってくるイメージ
  - McDonaldモデル
  - 最大被覆モデル
  - 施設配置モデル
    - 劣モジュラ最適化問題に帰着できる
    - 文の類似度を計算する必要がある
    - 原論文では単語の重複をスコアとしている
      - ROUGEみたいな
      - ２０２２年現在では文の分散表現を求めることもできるのでそこはケースバイケースで特徴量を選択する
LexRank
- 文間の類似度からグラフ関係を計算して、重要な文をランキングする
- 文字数の指定はできない
- Sentence Transformersのサイトに実装例がある
  - 日本語に適用するには多少の修正が必要になる
- 別に文の間の類似度が出せるならSBERTでなくてもいい
  - ROUGE, USEなど

サービス

イライザダイジェスト
- ３文に要約
- 割と内容を理解した出力をする印象
- 生成型特有のゆらぎが見られる
  - 不自然な箇所に句読点など
タンテキ（サービス終了）
- ３文に要約
- 抜粋型か？

日本語テキスト生成の精度が低い・コストが高い問題をT5で解決

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

日本語の分散表現の計算方法まとめ

Wed, 02 Mar 2022 20:59:30 +0900

単語単位の分散表現

Word2vec
- 自然言語処理における分散表現の一つのオリジナル
- 基本原理くらいは知っていてもいいかもしれない
- gensimがよく使われる
Fasttext で文書分類問題までやったった
- fastと名前がついているだけあってfacebookが公開しているモデルは高速に動作する
- 分散表現とクラス分類に対応していたり、利便性が高い
- 特にこのモデルで利用されている分かち書きの特徴から未知語に強いとされている
日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
- Google の検索エンジンにも採用されている、らしい
- 自然言語処理の研究を大きく変えたモデル
- 関連する技術であるTransformerは自然言語処理だけでなく、画像処理の界隈にも流用された
- huggingfaceで日本語版のBERTも色々と公開されている
日本語に対応したT5
- この日本語版のモデルの作者が公開しているサンプルがわかりやすい
- また同じ作者がSBERTのモデルも公開している

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

poetry環境でstreamlitを実行する方法

Thu, 24 Feb 2022 16:01:29 +0900

症状

streamlitをpoetryを使ってインストールした場合に、streamlitが実行できない
poetry add streamlitでstreamlitを追加した場合、通常のシェルからはstreamlitのパスが通っていない
which streamlitの実行結果でなにもでてこない

対処

poetry からシェルを実行する
poetry shell
streamlit run sample.py
streamlitコマンドが実行できるようになる
仮想環境にstreamlitをインストールした場合には通常のシェルからはstreamlitを実行できない
その場合の対処法は公式サイトに載っている

参考リンク

関連書籍

pycharmからpoetryで環境の作成ができない

Thu, 24 Feb 2022 11:56:49 +0900

症状

pycharmでinterpreterの指定にエラーが出た。改めてpoetryの環境構築を行おうとしたところ、以下のエラーが出た。

ModuleNotFoundError No module named 'virtualenv.activation.xonsh' at <frozen importlib._bootstrap>:984 in _find_and_load_unlocked

解決方法

pip3 uninstall virtualenv

原因

anyenvのアップデートをかけたのが悪かったか？

反省

不用意なアップデートは不具合の原因になる

poetry環境でpytorchをインストールしても失敗したのでその対処法

関連書籍

日本語で学習済みのT5がhugging face で公開されたので使い方メモ

Thu, 01 Jul 2021 20:57:39 +0900

T5(Text-To-Text Transfer Transformer) とは

事前学習における入出力を文に統一してしまうことで、複数の形式の問題に対しても適応できる様式となった。
モデルの基本構造としては Transformer が使われており、その点はBERTと共通している。
事前学習の形式をすべてテキストによる指定にするというアイデアはGPT-3などでも用いられている。
- 0 shot learning など入力文で模範解答例を入力するだけで、出力を操作するということも行われている
- “操作の指定:入力文１、出力に期待する文、操作の指定：入力文２"で、“出力文２"が得られるという次第

できること

下流のタスクとして転移学習を行うことで以下のようなことが実行できる。
- 文書分類
- タイトル生成
- 文章生成
- 生成要約

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

Building a python environment with poetry on mac os

Thu, 20 May 2021 20:53:52 +0900

Pip is a major method of installing python libraries.

poetry is a more advanced version control tool for development environments.

It seems to have official support for pyenv integration.

I’ll write down how to install it on mac os and what I got stuck.

Advantages of poetry

Can organize library dependencies.
- There are some unexpected side effects depending on the version of the library.
- Trying to recreate the environment can cause errors with library versions and installation order.
- Building the environment is an inevitable part of human work, so it should be automated if possible.
- Also, it seems to be able to update the library version to take dependencies into account.
- And it keeps a record of the status.
Is it possible to separate the dependency records by git branch?
The libraries you can install are comparable to pip
- Does it have the same references as pypy?
Usability is not much different from pip
- Poetry add instead of pip install
It recognizes virtual environments created with pyenv and works with them.

I’m going to install it because it seems to be a convenient way to build an environment without much effort.

Why is fasttext so fast?

Wed, 19 May 2021 02:10:01 +0900

Features of fasttext

Improved objective function
- Consideration of negative samples
- This should not affect training time.
Change in optimization method
- Use of stochastic optimization
- If it affects the learning time, it should be this one
Implementation in C language
- This is the most effective, isn’t it?

If we implement it in ## pytorch, it won’t be much different from word2vec. It would depend on the amount of data to be trained.

word2vecでteratailの検索システムっぽいものを作る

Fri, 16 Apr 2021 12:21:29 +0900

概要

分散表現を用いた検索システムを作る。

teratailから質問をスクレイピングする。
スクレイピングした文章をもとにword2vecを学習する。
word2vecによって得られた分散表現をもとにcosine similarityを計算して、クエリと質問文の類似度を得る。
類似度をもとにソートする。

ソース

teratail_w2v_question.ipynb

関連書籍

アテンションを用いた画像処理モデルの作成

Thu, 08 Apr 2021 13:45:55 +0900

アテンションを用いた画像処理モデルの作成のまとめ

画像認識にアテンションという機構を付与して、判断の根拠を可視化しました。

前振り

画像認識についてはもう深層学習が人間を超えてから(2015)しばらく経っています。

AI(深層学習) を用いて観賞魚の品種識別

Thu, 08 Apr 2021 13:18:55 +0900

AI を用いて観賞魚の品種識別のまとめ

AI はもはや普通の人間を超える性能を発揮している
深層学習系の手法がメジャー
デバイスは2 万円〜から利用が可能

前振り

仕事がらAIについて調べております。調べると言ってもプレスリリースを漁るといったものではなく、主に公開されている論文やソースコードを読みこなして自力でAIを構築できるように取り組んでいます。

ポートフォリオ

Thu, 08 Apr 2021 13:07:22 +0900

実績

🚀 最新プロジェクト（2023-2025）

フルスタックWebアプリケーション

X Favorites Gallery - X(Twitter)いいねギャラリー + AIレコメンド
- X Favorites Gallery LP / アプリを開く
- 技術スタック: Next.js + React + PostgreSQL + pgvector, Chrome拡張, Docker
- 成果: いいねしたコンテンツをAI（DINOv2）が自動レコメンド、NSFW自動フィルタリング対応
tsuzukan（続刊） - 漫画・小説の続刊管理アプリ

pythonで環境構築の為にきれいなrequirements.txtを作成する方法

Wed, 17 Mar 2021 12:00:16 +0900

python で環境構築をする際にrequirements.txtを利用することがある。

ただ、素直にrequirements.txtを作ると環境構築の再現性が低い場合がある。

MLops　実験開発環境の整備の必要性

Fri, 26 Feb 2021 15:21:44 +0900

MLops

レベル1だけでもやっとけばええんちゃうか

やること

データの前処理と保存
特徴量の抽出と保存
分類器の学習と保存
それぞれのパラメータの保存

利点

実験する部分や追加したい機能の切り分けがしやすくなる。

pythonに引数をとらせるArgparseの例

Fri, 26 Feb 2021 15:17:54 +0900

サンプルプログラム

以下公式サイトより引用

import argparse

parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbose", action="store_true",
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2

解説

parser.add_argument("square", type=int,
                help="display a square of a given number")

引数の名前がsquare

型を指定できる。デフォルトはstr。

前に-がつかない名前は位置引数。

Creating data in Natural Language Inference (NLI) format for Sentence transformer

Wed, 17 Feb 2021 10:32:03 +0900

Using the Sentence Transformer to I’m trying to use Sentence Transformer to infer causal relationships between documents.

If we can do this, we can extract the cause and symptoms of the incident from the report.

So, I wondered if NLI could be used for feature learning to extract causal information. I thought.

What is NLI?

Inference of the relationship between two sentences

Forward
Inverse
Unrelated

The three relations are.

Apply to causal relationships

If we apply the three relationships of NLI to causality, the following patterns are possible.

python janome 0.4系からstreamモードがデフォルト解決策のメモ

Wed, 17 Feb 2021 10:31:12 +0900

janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。

generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。

pythonでpandasを使ってエクセルを読み込み失敗するときの対処

Wed, 17 Feb 2021 10:29:42 +0900

xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。

対策としてはバージョンを下げる。

pip3 install xlrd==1.2.0

参考リンク

https://qiita.com/fujitatsu0520/items/9e37c2bd2ba2adfd18d4

関連書籍

Pythonではじめる機械学習

On the use of distributed representations bagging for class classification and generalization performance

Thu, 04 Feb 2021 13:24:19 +0900

After the distributed representation has been obtained, the After the distributed representation is obtained, machine learning can be used to classify it.

Models that can be used include

Decision Tree
SVM Support Vector Machine
NN Neural Networks

and others.

SVM is included in NN in a broad sense.

In this section, we will use the decision tree method.

Bagging

Image of majority voting with multiple decision trees
Simple theory
- Decision trees are highly explainable and are a classic machine learning model.
- Computational load is light compared to deep learning
  - Depends on the size of the model
Not much explainability
- Do we want to analyze each of the multiple decision trees?

``py from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier

How to train a Japanese model with Sentence transformer to get a distributed representation of a sentence

Wed, 03 Feb 2021 15:58:41 +0900

. BERT is a model that can be powerfully applied to natural language processing tasks.

However, it does not do a good job of capturing sentence-wise features.

Some claim that sentence features appear in [ CLS\ ], but This paper](https://arxiv.org/abs/1908.10084) claims that it does not contain that much useful information for the task.

Sentence BERT is a model that extends BERT to be able to obtain features per sentence.

The following are the steps to create Sentence BERT in Japanese.

tensorflow GPUメモリを一気に確保しない設定の仕方

Mon, 25 Jan 2021 08:17:54 +0900

TensorFlow 1系は使える全てのGPUリソースを確保する。

メモリオーバーを観測できないので、逐次的にGPUメモリを確保するように設定を変更する。

これによってGPU使用量の観測ができる。

deeplubcut 動画を対象にした点の位置の予測

Sun, 24 Jan 2021 12:56:01 +0900

点のアノテーションの予測

蝿の腹、マウスの脊椎、指の関節など応用範囲が広い。
動画でできてる。デモがある。
動画の特徴量抽出はResNet, mobileNetなど
- Mobile Netでできるならエッジコンピューティングが視野に入る
- ラズパイ＋GPUみたいな構成

参考リンク

https://github.com/DeepLabCut/DeepLabCut

pycaret メモ

Sun, 24 Jan 2021 12:52:46 +0900

scikit-learnと似ている？
gpu使える

参考リンク

PyCaret公式サイト

関連書籍

Pythonではじめる機械学習

要約文の評価指標についてのメモ

Wed, 20 Jan 2021 11:00:34 +0900

生成式要約文のモデルに需要がある。

そのモデルの評価指標についてのめも。

結論としてはやはり正解になる文の用意は必要だということ。

そこを省きたいんだけどなぁ？

Using BART (sentence summary model) with hugging face

Tue, 19 Jan 2021 03:03:11 +0900

BART is a model for document summarization
Derived from the same transformer as BERT
Unlike BERT, it has an encoder-decoder structure
- This is because it is intended for sentence generation

This page shows the steps to run a tutorial on BART.

Procedure

install transformers

Run ``sh pip install transformers

Run summary

2. Run the summary
from transformers import BartTokenizer, BartForConditionalGeneration, BartConfig

model = BartForConditionalGeneration.from_pretrained('facebook/bart-large')
tokenizer = BartTokenizer.from_pretrained('facebook/bart-large')

ARTICLE_TO_SUMMARIZE = "My friends are cool but they eat too many carbs."
inputs = tokenizer([ARTICLE_TO_SUMMARIZE], max_length=1024, return_tensors='pt')

# Generate Summary
summary_ids = model.generate(inputs['input_ids'], num_beams=4, max_length=5, early_stopping=True)
print([tokenizer.decode(g, skip_special_tokens=True, clean_up_tokenization_spaces=False) for g in summary_ids])
```

On 2021/01/18, the output was MyMy friends.

Interesting.

## Where I got stuck.
Error when the version of pytorch is different from the one specified in transformers.

pip install -U torch

python でのmlflowの使い方

Sat, 18 Jul 2020 16:24:00 +0900

python でmlflow使うメモ

実験結果を比較するために便利っぽいのでMLflowを使ってみた。

パラメータと実験結果の記録をある程度自動化できる。

機械学習の実践はある種の黒魔術となることが多いので再現性を担保するための努力は後々に影響する。

AI に夢を見すぎでは？

Thu, 25 Jun 2020 03:53:00 +0900

問題解決の思考はまだ人間がしないといけないよ。

AIは魔法の杖じゃないよ。

機械学習、AI、深層学習がすごいのは事実としてそうだと思うけど、線形計画や統計みたいな素朴な方法が全て取って代わられるかというと、そうではないよね。

Procedure for obtaining a distributed representation of a Japanese sentence using a trained Universal Sentence Encoder

Mon, 22 Jun 2020 18:29:00 +0900

A vector of documents can be obtained using Universal Sentence Encoder.

Features

Supports multiple languages.

Japanese is supported.

Can handle Japanese sentences as vectors.

Usage

Clustering, similarity calculation, feature extraction.

Usage

Execute the following command as preparation.

pip install tensorflow tensorflow_hub tensorflow_text numpy

Trained models are available.

See the python description below for details on how to use it.

import tensorflow_hub as hub  
import tensorflow_text
import numpy as np  
# for avoiding error  
import ssl  
ssl._create_default_https_context = ssl._create_unverified_context  

def cos_sim(v1, v2):  
   return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))  
  
embed = hub.load("https://tfhub.dev/google/universal-sentence-encoder-multilingual/3")  
  
texts = ["I saw a comedy show yesterday." , "There was a comedy show on TV last night." , "I went to the park yesterday." , "I saw a comedy show last night.", "Yesterday, I went to the park."]  
vectors = embed(texts)  
```.

See the following link for more details

[Try Universal Sentence Encoder in Japanese](https://qiita.com/kenta1984/items/9613da23766a2578a27a)


### Postscript
```py
import tensorflow_text

Without this line, you will get an error like ``Sentencepiece not found! error. This line is not explicitly used in the sample source, but is required for the actual execution. This line is not explicitly used in the sample source, but is required in the actual runtime.

python を用いた自然言語処理の環境を整える

Thu, 18 Jun 2020 07:34:00 +0900

この記事はコマンドラインをある程度利用できる方に向けて書いています。

コマンドラインがなにか分からないけど、pythonを使いたい方はGoogle Colaboratory というサービスの利用を検討してください。

Enumerating Applications of Document Classification Problems Only

Thu, 18 Jun 2020 06:42:00 +0900

Applying the Document Classification Problem

You’ve learned about machine learning, but you don’t know how to use it! Isn’t it?

It is easy to overlook this if you don’t pay attention to it when you study it, but if you don’t keep your antennas up, you won’t know how to use it.

If you don’t keep your antennae up, you won’t know how to use it. Since a tool is only a tool if it is used, you should make a note of how you use your newly acquired tool.

word2vecのアルゴリズムを把握するためにnotebookで動かしながら挙動を理解しよう

Wed, 17 Jun 2020 07:36:00 +0900

word2vecを理解しよう！

word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか？
- アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
- 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
- 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか？

環境構築不要！

そこでGoogle Colaboratoryというサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう！
- Google Colaboratory はGoogleが提供しているサービスです。
- Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
そこでword2vecを動かせるプログラムを用意しました。
このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから

詳細は以下のリンクからどうぞ。
- word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

関連書籍

A note on how to use BERT learned from Japanese Wikipedia, now available

Wed, 17 Jun 2020 07:34:00 +0900

huggingface has released a Japanese model for BERT.

The Japanese model is included in transformers.

However, I stumbled over a few things before I could get it to actually work in a Mac environment, so I’ll leave a note.

Preliminaries: Installing mecab

The morphological analysis engine, mecab, is required to use BERT’s Japanese model.

The tokenizer will probably ask for mecab.

This time, we will use homebrew to install Mecab and ipadic.

Macでpyenvを利用したpythonの環境構築の方法

Tue, 16 Jun 2020 04:58:00 +0900

Mac でpythonの環境構築

Mac にpythonをどうやってインストールしたらいいのか悩んでいませんか？

単純にhome brewを使ってインストールしてもいいのですが、以下のデメリットがあります。

How to use NeuralClassifier, a library that provides a crazy number of models for document classification problems

Mon, 15 Jun 2020 02:11:00 +0900

[! [](https://1.bp.blogspot.com/-YlMb8v77MN4/XurdQSzS1yI/AAAAAAAAg6Y/oSZrJ0c9yxYbzQnNNTynRvZnEp-xGE7NwCK4BGAsYHg/s320/AFE90C8A-A49C- 4475-9F05-50E2D56D5B63.jpeg)](https://1.bp.blogspot.com/-YlMb8v77MN4/XurdQSzS1yI/AAAAAAAAg6Y/oSZrJ0c9yxYbzQnNNTynRvZnEp-xGE7NwCK4 BGAsYHg/s1920/AFE90C8A-A49C-4475-9F05-50E2D56D5B63.jpeg)

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit is a python library for multi-label document classification problems published by Tencent.

For more information, see

[NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit](https://github.com/Tencent/NeuralNLP- NeuralClassifier) NeuralClassifier is designed for quick implementation of neural models for hierarchical multi-label classification task, which is more challenging and common in real-world scenarios.

for more details.

NeuralClassifier is designed for quick implementation of neural models for hierarchical multi-label classification task, which is more challenging and common in real-world scenarios.

I even did a document classification problem with Fasttext

Sat, 13 Jun 2020 07:29:00 +0900

Summary of what I’ve done with Fasttext to the document classification problem.

Facebook research has published a document classification library using Fasttext.
Fasttext is easy to install in a python environment.
Run time is fast.

Preliminaries

I decided to tackle the task of document classification, and initially thought.

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit. However, it was not very accurate.

I made a summary text generation AI for making short-form news

Sat, 13 Jun 2020 00:24:00 +0900

We have successfully trained a model to automatically generate titles from news texts using a machine translation model based on deep learning.

Preliminaries

In the past, I was involved in a project to automatically generate titles from manuscripts for online news. In the past, I was involved in a project to automatically generate titles from manuscripts for online news.

In order to tackle this project, I was looking into existing methods.

深層学習でニュースタイトルの自動生成モデルつくったった

Fri, 12 Jun 2020 23:52:00 +0900

深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
朝日新聞が自動要約生成APIの提供を始めました。
- 自動要約生成API: TSUNA

追記

2022時点ならT5を使ってファインチューニングを試す方が簡単な気がする。

モデル概要

朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

##　ニュースタイトルの自動生成モデルの作成

Python on サブカル科学研究会のブログ

StreamlitでChatGPTのUIを作る—LangChain ReActエージェントとGoogle検索の組み合わせ

EasyOCRで日本語画像をテキスト化—セットアップから実運用まで

GradioでAI水平思考クイズを作ってHugging Face Spacesにデプロイした話

Xのタイムラインを自動要約！FastAPI + LLMで作るトピックダイジェストシステムの設計

Apple SiliconでLLMをファインチューニング！MLX + LoRAで日本語読解モデルを自作する方法

バンドのセットリストをAIで自動生成！OR-Tools TSPで転換コストを最小化する方法

声を学習してテキスト読み上げ！TADAで作る日本語ボイスクローンTTSシステム

配信録画を自動で分割！FFmpegのsilencedetectで作る動画分割Webアプリ

How to Efficiently Solve Low Accuracy and High Cost Issues in Japanese Text Generation with T5

Challenges in Japanese Text Generation

1. Accuracy Issues

2. Development Cost Issues

3. Operational Complexity

Real-world Text Generation Challenge Cases

Failure Case: Limitations of Task-specific Individual Development

日本語文書の意味的類似度計算が遅い・精度が低い問題をSentence BERTで解決する方法

文書類似度計算で直面する課題

1. 精度の問題

2. 計算速度の問題

3. 日本語対応の問題

実際に遭遇した文書類似度の課題事例

失敗事例：従来手法での限界

文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

文書分類で直面する三重苦

1. 精度の問題

2. 速度の問題

3. 導入コストの問題

実際に遭遇した文書分類の課題事例

失敗事例：複雑なモデルでの挫折

機械学習実験が管理できず再現性がない問題をMLflowで体系的に解決する方法

機械学習実験で直面する再現性の課題

キーワード検索では見つからない関連文書を発見する方法

問題：なぜキーワード検索では欲しい文書が見つからないのか

少ないデータで高精度な文書分類を実現する戦略

問題：なぜ実際のプロジェクトでは十分なデータが集まらないのか

日本語自然言語処理で直面する現実的な課題と解決策

問題：なぜ日本語のテキスト処理は難しいのか

機械学習実験の混乱を解決する：再現できない結果との戦い

問題：なぜ機械学習の実験結果が再現できないのか

ctranslate2でpytorchがimportできないエラーが出たので回避方法メモ

公式のインストール方法

Macでは上手く動作しない

pysenをインストールするとmypy周りで他のライブラリがエラーになる

pysenが入っていたらLangChainと依存関係がバッティングする？

環境

LangChainのインストールに失敗する

poetry環境でpytorchをインストールしても失敗したのでその対処法

poetry add torch でパスが通らない

対処法

日本語要約の手法・サービスのまとめ

生成型要約

モデル

サービス

関連記事

日本語の分散表現の計算方法まとめ

単語単位の分散表現

poetry環境でstreamlitを実行する方法

症状

対処

関連記事

参考リンク

pycharmからpoetryで環境の作成ができない

症状

解決方法

原因

反省

関連記事

日本語で学習済みのT5がhugging face で公開されたので使い方メモ

T5(Text-To-Text Transfer Transformer) とは

できること

Building a python environment with poetry on mac os

Advantages of poetry

Why is fasttext so fast?

Features of fasttext

word2vecでteratailの検索システムっぽいものを作る

概要

ソース

teratail_w2v_question.ipynb

アテンションを用いた画像処理モデルの作成

`poetry add torch` でパスが通らない

MLops　実験開発環境の整備の必要性

python janome 0.4系からstreamモードがデフォルト解決策のメモ