技術 on サブカル科学研究会のブログ

StreamlitでChatGPTのUIを作る—LangChain ReActエージェントとGoogle検索の組み合わせ

Mon, 20 Apr 2026 21:00:00 +0900

Streamlit と LangChain を組み合わせて、Google検索・Wikipedia検索ツールを持つ ChatGPT エージェントのWebUIを作りました。LangChain の ReAct（Reason + Act）エージェントが自律的にツールを選択して質問に答えます。

EasyOCRで日本語画像をテキスト化—セットアップから実運用まで

Mon, 20 Apr 2026 20:00:00 +0900

EasyOCRを使ってJPEG画像から日本語テキストを抽出するスクリプトを作りました。フォルダにまとめて置いた画像を一括処理し、テキストファイルに書き出します。日本語OCRの精度と前処理のコツも解説します。

GradioでAI水平思考クイズを作ってHugging Face Spacesにデプロイした話

Mon, 20 Apr 2026 19:00:00 +0900

水平思考クイズ（海亀スープ）のAI GMをGradioで作りました。Cohere の command-r-plus モデルが「はい」「いいえ」「わからない」で答えるGMを担当し、CSVで問題を管理します。Hugging Face Spacesに無料でデプロイしています。

Xのタイムラインを自動要約！FastAPI + LLMで作るトピックダイジェストシステムの設計

Mon, 20 Apr 2026 18:00:00 +0900

関心のあるトピック（キーワード）を登録すると、X（Twitter）の関連ツイートを収集しLLMで要約するWebアプリ「TopicDigestX」の設計を紹介します。FastAPI + SQLAlchemy + React + Viteの構成で、Docker Composeで手軽に起動できます。

ジムから住む場所を決める！Go + Reactで作る「筋肉不動産」アプリの設計

Mon, 20 Apr 2026 17:00:00 +0900

「まずジムを選んでから家を探す」という筋トレ愛好家向けの住まい探しWebアプリ「筋肉不動産」を開発しました。Go + Gin のClean Architectureバックエンドと、React + TypeScriptフロントエンドの実装を解説します。

Apple SiliconでLLMをファインチューニング！MLX + LoRAで日本語読解モデルを自作する方法

Mon, 20 Apr 2026 16:00:00 +0900

LiquidAI の LFM2.5-1.2B-JP モデルを Apple Silicon の MLX フレームワークで LoRA ファインチューニングするパイプラインを構築しました。JsQuAD（日本語読解）データセットで学習し、カスタム Chunked Loss と早期停止も実装しています。

バンドのセットリストをAIで自動生成！OR-Tools TSPで転換コストを最小化する方法

Mon, 20 Apr 2026 15:00:00 +0900

バンド「Luke Avenue」のセットリスト作成を自動化するスクリプトを開発しました。OR-ToolsのTSP（巡回セールスマン問題）ソルバーで、メンバー交代によるパート転換コストを最小化した最適な曲順を自動生成します。YouTube APIで曲の長さも自動取得します。

声を学習してテキスト読み上げ！TADAで作る日本語ボイスクローンTTSシステム

Mon, 20 Apr 2026 14:00:00 +0900

HumeAIのTADA（Text-Acoustic Dual Alignment）を使って、参照音声の声質でテキストを読み上げるボイスクローンTTSシステムを構築しました。FastAPIサーバーとCLIツールで構成し、日本語の読み上げに対応しています。

Xのいいねを資産化！Chrome拡張 + pgvector + DINOv2で作る画像レコメンドシステム

Mon, 20 Apr 2026 13:00:00 +0900

X（Twitter）でいいねした画像・動画を自動収集し、DINOv2の埋め込みベクトルとpgvectorで類似コンテンツをレコメンドするWebアプリを開発しました。Chrome拡張でいいねを収集し、VPSのDocker環境でセルフホストします。

漫画の続刊を買い忘れない！Go + Reactで作った続刊管理Webアプリ「tsuzukan」

Mon, 20 Apr 2026 12:00:00 +0900

手持ちの漫画・小説の続刊をピックアップし、Amazon/楽天のカート追加URLを自動生成するWebアプリ「tsuzukan（続刊）」を開発しました。Amazon・楽天の購入履歴CSVをインポートしてシリーズ管理し、新刊が出たら即カートに追加できます。

Mac mini M4でローカルLLMを動かすDiscord Bot—関西弁AIとニュース自動投稿の実装

Mon, 20 Apr 2026 11:00:00 +0900

Mac mini M4上のOllama（qwen2.5:14b）を使って、関西弁で雑談するDiscord Bot「ロブスター」を開発しました。クラウドAPIなしで動作し、はてなブックマーク・Zenn・Qiitaからのテックニュース自動投稿機能も実装しています。

ローカルLLMでデッサン添削アプリを作った！Ollama + Qwen3.5 + Go + Reactの構成

Mon, 20 Apr 2026 10:00:00 +0900

Ollama上で動くVLM（Qwen3.5）を使ってデッサン添削Webアプリを開発しました。iPadから写真を撮ってアップロードするだけで、AIが6つの評価項目ごとに10点満点でスコアとアドバイスを返します。クラウドAPIを使わないため、絵の内容が外部に送信されることもありません。

配信録画を自動で分割！FFmpegのsilencedetectで作る動画分割Webアプリ

Mon, 20 Apr 2026 09:00:00 +0900

FFmpegのsilencedetect フィルターを使って動画を無音区間で自動分割する Webアプリ「JamSlicer」を開発しました。従来の librosa/moviepy 実装と比べてメモリ使用量を 1/100 以下に抑えつつ、分割速度を10〜20倍に向上させた実装を解説します。

BookingButler：Googleカレンダー連携で出張管理を自動化するWebアプリ

Fri, 11 Jul 2025 07:06:30 +0900

出張の移動時間計算とスケジュール調整を自動化するBookingButlerの開発記録。Googleカレンダーと連携し、予定間の最適な移動ルートを算出する技術実装を紹介。

サークル写真管理の分散・重複問題をSHA256ハッシュで解決 - drive-gallery開発事例

Fri, 11 Jul 2025 06:51:53 +0900

はじめに

サークルやチームでイベントの写真・動画を管理していると、「どこに何の写真があったっけ？」「同じ写真が複数の場所にアップされている」といった問題に直面することはありませんか？本記事では、音楽セッショングループ「Luke Avenue」のメディア管理課題を解決するために開発した「drive-gallery」における分散・重複問題の技術的解決アプローチについて詳しく解説します。

LINEボットのユーザー獲得苦戦問題をMCP連携で解決 - turtle-buttler開発事例

Fri, 11 Jul 2025 06:44:16 +0900

はじめに

LINEボットを開発したけれど、ユーザーがなかなか定着しない──そんな悩みを抱えている開発者は多いのではないでしょうか。本記事では、筆者が開発したLINEボット「turtle-buttler」におけるユーザー獲得苦戦問題と、MCP（Modular Component Protocol）連携による解決アプローチについて詳しく解説します。

日本語文書の意味的類似度計算が遅い・精度が低い問題をSentence BERTで解決する方法

Sat, 05 Jul 2025 20:32:15 +0900

文書類似度計算で直面する課題

日本語の文書検索や推薦システムを構築する際、以下のような問題に直面していませんか？

1. 精度の問題

単語レベルの一致だけでは文書の意味的類似度を正確に測れない
同じ意味でも表現が異なる文書を関連文書として発見できない
従来のTF-IDFやBM25では意味的な類似度が取得できない

2. 計算速度の問題

BERTモデルで毎回文書をエンコードすると時間がかかりすぎる
大量の文書との類似度計算がリアルタイムで実行できない
文書検索のレスポンス時間が数秒〜数十秒かかる

3. 日本語対応の問題

英語向けのモデルでは日本語の意味的類似度が正確に取得できない
日本語特有の表現や文法構造に対応していない
カスタムモデルの構築が困難

実際に遭遇した文書類似度の課題事例

失敗事例：従来手法での限界

# TF-IDFによる類似度計算の例
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

# 以下のような文書では類似度が正しく計算されない
doc1 = "機械学習の精度を向上させる方法"
doc2 = "AIモデルの性能を改善する手法"
# 結果: 低い類似度（単語が異なるため）

# BERTの直接利用も計算コストが高い
# 毎回エンコードが必要で、大量データに不向き

この問題を解決するのが**Sentence BERT**です。

文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

Sat, 05 Jul 2025 20:28:41 +0900

文書分類で直面する三重苦

文書分類プロジェクトに取り組む際、以下のような問題に直面していませんか？

1. 精度の問題

既存の手法では十分な精度が出ない
複雑なディープラーニングモデルでも期待した結果が得られない
データセットによって性能が大きく左右される

2. 速度の問題

学習時間が長すぎてイテレーションが回せない
GPUリソースが必要で開発コストが高い
本格的なモデル訓練に数時間〜数日かかる

3. 導入コストの問題

複雑なモデルの構築・運用が困難
環境構築が複雑で他のメンバーに共有できない
プロトタイプ作成に時間がかかりすぎる

実際に遭遇した文書分類の課題事例

失敗事例：複雑なモデルでの挫折

# NeuralClassifierを使った事例
# 複雑な設定ファイルが必要
# GPU環境の準備が必要  
# 結果：精度が期待値以下、学習時間が長い

このような状況で、Facebook Researchが公開するFasttextライブラリが解決策として注目されています。

機械学習実験が管理できず再現性がない問題をMLflowで体系的に解決する方法

Sat, 05 Jul 2025 20:23:24 +0900

機械学習実験で直面する再現性の課題

機械学習の実験を繰り返していると、以下のような問題に直面することがありませんか？

良い結果が出たモデルのパラメータを忘れてしまう
過去の実験結果を比較できず、改善が進まない
チームメンバーと実験結果を共有できない
同じ実験を再実行しても結果が再現できない

これらの問題は、機械学習の実践が「ある種の黒魔術」となってしまう原因でもあります。

キーワード検索では見つからない関連文書を発見する方法

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜキーワード検索では欲しい文書が見つからないのか

社内の膨大な文書データベースから「機械学習の性能向上に関する文書」を探しているとします。キーワード検索で「機械学習」「性能向上」と入力しても、本当に必要な文書が見つからない経験はありませんか？

少ないデータで高精度な文書分類を実現する戦略

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ実際のプロジェクトでは十分なデータが集まらないのか

「ニュース記事を『政治・経済・スポーツ・エンタメ』に自動分類したい。でも各カテゴリ30件ずつしかラベル付きデータがない…」

機械学習の教科書では数万件のデータセットが当たり前ですが、実際のビジネス現場では全く異なります。

日本語自然言語処理で直面する現実的な課題と解決策

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ日本語のテキスト処理は難しいのか

「英語のNLPライブラリを日本語に適用したら、全然うまくいかない…」

日本語の自然言語処理は、英語中心に設計されたツールでは対応できない独特な課題が多数存在します。

機械学習実験の混乱を解決する：再現できない結果との戦い

Fri, 20 Jun 2025 00:00:00 +0000

問題：なぜ機械学習の実験結果が再現できないのか

「先週良い結果が出たモデルがあったんだけど、どのパラメータを使ったか覚えてる？」

機械学習プロジェクトでこんな会話を聞いたことはありませんか？多くのチームが直面する典型的な問題です。

ViteでReact の環境構築

Sat, 25 Jan 2025 13:55:51 +0900

環境構築

npx create-react-app my-app
cd my-app
npm start

上の方法は古いらしい

下記の方法でViteを利用してReact+TypeScriptの環境構築を行う

npm create vite@latest

Dockerfileでffmpegをインストールするときのメモ

Sat, 19 Aug 2023 11:01:33 +0900

失敗例

RUN apt update && apt install -y ffmpeg

updateとinstallは同じタイミングで行わないとupdateの状態が引き継がれない。Dockerfileでは行ごとにshが初期化されるため。

ctranslate2でpytorchがimportできないエラーが出たので回避方法メモ

Fri, 18 Aug 2023 16:23:27 +0900

公式のインストール方法

pip install ctranslate2

CTranslate2（GitHub）

Macでは上手く動作しない

segmentatioin faultになった。

しかしlinuxでは動作するとの情報を得た。なのでまずはMacの中でDocker環境を構築して問題を回避できないか確認しようとした。

pysenをインストールするとmypy周りで他のライブラリがエラーになる

Sun, 18 Jun 2023 01:53:52 +0900

pysenが入っていたらLangChainと依存関係がバッティングする？

環境

Mac OS poetry python == 3.9

LangChainのインストールに失敗する

poetry add langchain

が失敗する

CLANG 〜

C言語関係のエラーかと思われた。

なんだっけ

xcode-toolsのインストールとアップデート

pip install --update pip
pip install --upgrade setuptools

mypyのバージョンによるエラーらしい

Dockerfileでasdfを実行できないことについて

Wed, 07 Jun 2023 05:58:28 +0900

Dockerfile でsource ~/.bashrc ができない

Dockerfile　ではデフォルトのシェルはsh
shではsourceは実行できない

対策１：デフォルトのシェルをbashに変更

デフォルトのシェルをbashに変更した SHELL [/bin/bash,-lc]

Dockerfile でasdfが実行できない

RUN asdf　に失敗する
- asdfが見つからない
しかしDocker内部ではasdfを実行できる

原因

DockerfileではRUNごとに異なるシェルが実行される

効果がなかったこと

同一のRUNでsource ~/.bashrcとasdf install を実行
1. asdfが実行できない
bash/execでbashを再起動
1. asdfが実行できない

最終的な対処

apt install python3

感想

Dockerとasdfと何重にも仮想環境を重ねることにどれだけの意味があるだろうか？

poetry環境でpytorchをインストールしても失敗したのでその対処法

参考資料

Can install asdf inside Docker container, but not at build time via Dockerfile

関連書籍

poetry環境でpytorchをインストールしても失敗したのでその対処法

Wed, 07 Jun 2023 05:47:12 +0900

`poetry add torch` でパスが通らない

Dcokerfile＋Poetryで環境構築をしていた
poetry add torchでpytorchをインストールした
import torchでエラー
cuda周りのパスが通っていないらしい

対処法

poetry run python -m pip install torch
poetry.tomlに記述することもできるらしい

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

日本語要約の手法・サービスのまとめ

Wed, 09 Mar 2022 14:51:58 +0900

日本語文章の自動要約について調べたのでまとめておく
原文から一部を選択的に抜粋する抽出型と機械翻訳のように対応する要約文を生成する生成型がある
またウェブで公開されている要約サービスもある

生成型要約

モデル

DNN　言語モデル
- BERTの文脈から派生した要約手法が多い
- BART
  - BERTから文の要約に特化して派生したもの
  - BART(文章要約モデル)は日本語に対応していない
- T5
  - 学習をすべて自然言語で設定して行うことで複数のタスクへと柔軟に対応する、というコンセプトのモデル
  - T5がhugging face で公開されたモデルをファインチューニングして使うことが割と手軽にできた
  - 要約だけでなく単語の分散表現を得ることにも使える
整数計画問題
- ソルバーで厳密に解くことができる
  - 無償のソルバーはpythonだとpulp, Python-MIPが選択肢になる
  - 式を記述する際の挙動の軽さから私はPython-MIPを勧める
- 制約条件として文の数、文字数を指定できる
- 計算時間が短いというわけではない
  - 定式化の問題か？
- 各モデル
  - 文全体が一つのトピックを扱っていると仮定して、その代表的な文を拾ってくるイメージ
  - McDonaldモデル
  - 最大被覆モデル
  - 施設配置モデル
    - 劣モジュラ最適化問題に帰着できる
    - 文の類似度を計算する必要がある
    - 原論文では単語の重複をスコアとしている
      - ROUGEみたいな
      - ２０２２年現在では文の分散表現を求めることもできるのでそこはケースバイケースで特徴量を選択する
LexRank
- 文間の類似度からグラフ関係を計算して、重要な文をランキングする
- 文字数の指定はできない
- Sentence Transformersのサイトに実装例がある
  - 日本語に適用するには多少の修正が必要になる
- 別に文の間の類似度が出せるならSBERTでなくてもいい
  - ROUGE, USEなど

サービス

イライザダイジェスト
- ３文に要約
- 割と内容を理解した出力をする印象
- 生成型特有のゆらぎが見られる
  - 不自然な箇所に句読点など
タンテキ（サービス終了）
- ３文に要約
- 抜粋型か？

日本語テキスト生成の精度が低い・コストが高い問題をT5で解決

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

日本語の分散表現の計算方法まとめ

Wed, 02 Mar 2022 20:59:30 +0900

単語単位の分散表現

Word2vec
- 自然言語処理における分散表現の一つのオリジナル
- 基本原理くらいは知っていてもいいかもしれない
- gensimがよく使われる
Fasttext で文書分類問題までやったった
- fastと名前がついているだけあってfacebookが公開しているモデルは高速に動作する
- 分散表現とクラス分類に対応していたり、利便性が高い
- 特にこのモデルで利用されている分かち書きの特徴から未知語に強いとされている
日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
- Google の検索エンジンにも採用されている、らしい
- 自然言語処理の研究を大きく変えたモデル
- 関連する技術であるTransformerは自然言語処理だけでなく、画像処理の界隈にも流用された
- huggingfaceで日本語版のBERTも色々と公開されている
日本語に対応したT5
- この日本語版のモデルの作者が公開しているサンプルがわかりやすい
- また同じ作者がSBERTのモデルも公開している

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

poetry環境でstreamlitを実行する方法

Thu, 24 Feb 2022 16:01:29 +0900

症状

streamlitをpoetryを使ってインストールした場合に、streamlitが実行できない
poetry add streamlitでstreamlitを追加した場合、通常のシェルからはstreamlitのパスが通っていない
which streamlitの実行結果でなにもでてこない

対処

poetry からシェルを実行する
poetry shell
streamlit run sample.py
streamlitコマンドが実行できるようになる
仮想環境にstreamlitをインストールした場合には通常のシェルからはstreamlitを実行できない
その場合の対処法は公式サイトに載っている

参考リンク

関連書籍

pycharmからpoetryで環境の作成ができない

Thu, 24 Feb 2022 11:56:49 +0900

症状

pycharmでinterpreterの指定にエラーが出た。改めてpoetryの環境構築を行おうとしたところ、以下のエラーが出た。

ModuleNotFoundError No module named 'virtualenv.activation.xonsh' at <frozen importlib._bootstrap>:984 in _find_and_load_unlocked

解決方法

pip3 uninstall virtualenv

原因

anyenvのアップデートをかけたのが悪かったか？

反省

不用意なアップデートは不具合の原因になる

poetry環境でpytorchをインストールしても失敗したのでその対処法

関連書籍

技術書典11に参加するに当たって技術書を作成したメモ経緯、あと感想

Fri, 20 Aug 2021 11:57:47 +0900

前回

技術書典7に参加するに当たって技術書とプログラムを作成したメモ経緯と売り上げ、あと感想

経緯

学位を取るための論文執筆が死ぬほど辛かった私は執筆の経験が浅いから苦しんだのだと仮説を置いた。

この仮説を検証するために論文よりレベルを落として薄い本を書くことを思い立った。

日本語で学習済みのT5がhugging face で公開されたので使い方メモ

Thu, 01 Jul 2021 20:57:39 +0900

T5(Text-To-Text Transfer Transformer) とは

事前学習における入出力を文に統一してしまうことで、複数の形式の問題に対しても適応できる様式となった。
モデルの基本構造としては Transformer が使われており、その点はBERTと共通している。
事前学習の形式をすべてテキストによる指定にするというアイデアはGPT-3などでも用いられている。
- 0 shot learning など入力文で模範解答例を入力するだけで、出力を操作するということも行われている
- “操作の指定:入力文１、出力に期待する文、操作の指定：入力文２"で、“出力文２"が得られるという次第

できること

下流のタスクとして転移学習を行うことで以下のようなことが実行できる。
- 文書分類
- タイトル生成
- 文章生成
- 生成要約

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

Circle Ci を利用してre:viewをビルドしてpdfを得る手順

Thu, 01 Jul 2021 06:06:49 +0900

Circle Ci を利用してre:viewをビルドしてpdfを得る手順

Re:VIEW Template をローカルに用意する
自分のgithubレポジトリに移す
article フォルダ以下の該当するファイルを編集する
Circle Ciへgithubアカウントでログインして連携する
自分のgithub レポジトリへpushするとgithub actions が実行される
Actions -> buildの指定 -> Artifacts から出力されたpdfをダウンロードできる

参考リンク

関連書籍

ブログを多言語対応にするためにしたこと

Fri, 11 Jun 2021 06:44:01 +0900

hugo は多言語をサポートしている

基本的にはindex.mdをindex.en.md などのように言語情報を追記するだけでいい。

それで翻訳ページとして処理される。

ffmpegで音声ファイルの音量の正規化(ノーマライゼーション)

Sat, 22 May 2021 17:41:25 +0900

ffmpegで音声ファイルの音量を調整する方法
音量の正規化のためにffmpegを用いた
- ffmpegはコマンドラインで利用できるメディアの加工ができる
後々のために使用方法を記録しておく
- たまに使うときにコマンドを忘れやすい
- 似たような処理をしたくなることが多いのでメモが役に立つ気がする

ffmpegのインストール

ubuntu 系の場合、以下のコマンドでffmpegのダウンロードとインストールが完了する sudo apt update sudo apt install ffmpeg

hugo で作成したページをtwitter_cardsとして表示できるようにする

Fri, 30 Apr 2021 14:53:53 +0900

hugoで作成した記事のリンクをtwitterなどで記載したときに、 twitter card表記されるようにしたい。

手順

layouts/_default/baseof.html

に

{{ template "_internal/opengraph.html"}}
{{ template "_internal/twitter_cards.html"}}

を追記する。

環境によってはbaseof.htmlではない場合もある。

chromebookでスクリーンショットを撮影してニコニコ動画に投稿する

Tue, 27 Apr 2021 21:08:23 +0900

tux guitarで譜面を作成した。

しかし直接音声や動画で出力する機能がtux guitarになかったのでchromebookの機能でスクリーンショットを取ることにした。

ffmpegを用いて一枚の画像と音声から動画を作成

Tue, 20 Apr 2021 19:16:26 +0900

Youtubeに投稿するにあたって、音声ファイルは投稿できない。

そこで音声ファイルを動画形式に変換する。

そこまで手間のかかる作業はしたくないという前提から、コマンドラインで処理をすることにした。

word2vecでteratailの検索システムっぽいものを作る

Fri, 16 Apr 2021 12:21:29 +0900

概要

分散表現を用いた検索システムを作る。

teratailから質問をスクレイピングする。
スクレイピングした文章をもとにword2vecを学習する。
word2vecによって得られた分散表現をもとにcosine similarityを計算して、クエリと質問文の類似度を得る。
類似度をもとにソートする。

ソース

teratail_w2v_question.ipynb

関連書籍

chromebookでre:view用にtexをインストールするときに発生したエラーの対処法

Wed, 14 Apr 2021 04:36:07 +0900

re:view用に日本語用のtex liveをインストール

re:viewの依存関係としてtexがあるので以下のコマンドでtexをインストールする。

sudo apt install texlive-lang-cjk xdvik-ja evince

ここでrakeコマンドを実行してpdfを作成しようとするが、エラーが発生した。

chromebookのセットアップ

Tue, 13 Apr 2021 15:12:55 +0900

手順

OSの更新
bitwardenの導入
visual code studioの導入
1. Intel, amdなら amd64版を選択する
2. CPUによる
Linuxの導入
1. 設定からコマンドラインの導入ができる。
Linuxの環境構築

sudo apt update
sudo apt upgrade
sudo apt install aptitude
sudo aptitude safe-upgrade

GitHubのSSHの設定
hugoの設定

sudo aptitude install hugo
git clone my_repository

git submodule foreach git stash
git submodule foreach git checkout master
git submodule foreach git pull origin master

linuxアプリの日本語入力設定

sudo aptitude install fcitx-mozc -y

8. fxitxの実行

fcitx-configtool

下のーボタンでデフォルトのキーボード設定を削除する。

アテンションを用いた画像処理モデルの作成

Thu, 08 Apr 2021 13:45:55 +0900

アテンションを用いた画像処理モデルの作成のまとめ

画像認識にアテンションという機構を付与して、判断の根拠を可視化しました。

前振り

画像認識についてはもう深層学習が人間を超えてから(2015)しばらく経っています。

AI(深層学習) を用いて観賞魚の品種識別

Thu, 08 Apr 2021 13:18:55 +0900

AI を用いて観賞魚の品種識別のまとめ

AI はもはや普通の人間を超える性能を発揮している
深層学習系の手法がメジャー
デバイスは2 万円〜から利用が可能

前振り

仕事がらAIについて調べております。調べると言ってもプレスリリースを漁るといったものではなく、主に公開されている論文やソースコードを読みこなして自力でAIを構築できるように取り組んでいます。

技術書典7に参加するに当たって技術書とプログラムを作成したメモ経緯と売り上げ、あと感想

Sun, 28 Mar 2021 11:39:43 +0900

経緯

学位を取るための論文執筆が死ぬほど辛かった私は執筆の経験が浅いから苦しんだのだと仮説を置いた。

この仮説を検証するために論文よりレベルを落として薄い本を書くことを思い立った。

pythonで環境構築の為にきれいなrequirements.txtを作成する方法

Wed, 17 Mar 2021 12:00:16 +0900

python で環境構築をする際にrequirements.txtを利用することがある。

ただ、素直にrequirements.txtを作ると環境構築の再現性が低い場合がある。

MLops　実験開発環境の整備の必要性

Fri, 26 Feb 2021 15:21:44 +0900

MLops

レベル1だけでもやっとけばええんちゃうか

やること

データの前処理と保存
特徴量の抽出と保存
分類器の学習と保存
それぞれのパラメータの保存

利点

実験する部分や追加したい機能の切り分けがしやすくなる。

pythonに引数をとらせるArgparseの例

Fri, 26 Feb 2021 15:17:54 +0900

サンプルプログラム

以下公式サイトより引用

import argparse

parser.add_argument("square", type=int,
                    help="display a square of a given number")
parser.add_argument("-v", "--verbose", action="store_true",
                    help="increase output verbosity")
args = parser.parse_args()
answer = args.square**2

解説

parser.add_argument("square", type=int,
                help="display a square of a given number")

引数の名前がsquare

型を指定できる。デフォルトはstr。

前に-がつかない名前は位置引数。

python janome 0.4系からstreamモードがデフォルト解決策のメモ

Wed, 17 Feb 2021 10:31:12 +0900

janomeのバージョンを上げると、分かち書きの出力をgeneratorで返すようになった。

generatorはメモリ効率が良いというメリットがある一方でリストでデータを保持したいという気持ちがある。

pythonでpandasを使ってエクセルを読み込み失敗するときの対処

Wed, 17 Feb 2021 10:29:42 +0900

xlrdのバージョンによって、.xlsxファイルの読み込みに失敗する。

対策としてはバージョンを下げる。

pip3 install xlrd==1.2.0

参考リンク

https://qiita.com/fujitatsu0520/items/9e37c2bd2ba2adfd18d4

関連書籍

Pythonではじめる機械学習

Macでbashからzshへ移行する方法

Mon, 08 Feb 2021 20:54:54 +0900

手順

環境変数などの移行

cat .bash_profile » .zprofile
bashからzshへの切り替え

chsh -s /bin/zsh

Mac bashからzshへ変更する際の設定と注意点

参考リンク

bashからzshへの移行（Qiita）

関連書籍

Pythonではじめる機械学習

big surになってから、homebrew upgrade　python でエラーが起きた際の対処法

Fri, 29 Jan 2021 09:31:08 +0900

big surになってからhomebrewのアップデートをしてなかったので色々とエラーが出た。

brew update

brew upgrade

でエラーが出た。

brew link python --force

などを行なって対処した。

Mac bashからzshへ変更する際の設定と注意点

Wed, 27 Jan 2021 09:32:58 +0900

デフォルトシェルの変更

chsh -s /bin/zsh

zshに環境変数のパスを通す

~/.zshrc

に記述する。

記述方法はbashと同様

Macでbashからzshへ移行する方法

参考リンク

zsh設定方法

関連書籍

Pythonではじめる機械学習

tensorflow GPUメモリを一気に確保しない設定の仕方

Mon, 25 Jan 2021 08:17:54 +0900

TensorFlow 1系は使える全てのGPUリソースを確保する。

メモリオーバーを観測できないので、逐次的にGPUメモリを確保するように設定を変更する。

これによってGPU使用量の観測ができる。

deeplubcut 動画を対象にした点の位置の予測

Sun, 24 Jan 2021 12:56:01 +0900

点のアノテーションの予測

蝿の腹、マウスの脊椎、指の関節など応用範囲が広い。
動画でできてる。デモがある。
動画の特徴量抽出はResNet, mobileNetなど
- Mobile Netでできるならエッジコンピューティングが視野に入る
- ラズパイ＋GPUみたいな構成

参考リンク

https://github.com/DeepLabCut/DeepLabCut

git submoduleでのpullで更新する方法

Sun, 24 Jan 2021 12:54:44 +0900

Hugoのthemeをgit submodule addで導入したため、少し手順を踏まないとthemeの更新が反映されない。

以下の手順でthemeの最新バージョンへの更新ができる。

手順

管理下の全てのsubmoduleに対して stash, checkout, pullを行う。

pycaret メモ

Sun, 24 Jan 2021 12:52:46 +0900

scikit-learnと似ている？
gpu使える

参考リンク

PyCaret公式サイト

関連書籍

Pythonではじめる機械学習

要約文の評価指標についてのメモ

Wed, 20 Jan 2021 11:00:34 +0900

生成式要約文のモデルに需要がある。

そのモデルの評価指標についてのめも。

結論としてはやはり正解になる文の用意は必要だということ。

そこを省きたいんだけどなぁ？

Macでブログを作成するためにhugoのインストールから公開までの作業手順について

Sun, 10 Jan 2021 14:28:33 +0900

hugoを導入するにあたってのメモ

ブログを静的ジェネレータであるHugoを使って作成し、 Netlifyを使ってデプロイする。

環境

Mac OS Big Sur
- Homebrew インストール済み

ローカルの作業

hugoのインストール

brew install hugo

hugoでプロジェクトの作成

hugoで任意の名前のプロジェクトを作成する。今回は"quickstart"とした。

vue でモーダルウィンドウに複数の種類のコメントを表示する

Sat, 02 Jan 2021 10:31:00 +0900

vue でモーダルウィンドウに複数の種類のコメントを表示する

postItem変数を介して、親から子へと情報をやり取りする。

コードサンプル

親js

  
new Vue({  
  
data:{postItem},  
methods:{  
  
openModal: function (item) {  
      console.log("openModal "+item)  
      this.showContent = true  
      this.postItem = item  
      console.log("this.postItem "+this.postItem)  
    },  
closeModal: function () {  
      console.log("closeModal")  
      this.showContent = false  
    },  
}  
})

子js

Re:VIEW+docker-composeでのpdfを作成するまでの手順

Thu, 24 Dec 2020 14:33:00 +0900

docker composeとreview

Mac環境でのdocker-composeでRe:VIEWを扱う方法のメモ。

基本的には

https://github.com/vvakame/docker-review/blob/master/doc/windows-review.mdを辿ればいい。

作業ディレクトリの作成

mkdir work

workは任意の名前に変更可能

ギターの練習のために演奏動画を撮影、Macの iMovieで動画の音量調整、オーディオ抽出する

Tue, 15 Dec 2020 18:48:00 +0900

楽器の練習、私の場合はソロギターの練習のために動画の撮影を行うことにした。

撮影はフォームや自分の演奏を客観的に聴くために有効だ。

ただ撮影に手間がかかるのでは、練習から手が遠のいてしまう。

vue.jsでtodoリスト作成したった

Tue, 13 Oct 2020 02:03:00 +0900

ウェブアプリを練習で作りたくなったのでtodoアプリを作ってデプロイした。

手順などを記録しておく。

開発環境

macOS

firebase cli　のインストール

npm install -g firebase-tools

多分yarn add でも可

todo list の作成

Vue.jsとjavascriptについてはまだあんまり理解していない。

blogger にGoogle AdSense のコードを追加する手順

Tue, 29 Sep 2020 20:35:00 +0900

テーマ→その他（：のマーク）→htmlを編集

からhtml編集用のページに移動する。

収益のページから案内されるコードをコピペする。

bloggerでもhtmlをいじらないといけないということに気がつかなかった…。まあええわ。

python でのmlflowの使い方

Sat, 18 Jul 2020 16:24:00 +0900

python でmlflow使うメモ

実験結果を比較するために便利っぽいのでMLflowを使ってみた。

パラメータと実験結果の記録をある程度自動化できる。

機械学習の実践はある種の黒魔術となることが多いので再現性を担保するための努力は後々に影響する。

Re:VIEW の始め方メモ

Thu, 16 Jul 2020 20:46:00 +0900

Re:VIEW の始め方メモ

mac でのRe：VIEW を導入した時のメモ。

作業用ディレクトリの作成

適当なディレクトリをつくる。

mkdir “project_name”

Docker を用意

Docker のインストールは各自でされたし。

AppSheet でゲーミフィケーション要素のあるtodoのアプリをつくったった

Mon, 06 Jul 2020 12:19:00 +0900

ノーコードでtodoアプリを作った。
その過程とハマったところを記録しておく。

ゲーミフィケーション

ゲーム感覚で日常のタスクをこなしていこう、というもの。
ゲーム感覚で楽しく取り組むための工夫についての学問がゲーミフィケーション。
その基本的なポイントとして報酬とペナルティがある。
人間はスコアアタックに魅力を感じて、スコアをロストすることに嫌悪感を覚える
その習性を利用して日常の習慣をゲームにする。

ゲーム化したいこと

私はストーリーに興味がある。RPGをやっていてもお話やキャラ同士の掛け合いに強く関心を持っていた。テイルズオブシリーズとか大好きだった。
そこで自分でもストーリーを作れるようになりたい。
その練習として即興小説を毎日書くモチベーションを作りたい。

ゲームの骨子

ゲームの内容としては、即興小説を毎日書くとスコアアップして、サボるとスコアがリセットされるようにしたい。

ノーコードでアプリ作成

一度アプリ作成に取り組んでみたかった。
私に現時点でアプリ作成の技能や知識はないので、その点を補助するツールが必要になる。
そこでノーコードでアプリを作成できるツールを見つけた。AppSheetだ。

AppSheet

Google が買収したことで話題になったノーコードでアプリを作成できるサービス。
公式にデプロイするのは有料アカウントが必要になる。個人でアプリのテストを行う間は無料なので、アプリを自分だけが使う場合には無料コースでも大丈夫。試しに触ってみる。

手順

サインアップ。グーグルのアカウントを使った。
データからアプリを作成を選択。
事前にスプレッドシートでどういう仕組みになって欲しいかを練れる。
スプレッドシートをアプリにするためのUIを自動で作ってくれるイメージで進められる。
スプレッドシートの内容をアプリにするイメージで進めていく。

完成品

ゲームのスコアに換算するタスクをメモする画面。
達成したかどうかもメモ出来るようにした。

数理最適化の事例集まとめたった

Thu, 25 Jun 2020 03:57:00 +0900

数理最適化が役に立つことを忘れないために実応用についてメモしておく。

事例集

乗り換え案内サービス
二次計画問題

発電計画
ダイナミックプライシング、オークション
金融におけるポートフォリオ最適化

Google Apps Scriptで後輩系line bot 作ったった

Thu, 25 Jun 2020 03:55:00 +0900

そういえばLINE botを個人開発したことがありました！

Google Apps Scriptを使って共用のグーグルドライブでのファイル更新を検知して、ライングループに投稿するというものです。

最適化コンサル案のたたき台

Thu, 25 Jun 2020 03:54:00 +0900

最適化コンサルってないの？という疑問について考察していきます。

まだ最適化コンサルをする会社がないなら、どんなお仕事になるのか考えてみます。

機械学習は道具に過ぎない

機械学習や深層学習というワードが一人歩きしていますが、これらは問題を解くための道具に過ぎません。

AI に夢を見すぎでは？

Thu, 25 Jun 2020 03:53:00 +0900

問題解決の思考はまだ人間がしないといけないよ。

AIは魔法の杖じゃないよ。

機械学習、AI、深層学習がすごいのは事実としてそうだと思うけど、線形計画や統計みたいな素朴な方法が全て取って代わられるかというと、そうではないよね。

数理最適化は社会で活用した方がお得

Thu, 25 Jun 2020 03:52:00 +0900

機械学習や深層学習といったバズワードに乗っかろうとするけど、その問題、最適化屋さんが解けるんでは？

数理最適化に需要はないのか

最適化屋さんの需要はあるのかもしれないが、それで起業したって話は聞かないから、机上の空論なのでしょうか。

数理最適化の実用化を考える

Thu, 25 Jun 2020 03:51:00 +0900

数理最適化って聞いたことあります？

社会にある問題を数理的に解こうというジャンルなんですけどね？

AIじゃなくて線形計画問題！

世の中にある問題(条件がある時の配分比率など)が線形計画問題という手法で解けます。

高校物理復習したった

Thu, 25 Jun 2020 03:49:00 +0900

物理って楽しいよね！

数学や物理を直観的に理解してきた身としては、微積分がむちゃくちゃ苦手！

微積分のイメージと実際のテクニックが全然一致しないんですけど！

python を用いた自然言語処理の環境を整える

Thu, 18 Jun 2020 07:34:00 +0900

この記事はコマンドラインをある程度利用できる方に向けて書いています。

コマンドラインがなにか分からないけど、pythonを使いたい方はGoogle Colaboratory というサービスの利用を検討してください。

物理数学の直観的方法を読んだ感想

Thu, 18 Jun 2020 06:10:00 +0900

数学は暗記だ、と思っている人居ますよね？

直観で理解できたら簡単なのにって思いませんか？

物理数学は難しい

物理数学には挫折するポイントが幾つもある。

大学で数学の講義を受けて、ヒイコラ言いながら単位を取る。理解など到底おぼつかない。まして直観的な方法だって？

word2vecのアルゴリズムを把握するためにnotebookで動かしながら挙動を理解しよう

Wed, 17 Jun 2020 07:36:00 +0900

word2vecを理解しよう！

word2vec のアルゴリズムについて、勉強しようとして苦戦していませんか？
- アルゴリズムの基になる発想は意外に直観的なものですが、その直観をアルゴリズムの記述から読み取るのはコツが要るかもしれません。
- 実際に動くモデルで遊んでみて、反応をみながら感覚を掴むといいと思います。
- 一行単位で実行できるプログラムを自分の手で動かしながら、出力を確認できると分かりやすいと思いませんか？

環境構築不要！

そこでGoogle Colaboratoryというサービスを利用して、手軽にword2vecを動かして、アルゴリズムの仕組みを理解しましょう！
- Google Colaboratory はGoogleが提供しているサービスです。
- Gmailのアカウントを持っていれば環境構築の手間が省け、Googleの計算資源を利用できるものです。
そこでword2vecを動かせるプログラムを用意しました。
このプログラムは技術書典というイベントで頒布させていただき、50以上の方に利用していただきました。

購入は以下のリンクから

詳細は以下のリンクからどうぞ。
- word2vecのアルゴリズムを把握するためにプログラムを動かしながら挙動を理解しよう

関連書籍

Macでpyenvを利用したpythonの環境構築の方法

Tue, 16 Jun 2020 04:58:00 +0900

Mac でpythonの環境構築

Mac にpythonをどうやってインストールしたらいいのか悩んでいませんか？

単純にhome brewを使ってインストールしてもいいのですが、以下のデメリットがあります。

Using Google colaboratory to learn how Word2Vec works and models

Mon, 15 Jun 2020 07:42:00 +0900

Let’s start with Word2Vec.**

word2vec is a model that can learn the semantic vectors of words from unlabeled text are.

Dealing with word vectors allows for applications such as word similarity calculation and clustering, and BERT. And BERT, an extension of that technology, is also used in Google’s search service.

It’s hard to understand the concept.

But are you struggling to learn about word2vec? It’s hard to understand the concept because it’s not something you’re familiar with.

数理最適化の社会実装と研究について

Sat, 13 Jun 2020 11:37:00 +0900

社会実装と研究

社会データ実装は一筋縄ではいかない！？～AIによる海上保安:船舶モニタリングを行うGeoTrackNetとは～

最先端が最善ではない

最先端の手法を使えばいい結果が得られると思いがちです。

しかし、実世界の問題ではデータがきちんと整備されていることは少ない。

また取得したデータを加工したとして、そのデータにアルゴリズムを適用しても狙った結果が得られないこともある。

深層学習でニュースタイトルの自動生成モデルつくったった

Fri, 12 Jun 2020 23:52:00 +0900

深層学習モデルを使って、新聞記事から見出しを自動で生成するモデルが提案されている。
朝日新聞が自動要約生成APIの提供を始めました。
- 自動要約生成API: TSUNA

追記

2022時点ならT5を使ってファインチューニングを試す方が簡単な気がする。

モデル概要

朝日新聞が研究に協力して取り組んでおり、transformerを基礎にして、文字数制約を組み込んだモデルが論文で提案されています。
さすが朝日新聞というべきか、莫大な教師データを使ってモデルの学習を行っています。
また文字数制約についても、位置エンコーディングを工夫することによって、指定した文字数を生成するようになったようです。
この辺り、フリーの言語リソースが日本語に少ないことには歯がゆさを感じます。

##　ニュースタイトルの自動生成モデルの作成

技術 on サブカル科学研究会のブログ

StreamlitでChatGPTのUIを作る—LangChain ReActエージェントとGoogle検索の組み合わせ

EasyOCRで日本語画像をテキスト化—セットアップから実運用まで

GradioでAI水平思考クイズを作ってHugging Face Spacesにデプロイした話

Xのタイムラインを自動要約！FastAPI + LLMで作るトピックダイジェストシステムの設計

ジムから住む場所を決める！Go + Reactで作る「筋肉不動産」アプリの設計

Apple SiliconでLLMをファインチューニング！MLX + LoRAで日本語読解モデルを自作する方法

バンドのセットリストをAIで自動生成！OR-Tools TSPで転換コストを最小化する方法

声を学習してテキスト読み上げ！TADAで作る日本語ボイスクローンTTSシステム

Xのいいねを資産化！Chrome拡張 + pgvector + DINOv2で作る画像レコメンドシステム

漫画の続刊を買い忘れない！Go + Reactで作った続刊管理Webアプリ「tsuzukan」

Mac mini M4でローカルLLMを動かすDiscord Bot—関西弁AIとニュース自動投稿の実装

ローカルLLMでデッサン添削アプリを作った！Ollama + Qwen3.5 + Go + Reactの構成

配信録画を自動で分割！FFmpegのsilencedetectで作る動画分割Webアプリ

BookingButler：Googleカレンダー連携で出張管理を自動化するWebアプリ

サークル写真管理の分散・重複問題をSHA256ハッシュで解決 - drive-gallery開発事例

はじめに

LINEボットのユーザー獲得苦戦問題をMCP連携で解決 - turtle-buttler開発事例

はじめに

日本語文書の意味的類似度計算が遅い・精度が低い問題をSentence BERTで解決する方法

文書類似度計算で直面する課題

1. 精度の問題

2. 計算速度の問題

3. 日本語対応の問題

実際に遭遇した文書類似度の課題事例

失敗事例：従来手法での限界

文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

文書分類で直面する三重苦

1. 精度の問題

2. 速度の問題

3. 導入コストの問題

実際に遭遇した文書分類の課題事例

失敗事例：複雑なモデルでの挫折

機械学習実験が管理できず再現性がない問題をMLflowで体系的に解決する方法

機械学習実験で直面する再現性の課題

キーワード検索では見つからない関連文書を発見する方法

問題：なぜキーワード検索では欲しい文書が見つからないのか

少ないデータで高精度な文書分類を実現する戦略

問題：なぜ実際のプロジェクトでは十分なデータが集まらないのか

日本語自然言語処理で直面する現実的な課題と解決策

問題：なぜ日本語のテキスト処理は難しいのか

機械学習実験の混乱を解決する：再現できない結果との戦い

問題：なぜ機械学習の実験結果が再現できないのか

ViteでReact の環境構築

環境構築

Dockerfileでffmpegをインストールするときのメモ

失敗例

ctranslate2でpytorchがimportできないエラーが出たので回避方法メモ

公式のインストール方法

Macでは上手く動作しない

pysenをインストールするとmypy周りで他のライブラリがエラーになる

pysenが入っていたらLangChainと依存関係がバッティングする？

環境

LangChainのインストールに失敗する

Dockerfileでasdfを実行できないことについて

Dockerfile でsource ~/.bashrc ができない

対策１：デフォルトのシェルをbashに変更

Dockerfile でasdfが実行できない

原因

効果がなかったこと

最終的な対処

感想

関連記事

参考資料

poetry環境でpytorchをインストールしても失敗したのでその対処法

poetry add torch でパスが通らない

対処法

日本語要約の手法・サービスのまとめ

生成型要約

モデル

サービス

関連記事

日本語の分散表現の計算方法まとめ

単語単位の分散表現

poetry環境でstreamlitを実行する方法

症状

対処

関連記事

参考リンク

pycharmからpoetryで環境の作成ができない

`poetry add torch` でパスが通らない

技術書典11に参加するに当たって技術書を作成したメモ経緯、あと感想

技術書典7に参加するに当たって技術書とプログラムを作成したメモ経緯と売り上げ、あと感想

技術書典7に参加するに当たって技術書とプログラムを作成したメモ経緯と売り上げ、あと感想

MLops　実験開発環境の整備の必要性

python janome 0.4系からstreamモードがデフォルト解決策のメモ

big surになってから、homebrew upgrade　python でエラーが起きた際の対処法