サブカル科学研究会のブログ

文書分類で直面する三重苦

文書分類プロジェクトに取り組む際、以下のような問題に直面していませんか？

1. 精度の問題

• 既存の手法では十分な精度が出ない
• 複雑なディープラーニングモデルでも期待した結果が得られない
• データセットによって性能が大きく左右される

2. 速度の問題

• 学習時間が長すぎてイテレーションが回せない
• GPUリソースが必要で開発コストが高い
• 本格的なモデル訓練に数時間〜数日かかる

3. 導入コストの問題

• 複雑なモデルの構築・運用が困難
• 環境構築が複雑で他のメンバーに共有できない
• プロトタイプ作成に時間がかかりすぎる

実際に遭遇した文書分類の課題事例

失敗事例：複雑なモデルでの挫折

# NeuralClassifierを使った事例
# 複雑な設定ファイルが必要
# GPU環境の準備が必要  
# 結果：精度が期待値以下、学習時間が長い

このような状況で、Facebook Researchが公開するFasttextライブラリが解決策として注目されています。

機械学習実験で直面する再現性の課題

機械学習の実験を繰り返していると、以下のような問題に直面することがありませんか？

• 良い結果が出たモデルのパラメータを忘れてしまう
• 過去の実験結果を比較できず、改善が進まない
• チームメンバーと実験結果を共有できない
• 同じ実験を再実行しても結果が再現できない

これらの問題は、機械学習の実践が「ある種の黒魔術」となってしまう原因でもあります。

問題：なぜキーワード検索では欲しい文書が見つからないのか

社内の膨大な文書データベースから「機械学習の性能向上に関する文書」を探しているとします。キーワード検索で「機械学習」「性能向上」と入力しても、本当に必要な文書が見つからない経験はありませんか？

問題：なぜ実際のプロジェクトでは十分なデータが集まらないのか

「ニュース記事を『政治・経済・スポーツ・エンタメ』に自動分類したい。でも各カテゴリ30件ずつしかラベル付きデータがない…」

機械学習の教科書では数万件のデータセットが当たり前ですが、実際のビジネス現場では全く異なります。

問題：なぜ日本語のテキスト処理は難しいのか

「英語のNLPライブラリを日本語に適用したら、全然うまくいかない…」

日本語の自然言語処理は、英語中心に設計されたツールでは対応できない独特な課題が多数存在します。

問題：なぜ機械学習の実験結果が再現できないのか

「先週良い結果が出たモデルがあったんだけど、どのパラメータを使ったか覚えてる？」

機械学習プロジェクトでこんな会話を聞いたことはありませんか？多くのチームが直面する典型的な問題です。

環境構築

npx create-react-app my-app
cd my-app
npm start

上の方法は古いらしい

下記の方法でViteを利用してReact+TypeScriptの環境構築を行う

npm create vite@latest

関連書籍

TypeScriptとReact/Next.jsでつくる実践Webアプリケーション開発

失敗例

RUN apt update && apt install -y ffmpeg

updateとinstallは同じタイミングで行わないとupdateの状態が引き継がれない。Dockerfileでは行ごとにshが初期化されるため。

公式のインストール方法

pip install ctranslate2

CTranslate2（GitHub）

Macでは上手く動作しない

segmentatioin faultになった。

しかしlinuxでは動作するとの情報を得た。 なのでまずはMacの中でDocker環境を構築して問題を回避できないか確認しようとした。

pysenが入っていたらLangChainと依存関係がバッティングする？

環境

Mac OS poetry python == 3.9

LangChainのインストールに失敗する

poetry add langchain

が失敗する

CLANG 〜

C言語関係のエラーかと思われた。

なんだっけ

xcode-toolsのインストールとアップデート

pip install --update pip
pip install --upgrade setuptools

mypyのバージョンによるエラーらしい