文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

文書分類で直面する三重苦

文書分類プロジェクトに取り組む際、以下のような問題に直面していませんか?

1. 精度の問題

  • 既存の手法では十分な精度が出ない
  • 複雑なディープラーニングモデルでも期待した結果が得られない
  • データセットによって性能が大きく左右される

2. 速度の問題

  • 学習時間が長すぎてイテレーションが回せない
  • GPUリソースが必要で開発コストが高い
  • 本格的なモデル訓練に数時間〜数日かかる

3. 導入コストの問題

  • 複雑なモデルの構築・運用が困難
  • 環境構築が複雑で他のメンバーに共有できない
  • プロトタイプ作成に時間がかかりすぎる

実際に遭遇した文書分類の課題事例

失敗事例:複雑なモデルでの挫折

# NeuralClassifierを使った事例
# 複雑な設定ファイルが必要
# GPU環境の準備が必要  
# 結果:精度が期待値以下、学習時間が長い

このような状況で、Facebook Researchが公開するFasttextライブラリが解決策として注目されています。

[続きを読む]

日本語の分散表現の計算方法まとめ

単語単位の分散表現

  • Word2vec
    • 自然言語処理における分散表現の一つのオリジナル
    • 基本原理くらいは知っていてもいいかもしれない
    • gensimがよく使われる
  • Fasttext で文書分類問題までやったった
    • fastと名前がついているだけあってfacebookが公開しているモデルは高速に動作する
    • 分散表現とクラス分類に対応していたり、利便性が高い
    • 特にこのモデルで利用されている分かち書きの特徴から未知語に強いとされている
  • 日本語Wikipediaで学習済みのBERTが公開されているので使い方メモ
    • Google の検索エンジンにも採用されている、らしい
    • 自然言語処理の研究を大きく変えたモデル
    • 関連する技術であるTransformerは自然言語処理だけでなく、画像処理の界隈にも流用された
    • huggingfaceで日本語版のBERTも色々と公開されている
  • 日本語に対応したT5
    • この日本語版のモデルの作者が公開しているサンプルがわかりやすい
    • また同じ作者がSBERTのモデルも公開している

機械学習の基礎からモデルの仕組みまで体系的に学びたい方へ

[続きを読む]

文書分類問題に対応するめちゃたくさんのモデルを提供するライブラリNeuralClassifier の使い方について

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit はTencentが公開しているマルチラベルな文書分類問題用のpythonライブラリです。

詳しくは

NeuralClassifier: An Open-source Neural Hierarchical Multi-label Text Classification Toolkit NeuralClassifier is designed for quick implementation of neural models for hierarchical multi-label classification task, which is more challenging and common in real-world scenarios.

[続きを読む]

Fasttextで文書分類問題までやったった

Fasttext で文書分類問題までやったったのまとめ

  • Facebook research がFasttextを使った文書分類ライブラリを公開してる
  • Fasttext のpython 環境でのinstall 方法は簡単
  • 実行時間は早い

前振り

文書分類のタスクに取り組むことになり、当初は、

[続きを読む]