文書分類の精度・速度・導入コストの三重苦をFasttextで一気に解決する戦略

# NeuralClassifierを使った事例
# 複雑な設定ファイルが必要
# GPU環境の準備が必要  
# 結果：精度が期待値以下、学習時間が長い

pip install fasttext

# 訓練データの形式（train.txt）
__label__positive  この 商品 は 素晴らしい です
__label__negative  品質 が 悪い と 思い ます
__label__positive  おすすめ し ます

import fasttext

# 基本的な学習
model = fasttext.train_supervised('train.txt')

# 自動ハイパーパラメータ調整
model = fasttext.train_supervised(
    input='train.txt', 
    autotuneValidationFile='valid.txt'
)

# 予測
result = model.predict("この 商品 は どう です か ？")
print(result)  # (['__label__positive'], [0.8234])

# 評価
from sklearn.metrics import classification_report
# 詳細な評価レポート生成

import janome
from janome.tokenizer import Tokenizer

def preprocess_japanese(text):
    tokenizer = Tokenizer()
    tokens = [token.surface for token in tokenizer.tokenize(text)]
    return ' '.join(tokens)

# 使用例
text = "この商品は素晴らしいです"
processed = preprocess_japanese(text)
print(processed)  # "この 商品 は 素晴らしい です"

# 学習時間を指定した自動調整
model = fasttext.train_supervised(
    input='train.txt',
    autotuneValidationFile='valid.txt',
    autotuneDuration=600  # 10分間の自動調整
)

from sklearn.metrics import confusion_matrix, classification_report

# 予測結果の取得
y_true = []  # 正解ラベル
y_pred = []  # 予測ラベル

# 混同行列の表示
cm = confusion_matrix(y_true, y_pred)
print("混同行列:")
print(cm)

# 詳細レポート
report = classification_report(y_true, y_pred)
print("分類レポート:")
print(report)

# エラーが発生する場合
sudo apt install g++

# 最新のコンパイラをインストール
pip install fasttext

# 正しい形式
__label__category1  トークン化された 文書 内容

# 間違った形式（スペース区切りなし）
__label__category1 トークン化されていない文書内容

# 複数カテゴリの分類
__label__スポーツ  サッカー の 試合 結果
__label__政治    選挙 の 結果 発表
__label__経済    株価 の 動向 分析

# 複数ラベルの同時予測
__label__positive __label__sports  素晴らしい 試合 でした

# API化による実時間分類
def classify_document(text):
    processed = preprocess_japanese(text)
    result = model.predict(processed)
    return result