声を学習してテキスト読み上げ！TADAで作る日本語ボイスクローンTTSシステム

tts/
├── tada/          # TADA ライブラリ本体（HumeAI/tada をgit clone）
├── voices/        # 登録済み音声データ
│   └── {voice_id}/
│       ├── audio.wav      # 参照音声
│       ├── metadata.json  # メタデータ（名前・書き起こし・言語）
│       └── prompt.pt      # TADA EncoderOutput（事前計算済み）
├── segments/      # 音声分割の出力先
├── server/        # FastAPI サーバー
└── tools/         # CLI ツール（音声登録・分割）

cd tts/tada

uv run python tools/split_audio.py \
    --audio path/to/long_audio.mp3 \
    --output-dir segments/speaker_name \
    --min-duration 5.0 \
    --max-duration 30.0 \
    --silence-thresh -30dB \
    --min-silence 0.5

segments/speaker_name/
├── segment_001.wav
├── segment_002.wav
├── ...
└── segments.json   # マニフェスト（各セグメントの情報）

uv run python tools/register_voice.py \
    --audio segments/speaker_name/segment_001.wav \
    --transcript "こんにちは、今日はいい天気ですね。" \
    --voice-id my_speaker \
    --language ja

uv run python -m server.main generate \
    --voice-id my_speaker \
    --text "明日の会議は14時から始まります。" \
    --output output.wav

# server/main.py
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from pathlib import Path
import torch

app = FastAPI(title="TTS Voice Clone Server")

class GenerateRequest(BaseModel):
    voice_id: str
    text: str
    language: str = "ja"

@app.post("/generate")
async def generate_speech(request: GenerateRequest):
    voice_dir = Path("voices") / request.voice_id

    if not voice_dir.exists():
        raise HTTPException(status_code=404, detail=f"Voice '{request.voice_id}' not found")

    # 事前計算済みの音声プロンプトを読み込み
    prompt = torch.load(voice_dir / "prompt.pt")

    # テキストを音声に変換
    audio = tada_model.generate(
        text=request.text,
        prompt=prompt,
        language=request.language,
    )

    # WAV ファイルとして返す
    return StreamingResponse(
        audio_to_wav_stream(audio),
        media_type="audio/wav",
    )

@app.get("/voices")
async def list_voices():
    voices_dir = Path("voices")
    voices = []

    for voice_dir in voices_dir.iterdir():
        if voice_dir.is_dir():
            metadata_path = voice_dir / "metadata.json"
            if metadata_path.exists():
                with open(metadata_path) as f:
                    metadata = json.load(f)
                voices.append({
                    "id": voice_dir.name,
                    **metadata,
                })

    return {"voices": voices}

# TADA ライブラリのインストール
cd tts/tada
uv venv
uv pip install -e .
uv pip install fastapi "uvicorn[standard]" python-multipart openai-whisper

# HuggingFace からモデルをダウンロード（初回のみ）
python -c "from tada import TadaModel; TadaModel.from_pretrained('hume-ai/tada')"

cd tts/tada
uv run uvicorn server.main:app --reload --host 0.0.0.0 --port 8080

import whisper

model = whisper.load_model("large-v3")
result = model.transcribe("reference_audio.wav", language="ja")
print(result["text"])