Add: DGX Spark VibeVoice ASR セットアップガイド

docs-tech/dgx-spark-vibevoice-asr/index.md

@@ -0,0 +1,247 @@
+---
+sidebar_position: 8
+title: DGX SparkでVibeVoice ASRを動かす — リアルタイム日本語音声認識
+description: Microsoft VibeVoice ASRをDGX Spark環境でDockerベースで動かし、バッチ処理とリアルタイム音声認識を実現する方法
+hide_table_of_contents: false
+displayed_sidebar: null
+---
+
+# DGX Spark で VibeVoice ASR を動かす — リアルタイム日本語音声認識
+
+## はじめに
+
+Microsoft の **VibeVoice ASR** を DGX Spark 環境で動作させるための Docker ベースのセットアップ手順です。
+
+### VibeVoice ASR とは
+
+VibeVoice は Microsoft が開発したオープンソースの音声認識モデルで、以下の特徴があります：
+
+- **高精度な日本語認識** — 日本語を含む多言語対応
+- **話者分離（Diarization）** — 複数話者を区別
+- **タイムスタンプ** — 発話区間を正確に記録
+- **ストリーミング対応** — リアルタイム音声認識
+
+### 本セットアップの機能
+
+| 機能 | 説明 | ポート |
+|------|------|--------|
+| **バッチASR (Gradio)** | ファイルアップロード・マイク録音からの認識 | 7860 |
+| **リアルタイムASR** | WebSocket によるストリーミング認識 | 8000 |
+
+追加で以下をサポート：
+- MKV/MP4 動画ファイルからの音声抽出
+- 話者分離（Speaker Diarization）
+- タイムスタンプ付き出力
+
+## 必要環境
+
+- **NVIDIA GPU** — CUDA 13.1 対応（DGX Spark / Blackwell GB10）
+- **Docker** — NVIDIA Container Toolkit 導入済み
+- **VRAM** — 約 8GB 以上
+
+## クイックスタート
+
+### 1. リポジトリをクローン
+
+```bash
+cd ~
+git clone https://github.com/YOUR_REPO/vibevoice-asr.git
+cd vibevoice-asr
+```
+
+### 2. Docker イメージをビルド
+
+```bash
+./setup.sh build
+```
+
+ビルドには数分かかります（NGC PyTorch コンテナベース）。
+
+### 3. サービスを起動
+
+**バッチ ASR（Gradio UI）のみ：**
+
+```bash
+./setup.sh demo
+```
+
+→ `http://localhost:7860` でアクセス
+
+**リアルタイム ASR のみ：**
+
+```bash
+./setup.sh realtime
+```
+
+→ WebSocket: `ws://localhost:8000/ws/asr/{session_id}`  
+→ テストクライアント: `http://localhost:8000/static/realtime_client.html`
+
+**両方を同時起動：**
+
+```bash
+./setup.sh serve
+```
+
+## 使い方
+
+### Gradio UI（バッチ処理）
+
+1. ブラウザで `http://<DGX_SPARK_IP>:7860` にアクセス
+2. 「Upload Audio」でファイルをアップロード、または「Record」でマイク録音
+3. 「Transcribe」をクリック
+4. 認識結果（テキスト、話者、タイムスタンプ）が表示される
+
+対応フォーマット：WAV, MP3, M4A, FLAC, OGG, MKV, MP4
+
+### リアルタイム ASR（WebSocket）
+
+ブラウザからマイク入力をストリーミングで認識：
+
+```javascript
+const ws = new WebSocket('ws://localhost:8000/ws/asr/demo');
+
+ws.onopen = () => {
+  console.log('Connected');
+  startAudioCapture();
+};
+
+ws.onmessage = (event) => {
+  const data = JSON.parse(event.data);
+  if (data.type === 'final_result') {
+    console.log('認識結果:', data.text);
+  } else if (data.type === 'partial_result') {
+    console.log('認識中:', data.text);
+  }
+};
+
+// 音声送信 (16kHz, 16-bit PCM)
+function sendAudio(pcmData) {
+  ws.send(pcmData.buffer);
+}
+```
+
+## WebSocket プロトコル
+
+### クライアント → サーバー
+
+| 種類 | 形式 | 内容 |
+|------|------|------|
+| 音声データ | Binary | PCM 16-bit, 16kHz, モノラル |
+| 設定変更 | JSON | `{"type": "config", "config": {...}}` |
+| 停止 | JSON | `{"type": "stop"}` |
+
+### サーバー → クライアント
+
+| type | 説明 |
+|------|------|
+| `status` | 接続状態の通知 |
+| `partial_result` | 認識中の中間結果 |
+| `final_result` | 確定した認識結果（タイムスタンプ・話者ID付き） |
+| `vad_event` | 発話開始/終了イベント |
+| `error` | エラー通知 |
+
+### レスポンス例
+
+```json
+{
+  "type": "final_result",
+  "text": "こんにちは、今日の天気はいいですね。",
+  "is_final": true,
+  "segments": [
+    {
+      "start_time": 0.5,
+      "end_time": 3.2,
+      "speaker_id": "SPEAKER_00",
+      "text": "こんにちは、今日の天気はいいですね。"
+    }
+  ],
+  "latency_ms": 850
+}
+```
+
+## 設定オプション
+
+### 環境変数
+
+| 変数 | デフォルト | 説明 |
+|------|------------|------|
+| `VIBEVOICE_HOST` | `0.0.0.0` | バインドするホスト |
+| `VIBEVOICE_PORT` | `8000` | ポート番号 |
+| `VIBEVOICE_MODEL_PATH` | `microsoft/VibeVoice-ASR` | モデルパス |
+| `VIBEVOICE_DEVICE` | `cuda` | デバイス (cuda/cpu) |
+| `VIBEVOICE_MAX_SESSIONS` | `10` | 最大同時接続数 |
+
+### コマンドラインオプション
+
+| オプション | デフォルト | 説明 |
+|------------|------------|------|
+| `--host` | `0.0.0.0` | バインドするホスト |
+| `--port` | `8000` | ポート番号 |
+| `--model-path` | `microsoft/VibeVoice-ASR` | モデルパス |
+| `--device` | `cuda` | デバイス |
+| `--max-sessions` | `10` | 最大同時接続数 |
+| `--no-preload` | - | モデルの事前ロードを無効化 |
+
+## Docker 手動実行
+
+### バッチ ASR
+
+```bash
+docker run --gpus all -p 7860:7860 vibevoice-asr:dgx-spark
+```
+
+### リアルタイム ASR
+
+```bash
+docker run --gpus all -p 8000:8000 vibevoice-asr:dgx-spark \
+    python -m realtime.server --host 0.0.0.0 --port 8000
+```
+
+### 両方同時
+
+```bash
+docker run --gpus all -p 7860:7860 -p 8000:8000 vibevoice-asr:dgx-spark ./run_all.sh
+```
+
+## トラブルシューティング
+
+### GPU メモリ不足
+
+モデルは約 8GB 以上の VRAM を必要とします。メモリ不足の場合：
+
+```bash
+docker run --gpus all \
+    -e PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
+    -p 8000:8000 vibevoice-asr:dgx-spark \
+    python -m realtime.server
+```
+
+### WebSocket 接続エラー
+
+1. ファイアウォールでポート 8000 が開いているか確認
+2. CORS の問題がある場合は同一オリジンからアクセス
+3. `wss://` (HTTPS) 環境では別途 TLS 設定が必要
+
+### マイクが認識されない
+
+ブラウザでマイクへのアクセス許可を確認してください。HTTPS または `localhost` からのアクセスが必要です。
+
+## 性能の目安
+
+| 項目 | 数値 |
+|------|------|
+| モデルサイズ | 約 8GB VRAM |
+| 初回ロード | 10-20 秒 |
+| リアルタイム遅延 | 150-850 ms |
+| 対応サンプルレート | 16kHz |
+
+## 参考リンク
+
+- [microsoft/VibeVoice](https://github.com/microsoft/VibeVoice) — 公式リポジトリ
+- [NGC PyTorch Container](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch) — ベースイメージ
+- [DGX Spark セットアップガイド](https://docs.nvidia.com/dgx/) — NVIDIA 公式ドキュメント
+
+## ライセンス
+
+VibeVoice ASR は Microsoft 社のオープンソースプロジェクトです。  
+ライセンスについては [microsoft/VibeVoice](https://github.com/microsoft/VibeVoice) を参照してください。