Update: 実際の運用モデルを修正(coder-next/vl8b/gemma3/gpt-oss)
All checks were successful
Deploy Docusaurus Site / deploy (push) Successful in 27s
All checks were successful
Deploy Docusaurus Site / deploy (push) Successful in 27s
This commit is contained in:
parent
6582f389a0
commit
cd5a2316ed
@ -177,14 +177,16 @@ Dockerが「アプリのデプロイを民主化」したように、Ollamaは
|
|||||||
|
|
||||||
## 実際の運用例
|
## 実際の運用例
|
||||||
|
|
||||||
自分の環境だと、NVIDIA DGX Spark上でOllama動かして複数モデル管理してる:
|
自分の環境だと、NVIDIA DGX Spark上でOllama動かして用途別にモデルを使い分けてる:
|
||||||
|
|
||||||
```
|
| モデル | サイズ | 用途 |
|
||||||
qwen3-swallow-30b 21 GB ← 日本語特化
|
|--------|--------|------|
|
||||||
gpt-oss-swallow-20b 16 GB ← バイリンガル
|
| `qwen3-coder-next` | ~25 GB | エージェント・コーディング |
|
||||||
qwen3:30b-a3b 18 GB ← 汎用
|
| `qwen3-vl8b-instruct` | ~8 GB | OCR・画像解析 |
|
||||||
gpt-oss:120b 65 GB ← 大規模推論
|
| `gemma3:12b` | ~12 GB | 要約タスク |
|
||||||
```
|
| `gpt-oss:120b` | 65 GB | 大規模推論・要約 |
|
||||||
|
|
||||||
|
タスクごとに最適なモデルを割り当てられるのがOllamaの良いところ。コーディングにはcoder系、画像にはVL系、軽い要約にはgemma、重い推論にはgpt-ossみたいに、用途で使い分けてる。
|
||||||
|
|
||||||
これをOpenClawのエージェントバックエンドにして、Discord経由で日常的に使ってる。モデルの追加・削除・切り替えがコマンド一発で済むの、ほんと楽。
|
これをOpenClawのエージェントバックエンドにして、Discord経由で日常的に使ってる。モデルの追加・削除・切り替えがコマンド一発で済むの、ほんと楽。
|
||||||
|
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user