オンプレLLMでログ一次切り分け：Llama 3.3 70Bでやってみた（根拠引用を強制）¶
このページの狙い
LLMに「障害の原因を当てさせる」よりも、
(1) ログから根拠を抜き出す → (2) 可能性を整理 → (3) 次に打つコマンドを提案
までを“オンプレで”完結させる例です。
入力ログ（3行）¶
今回は、よくあるパターンの短いログ断片で試しました（抜粋）。
NVRM: Xid (PCI:0000:3b:00): 31, pid=1234, Ch 00000010, MMU Fault
CUDA error: out of memory
slurmstepd: error: Detected 1 oom_kill event(s) in step
AIの出力（実際のJSONから抜粋）¶
LLM（Llama 3.3 70B）に「JSONで返す」よう指示し、さらに根拠は入力ログからの引用のみに制約しました。
（出力の要点だけ読みやすく抜粋しています）
- カテゴリ：GPU / Memory / Slurm
- 重大度：High
根拠（ログからの引用）
L1: NVRM: Xid ... 31 ... MMU Fault
L2: CUDA error: out of memory
L3: slurmstepd: ... oom_kill event(s) ...
原因候補（確信度つき） - Insufficient GPU memory（confidence: 0.8） - Memory leak in the application（confidence: 0.1） - GPU driver issue（confidence: 0.1）
次にやること（コピペ可能なコマンド）
※安全性と再現性を重視して、環境依存・危険操作（サービス再起動等）は避けています。
nvidia-smi
nvidia-smi --query-compute-apps=pid,process_name,used_memory --format=csv
nvidia-smi -q -d ECC,ERROR,POWER,TEMPERATURE
dmesg -T | tail -n 200
journalctl -k -b | tail -n 200
sacct -j <JOBID> --format=JobID,State,ExitCode,Elapsed,MaxRSS,AllocTRES%60
scontrol show job <JOBID>
ps -p <PID> -o pid,etime,cmd --sort=pid
追加で欲しい情報（不足しているもの） - GPU model and driver version - System memory configuration - Application code and configuration - Slurm cluster configuration - Detailed system logs
なぜ信頼できる？（根拠引用を強制する工夫）¶
LLMは親切に補完してしまい、入力に無いログ行を混ぜることがあります。
そこで今回は、次の2つの工夫を入れて 「根拠はログ引用のみ」に寄せました。
- ログに行番号を付けて渡す（抜粋の追跡がしやすい）
- evidenceは入力ログからの完全一致引用のみにする（捏造を抑える）
「原因を断定するAI」ではなく、根拠を示して次の確認に進める一次切り分けとして現実的です。
PoC（オンプレ）相談¶
オンプレ環境（H100/H200 NVL等）で、ログを社外に出さずに
- ログのマスク（ホスト名/IP/パス等）
- 根拠引用を強制した構造化JSON
- あなたのRunbook/FAQを参照して「次のコマンド」を提示（RAG）
- 監査・保存ポリシーに合わせた設計
まで含めて短期PoCが可能です。