Japan VMUG vExpert が語る #49_VMUG登壇資料_公開版

https://vmug-jp.connpass.com/event/369326/

1. 自宅でもできる！！ AI on vGPU 2025/09/24 @K_Nitori0221 ローカル LLM 編 Japan VMUG vExpert が語る #49 +VCF9

2. 日本のどこかのディストリビューターのインフラエンジニア。 研修時に ESXi を知り vMotion に感動し VMware の沼へ。 最近自分自身も vMotion しました。 K_Nitori0221 1 自己紹介

3. はじめに 発言は個人の意見です。　ただの趣味です。 今回話す内容は公式には非推奨です。 　 ・ 内容に誤りが含まれている場合があります。 お気づきの点がありましたら、ご指摘・ご教示いただけますと幸いです。 2

4. はじめに 3

5. 01 04 モデル 運用 03 Ollama & Dify 構築 02 AI 実行環境 セットアップ 01 ご自宅 VCF 基盤 準備 4 STEPS Build Your Home AI Lab With VCF 9

6. 01 04 モデル 運用 03 Ollama & Dify 構築 02 AI 実行環境 セットアップ 01 ご自宅 VCF 基盤 準備

7. はじめに 6 参考 : VMware Explore 2025 Las Vegas 速報レポート これっぽいものを 作ってみたい

8. VCF 編 7 ご自宅 VCF9 始めました。

9. VCF 編 8

10. VCF 編 9

11. ハード編 10

12. ハード編 11 RTX1300 WAN 10G ONU VCF MG Domain ESX02 VCF MG Domain ESX01 共有ストレージ (ONTAP Select NVME of TCP) コア 10G L3 SW BGP etc.. 管理 L2 RTX1300 WAN UPS 1500w 10G ONU

13. ハード編 12 VCF MG Domain ESX02 VCF MG Domain ESX01 共有ストレージ (ONTAP Select NVME of TCP) コア 10G L3 SW BGP etc.. 管理 L2 RTX1300 WAN UPS 1500w 10G ONU

14. ハード編 13

15. ハード編 14

16. ハード編 15

17. ハード編 16

18. 主役 17

19. 主役 18

20. 主役 19

21. ソフト編 20 NVIDIA T4 GPU vGPU Host driver T4-8Q ? 16Q? vGPU Guest Driver Ubuntu Docker Ollama ローカルで大規模言語モデル（ LLM ）を実行するための 推論 API サーバ兼ランタイム環境 ご自宅 VCF9 基盤 構築がとても楽なので採用 CPU でも LLM が動かせたりする　すごい T4-8Q ?16Q? ESX 01 Ollama とは？ https://ollama.com/

22. ソフト編 21 Ubuntu Docker Diffy AI 　エージェントや RAG アプリを 構築運用できるオープンソース　 AI 開発プラットフォーム ご自宅 VCF9 基盤 もっと他にも色々使える。 ローコードツールらしい …? 最近書店で本をよく見かける ESX 01 Dify とは？ https://docs.dify.ai/ja-jp/introduction

23. モデル編 22 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" LLM は何を使う …? https:// github.com / openai / gpt-oss

24. モデル編 23 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" 20B ならいけそう NVIDIA T4 FOR VIRTUALIZATION

25. 構築編 24 この VM1 台で Ollama (LLM)+ Dify (UI) 動きはする。

26. 構築編 25 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" コンテナで GPU を使うには …? ESX へ vGPU マネージャー インストール VM へ NVIDIA ドライバ インストール VM へ Container Tool Kit インストール

27. 構築編 26 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" コンテナで GPU を使うには …? ESX へ vGPU マネージャー インストール VM へ NVIDIA ドライバ インストール VM へ Container Tool Kit インストール 割愛

28. 構築編 27

29. Dify 構築 28 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" まずは Git clone 環境変数をコピー

30. Dify 構築 29 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" まとめてコンテナ起動

31. Dify 構築 30 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" http://hogehoge へ

32. Dify 構築 31 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" http://hogehoge へ

33. Ollama 構築 32 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" コンテナ立ち上げ

34. Ollama 構築 33 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" 解説 … -d (detached) バックグラウンドでコンテナを実行 -- gpus = 　 device=0 Device0 の GPU をコンテナに割り当て - v ollama :/root/. ollama 永続ボリューム「 ollama 」 を / root/. ollama にマウント → モデルや設定データを保持可能 - p 11434:11434 ホストの 11434 番ポートとコンテナの 11434 番ポートを対応付け → 外部からアクセス可能に -- name ollama コンテナに「 ollama 」 という名前を付与 ollama / ollama 使用する Docker イメージ

35. Ollama 構築 34 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" 皮はできた … のでモデルを動かそう docker exec すでに起動しているコンテナの中でコマンドを実行 - it - i : 標準入力を有効にする（インタラクティブ） - t: 仮想端末を割り当てる（シェル操作を可能にする） Ollama 対象となるコンテナ名（ここでは -- name ollama で作成したコンテナ） / bin/bash コンテナ内部で Bash シェルを起動 → Linux コマンドを直接実行できる Hostname が変わりコンテナ内にいることがわかる。 → eab1406751c4

36. Ollama 構築 35 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" いざ起動 ollama run Ollama の CLI コマンドでダウンロードし、実行 gpt-oss:20b 利用するモデルの名前とサイズ → gpt-oss モデルの 20 B パラメータ版 を起動 他にも色々モデルがあったり … /bye で ollama cli から切り替え

37. Chat 構築 36 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" モデル登録

38. Chat 構築 37 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" アプリ作成

39. Chat 構築 38 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" モデル登録

40. Chat 構築 39 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" GPU で動いた

41. Chat 構築 40 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" UI を

42. チェック 41 docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" UI を NVIDIA T4 by GPT-OSS 20B

43. ご清聴 ありがとうございました @K_Nitori0221 https://qiita.com/K_Nitori0221 https://k-nitori0221.hatenablog.jp/