AlmaLinuxでLLMを動かす 〜 NVIDIAドライバー導入からLM Studioまで 〜

AlmaLinuxでLLMを動かす 〜 NVIDIAドライバー導入からLM Studioまで 〜

1. AlmaLinux で LLM を動かす 〜 NVIDIA ドライバー導入から LM Studio まで 〜 日本仮想化技術株式会社 代表取締役社長兼 CEO 宮原 徹（ @ tmiyahar ）

2. お話の概要 AlmaLinux で NVIDIA の GPU ドライバーがサポートされました https://almalinux.org/blog/2025-08-06-announcing-native-nvidia-suport/ https://wiki.almalinux.org/documentation/nvidia.html GPU ドライバーが動けば CUDA Toolkit も動く CUDA （ Compute Unified Device Architecture ） NVIDIA の GPU を使って色々な処理を行わせるための SDK ライブラリや GPU 用バイナリを生成するコンパイラなどが提供されている 2

3. ブログ 3

4. LLM 動かすまでの作業手順 リポジトリの登録 NVIDIA ドライバーのインストール カーネルバージョン合わせが必要 NVIDIA GPU 関連ツールのインストール GPU を認識しているかの確認 CUDA のインストール LM Studio のインストール LLM モデルのダウンロードと実行 4

5. リポジトリの登録 $ sudo dnf install almalinux -release- nvidia -driver NVIDIA Driver リポジトリ cuda-rhel9-x86_64 リポジトリ epel -release も入る 実際には CodeReady Builder (CRB)

6. NVIDIA ドライバーのインストール $ sudo dnf install nvidia -open- kmod nvidia -driver インストール後に再起動 lsmod コマンドで nvidia 関連モジュールがロードされていることを確認

7. 関連ツールのインストールと GPU 確認 $ sudo dnf install nvidia -driver- cuda $ nvidia-smi

8. CUDA のインストール $ sudo dnf install cuda CUDA 関連の各種パッケージがインストールされる

9. 日本語入力の設定 GUI で日本語入力可能に設定 以下のパッケージを入れないと日本語入力が行えなかった $ sudo dnf install ibus -typing-booster Keyboard 設定を確認

10. Keyboard 設定を確認 10

11. LM Studio のインストール LM Studio のダウンロードページへ https://lmstudio.ai/download AppImage 形式で提供 適当な場所に移動 実行権限の付与 $ chmod +x LM* ダブルクリック、またはコマンドラインから実行 11

12. 実行環境の確認 LM Studio の環境設定の呼び出し 「 Hardware 」の確認 Memory 、 GPUs を確認 「 Runtime 」の確認 ランタイム拡張パックが最新かを確認 Engines で 適切なものを選んでるかを確認 12

13. Hardware 13

14. Runtime 14

15. Runtime について 実行環境に合わせて色々な選択肢 CUDA ： NVIDIA GPU 環境 ROCm ： AMD GPU 環境 CPU ： CPU 環境 Vulkan ： OpenGL の後継 API Metal 、 MLX ： macOS 用 15

16. Model Search 16

17. LLM のダウンロードと実行 Model Search 画面を呼び出し 虫眼鏡アイコン 使用している GPU 、 GPU メモリ、メインメモリなどを考慮してモデルを選択 17

18. LLM モデルについて GGUF フォーマット Georgi Gerganov 氏が作成 元々 GGML だったが拡張性の高いフォーマットに MLX フォーマット Apple Silicon 用に最適化 Q ○○ 量子ビットを減らす Quantize したもの 4 ビット（ Q4 ）ぐらいで良いが、 8 ビット（ Q8 ）も 18