GPU多段挿しでも熱暴走させないアンダーボルティング自動制御スクリプト

# NVIDIA公式の管理ライブラリをインストール
pip install nvidia-ml-py

import time
import subprocess
from pynvml import *

# --- 設定項目 ---
SAFE_TEMP_THRESHOLD = 75  # この温度を超えたら制限開始（度）
CRITICAL_TEMP_THRESHOLD = 82  # この温度を超えたら最大制限（度）
NORMAL_POWER_LIMIT = 450  # 通常時の電力（W）※RTX 4090の場合
REDUCED_POWER_LIMIT = 250  # 制限時の電力（W）
CHECK_INTERVAL = 2  # 監視間隔（秒）
# ----------------

def set_power_limit(gpu_index, limit_watts):
    """
    nvidia-smiコマンドを使用して電力制限を適用する。
    NVML経由よりもコマンド発行の方が権限の問題をクリアしやすい。
    """
    try:
        # sudo権限が必要な場合はコマンドにsudoを付加
        cmd = ["nvidia-smi", "-i", str(gpu_index), "-pl", str(limit_watts)]
        subprocess.run(cmd, check=True, capture_output=True)
        print(f"Set GPU {gpu_index} power limit to {limit_watts}W")
    except subprocess.CalledProcessError as e:
        print(f"Error: 権限が不足している可能性があります。 {e}")

# NVMLの初期化
nvmlInit()
device_count = nvmlDeviceGetCount()
print(f"Found {device_count} GPUs")

def monitor_and_control():
    try:
        while True:
            for i in range(device_count):
                handle = nvmlDeviceGetHandleByIndex(i)
                temp = nvmlDeviceGetTemperature(handle, NVML_TEMPERATURE_GPU)

                # 現在の電力設定を取得（確認用）
                power_info = nvmlDeviceGetEnforcedPowerLimit(handle)
                current_limit = power_info / 1000  # mWをWに変換

                print(f"GPU {i}: Temp {temp}C, Current Limit {current_limit}W")

                # 温度に応じた動的制御
                if temp >= CRITICAL_TEMP_THRESHOLD:
                    if current_limit != REDUCED_POWER_LIMIT:
                        set_power_limit(i, REDUCED_POWER_LIMIT)
                elif temp >= SAFE_TEMP_THRESHOLD:
                    # 中間的な制限（例：350W）をかけるなどの調整も可能
                    pass
                elif temp < SAFE_TEMP_THRESHOLD - 5: # チャタリング防止のヒステリシス
                    if current_limit != NORMAL_POWER_LIMIT:
                        set_power_limit(i, NORMAL_POWER_LIMIT)

            time.sleep(CHECK_INTERVAL)
    except KeyboardInterrupt:
        print("Monitoring stopped.")
    finally:
        nvmlShutdown()

if __name__ == "__main__":
    monitor_and_control()

Found 2 GPUs
GPU 0: Temp 42C, Current Limit 450W
GPU 1: Temp 45C, Current Limit 450W
...（負荷をかける）...
GPU 0: Temp 76C, Current Limit 450W
Set GPU 0 power limit to 250W
GPU 0: Temp 74C, Current Limit 250W

import logging

# ログ設定
logging.basicConfig(filename='gpu_thermal_guard.log', level=logging.INFO,
                    format='%(asctime)s - GPU%(message)s')

def log_event(gpu_index, temp, action):
    msg = f"{gpu_index}: {temp}C - {action}"
    print(msg)
    logging.info(msg)

# 実用的なエラーハンドリング付きループ
def run_guard_service():
    nvmlInit()
    try:
        # 起動時にすべてのGPUをフルパワーにリセット
        for i in range(nvmlDeviceGetCount()):
            set_power_limit(i, NORMAL_POWER_LIMIT)

        while True:
            for i in range(nvmlDeviceGetCount()):
                handle = nvmlDeviceGetHandleByIndex(i)
                temp = nvmlDeviceGetTemperature(handle, NVML_TEMPERATURE_GPU)

                if temp > CRITICAL_TEMP_THRESHOLD:
                    set_power_limit(i, REDUCED_POWER_LIMIT)
                    log_event(i, temp, "CRITICAL: Power restricted.")
                elif temp < SAFE_TEMP_THRESHOLD - 10:
                    set_power_limit(i, NORMAL_POWER_LIMIT)

            time.sleep(5) # サービス運用なら5〜10秒間隔で十分
    except Exception as e:
        logging.error(f"Guard service crashed: {e}")
    finally:
        nvmlShutdown()