本文详细介绍了如何在 GMKTEC EVO-X2 迷你主机(搭载 AMD Ryzen AI Max+ 395 APU)上配置完整的本地大语言模型运行环境。该 APU 拥有 128GB 统一内存和集成的 Radeon 8060S GPU,能够运行高达 70B 参数的大模型,算力超100 TOPS,性能媲美NVIDIA RTX 4070 Laptop。
硬件规格概览
- CPU: AMD Ryzen AI Max+ 395 (Strix Halo 架构)
- GPU: 集成 Radeon 8060S (gfx1151,40 个计算单元)
- 内存: 128GB DDR5 统一内存
- 存储: 支持 NVMe SSD
- 特性: 支持 ROCm rocWMMA 和 hipBLASlt,用于加速矩阵运算
第 1 阶段:BIOS 配置
在安装操作系统之前,需要先在 BIOS 中进行以下配置:
- 配置 GPU 内存:
- 进入
Integrated Graphics → UMA Frame Buffer Size
- 设置为 1024MB(仅显示帧缓冲,实际计算内存通过 GTT 配置)
- 禁用 IOMMU:
- 找到 IOMMU 设置并禁用
- 可提供约 6% 的内存读取性能提升
- 只有在需要 VFIO/GPU 直通时才重新启用
- 设置电源模式:
(more…)