没事瞎折腾之 ESXI和PVE

硬件环境

CPU：Intel® Core™ i9-10850K

主板：Z490 AORUS ELITE AC

板载网卡：r8125b 2.5G

GPU：RX 550变形金刚4G

最初设想

all in one，在一个物理机上安装多系统，实现娱乐、工作、学习集于一身：

windows 10，视频，游戏，需要直通显卡、键鼠
ubuntu，工作、学习，安装docker
macOS，尝鲜
nas：存储，照片、共享目录
其它

开始行动

1、第一次PVE

因为之前用过esxi，所以这一次想尝试一下pve，所以准备U盘、rufus、pve 6.4 iso镜像；插入u盘，启动。。。

结果。。。no network interface found，可能是网卡太高级了？还没支持？在网上找了一圈，最终还是没有找到一个好的方法，无奈暂时放弃

2、第一次ESXI

PVE不行，那就上ESXI，先上esxi 7.0。重新制作usb启动盘，下载esxi 7.0 iso，插入u盘，启动。。。

结果。。。还是找不到网卡，崩溃中。。。

换成esxi 6.7，还是找不到网卡，在网上找到网卡打包的方法，下载r8125b vio文件，重新打包esxi 6.7

VFrontDe/ESXi-Customizer-PS

realganfan/r8125-esxi

这一次终于成功了，可以识别网卡，并安装完成，终于走出了第一步。。。

接下来开始安装win10、macOS、ubuntu系统

显卡直通，虚拟机中可以看到显示，但是接上显示器后却是黑屏，没有显示。。。再次崩溃。。。

3、第二次PVE

第一次安装PVE，曾经有人建议买一个usb接口的网卡试一下；实在没办法只能买一个试一下了，京东下单，第二天到货。。。

再次安装PVE，果然成功安装上了。

再安装系统，显卡直通。。。

2401DEM：Proxmox VE 6.2安装macOS 10.15及GPU穿通方案

pve虚拟机显卡直通教程 - TimZhong's Blog

配置完成后，开启虚拟机，结果死机。。。pve和我都崩溃了。。。

下定决定认真研究PCIE直通

linux.org/title/PCI_passthrough_via_OVMF_%28%25E7%25AE%2580%25E4%25BD%2593%25E4%25B8%25AD%25E6%2596%2587%29" class=" wrap external" target="_blank" rel="nofollow noreferrer" data-za-detail-view-id="1043" style="text-decoration-line: none; cursor: pointer; border-bottom: 1px solid rgb(128, 128, 128);">PCI passthrough via OVMF (简体中文)

7.2更新5.4.44-1，解决j3455直通iommu分组问题，PVE内核编译... - LEDE/OpenWRT - KoolShare - 源于玩家服务玩家

最终发现了根本原因，就是iommu分组问题，显卡并没有独占一个分组:

# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/7/devices/0000:00:1b.4
/sys/kernel/iommu_groups/7/devices/0000:02:00.0
/sys/kernel/iommu_groups/7/devices/0000:01:00.0
/sys/kernel/iommu_groups/7/devices/0000:00:1b.0
/sys/kernel/iommu_groups/7/devices/0000:02:00.1
/sys/kernel/iommu_groups/5/devices/0000:00:16.0
/sys/kernel/iommu_groups/3/devices/0000:00:14.2
/sys/kernel/iommu_groups/3/devices/0000:00:14.0
/sys/kernel/iommu_groups/1/devices/0000:00:02.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.4
/sys/kernel/iommu_groups/8/devices/0000:04:00.0
/sys/kernel/iommu_groups/6/devices/0000:00:17.0
/sys/kernel/iommu_groups/4/devices/0000:00:14.3
/sys/kernel/iommu_groups/2/devices/0000:00:12.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.0
/sys/kernel/iommu_groups/10/devices/0000:00:1f.5
/sys/kernel/iommu_groups/10/devices/0000:00:1f.3
/sys/kernel/iommu_groups/10/devices/0000:00:1f.4
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/9/devices/0000:00:1d.4
/sys/kernel/iommu_groups/9/devices/0000:00:1d.0

根据上面的方法，修改patch，重新编译pve kernel，编译内核需要注意以下点：