PVE 硬件直通之强制 IOMMU 分组。支持 ACS 直接开启，不支持 ACS 需要更新内核_iommu 分组-解决直通网卡卡死机问题

检查是否直接支持 IOMMU 分组

下面以 SATA 控制器为例，看 pci 设备是否可以直接支持 IOMMU 分组

/* 打印pci设备详细信息*/
lspci -vv
/* 找到SATA controller 段落*/
16:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] Device 43eb (prog-if 01 [AHCI 1.0])
        Subsystem: ASMedia Technology Inc. Device 1062
        Flags: bus master, fast devsel, latency 0, IRQ 34, IOMMU group 8
        Memory at fcf80000 (32-bit, non-prefetchable) [size=128K]
        Expansion ROM at fcf00000 [disabled] [size=512K]
        Capabilities: [50] MSI: Enable+ Count=1/1 Maskable- 64bit+
        Capabilities: [78] Power Management version 3
        Capabilities: [80] Express Legacy Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        /* 检查是否存在Capabilities: Access Control Services*/
        Capabilities: [2a0] Access Control Services
        Kernel driver in use: vfio-pci
        Kernel modules: ahci

如果设备信息中支持 ACS（Access Control Services），便可直接通过设置开启 IOMMU 分组。若不支持 ACS，需要更新内核，关闭 ACS 检查，开启 IOMMU 分组。

由于 PCIe 设备是支持 P2P 传输的，这也就意味着同一个 PCIe 交换开关连接下不同终端可以在不流经 RootComplex 的情况下互相通信。若使用过程中不希望 P2P 直接通信又不采取相关措施，则该漏洞很有可能被无意或有意触发，使得某些 EP 收到无效、非法甚至恶意的访问请求，从而引发一系列潜在问题。ACS 协议提供了一种机制，能够决定一个 TLP 被正常路由、阻塞或重定向。在 SR-IOV 系统中，还能防止属于 VI 或者不同 SI 的设备 Function 之间直接通信。通过在交换节点上开启 ACS 服务，可以禁止 P2P 发送，强迫交换节点将所有地址的访问请求送到 RootComplex，从而避开 P2P 访问中的风险。ACS 可以应用于 PCIe 桥、交换节点以及带有 VF 的 PF 等所有具有调度功能的节点，充当一个看门人的角色。

配置 IOMMU 分组

编辑 / etc/modules 文件，将如下模块加入文件中

vi /etc/modules

# /etc/modules: kernel modules to load at boot time.
#
# This file contains the names of kernel modules that should be loaded
# at boot time, one per line. Lines beginning with "#" are ignored.
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

编辑 / etc/default/grub 文件，修改内容详见注释

vi /etc/default/grub

# If you change this file, run 'update-grub' afterwards to update
# /boot/grub/grub.cfg.
# For full documentation of the options in this file, see:
#   info -f grub -n 'Simple configuration'

GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
# 在原始GRUB_CMDLINE_LINUX_DEFAULT后加入amd_iommu=on pcie_acs_override=downstream,multifunction
# 若是intel的cpu则将amd_iommu改为intel_iommu即可
# GRUB_CMDLINE_LINUX_DEFAULT="quiet"
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on pcie_acs_override=downstream,multifunction"
GRUB_CMDLINE_LINUX=""
GRUB_DISABLE_OS_PROBER=false
# Uncomment to enable BadRAM filtering, modify to suit your needs
# This works with Linux (no patch required) and with any kernel that obtains
# the memory map information from GRUB (GNU Mach, kernel of FreeBSD ...)
#GRUB_BADRAM="0x01234567,0xfefefefe,0x89abcdef,0xefefefef"

# Uncomment to disable graphical terminal (grub-pc only)
#GRUB_TERMINAL=console

# The resolution used on graphical terminal
# note that you can use only modes which your graphic card supports via VBE
# you can see them in real GRUB with the command `vbeinfo'
#GRUB_GFXMODE=640x480

# Uncomment if you don't want GRUB to pass "root=UUID=xxx" parameter to Linux
#GRUB_DISABLE_LINUX_UUID=true

# Uncomment to disable generation of recovery mode menu entries
#GRUB_DISABLE_RECOVERY="true"

# Uncomment to get a beep at grub start
#GRUB_INIT_TUNE="480 440 1"

更新 grub 引导和 ramfs

# 更新grub引导
update-grub
# 更新ramfs
update-initramfs -u -k all

如若正常，所有设备均有独立 IOMMU Group 编号

不直接支持的需要更新内核

提供自己编译好的 pve-kernel 6.1.6 百度云链接
将上述文件复制到 pve 中，执行如下命令更新内核，重启即可。

# 更新内核
dpkg -i *.deb

参考

[1] https://developer.aliyun.com/article/1071405

‍

PVE 硬件直通之强制 IOMMU 分组。支持 ACS 直接开启，不支持 ACS 需要更新内核_iommu 分组-解决直通网卡 卡死机问题

PVE 硬件直通之强制 IOMMU 分组。支持 ACS 直接开启，不支持 ACS 需要更新内核_iommu 分组-解决直通网卡卡死机问题