Chia một card đồ hoạ
cho nhiều máy ảo cùng lúc

Ba cách chia GPU, và cái ta dùng

mdev (mediated device) là cơ chế của nhân Linux cho phép một thiết bị vật lý tự khai báo ra nhiều thiết bị con. Mỗi thiết bị con được gán cho một máy ảo qua VFIO, và máy ảo nhìn thấy nó như một card PCI thật.

Vì sao card GeForce bị chặn

Driver nvidia-vgpu-kvm mang theo tệp vgpuConfig.xml liệt kê đúng 27 mã card được phép — toàn bộ là card datacenter (Tesla, A100, L40…). Khi khởi động, tiến trình nvidia-vgpud đọc mã card thật rồi đối chiếu:

# Nhật ký khi chưa vá — mã 0x2182 là GTX 1660 Ti
nvidia-vgpud: GPU not supported by vGPU at PCI Id: 0:81:0:0 DevID: 0x10de / 0x2182

Chuỗi mở khoá

Vì sao chọn Quadro RTX 6000 làm đích giả trang? Vì nó dùng cùng thế hệ chip Turing. Bảng ánh xạ nằm trong vgpu_unlock_hooks.c:

/* Turing */
case 0x1e02 ... 0x1ff9:
case 0x2182 ... 0x21d1:   /* TU116 — GTX 1660 Ti nằm ở đây */
    return 0x1e30;       /* Quadro RTX 6000 */

Ba dòng hồ sơ: Q, B, A

Tên hồ sơ có dạng GRID RTX6000-2Q: số là dung lượng VRAM tính bằng GB, chữ cái là mục đích sử dụng.

Nếu phân vân, chọn dòng Q. Nó bao trùm mọi nhu cầu của hai dòng kia.

Quy tắc đồng nhất

/sys/bus/pci/devices/0000:81:00.0/mdev_supported_types/*/available_instances

nvidia-256 (1Q)   0    ← khác cỡ  ⇒ khoá
nvidia-257 (2Q)  11    ← cùng cỡ  ⇒ còn chỗ
nvidia-436 (2B)  11    ← cùng 2 GB, KHÁC dòng ⇒ vẫn mở
nvidia-438 (2A)  11    ← nt
nvidia-259 (4Q)   0    ← khác cỡ  ⇒ khoá

số máy đang giữ = max_instance(driver) − available(driver)   = 12 − 11 = 1
số chỗ còn lại  = VRAM thật ÷ framebuffer − số máy đang giữ  =  3 −  1 = 2

Con số nào tin được, con số nào không

Vì card đang giả trang thành Quadro RTX 6000 (24 GB), driver lấy luôn bảng thông số của card đó. Kết quả: mọi con số liên quan tới dung lượng đều sai.

Công thức đúng

Đơn giản hơn tưởng tượng — chia trọn vẹn, không trừ phần dự trữ nào:

số máy tối đa = VRAM thật ÷ framebuffer của hồ sơ
              = 6144 MiB ÷ 2048 MiB = 3 máy

Bảng sức chứa thật — card 6 GB

Bảng điều khiển B43 đã tính lại các con số này (mã: app/vgpu_facts.py) và ẩn hẳn 6 hồ sơ không dùng được, nên giao diện chỉ hiện những lựa chọn có thật.

Vượt quá thì sao

Hỏng an toàn: máy ảo thứ tư đơn giản là không khởi động, báo QEMU exited with code 1. Máy chủ và các máy đang chạy không hề bị ảnh hưởng.

Trường hợp Intel — số liệu ngược lại

Máy pve-wp2-01 dùng đồ hoạ tích hợp Intel với công nghệ GVT-g, hoàn toàn khác. Điểm quan trọng: với GVT-g, available_instances đọc thẳng từ sysfs của kernel nên đáng tin tuyệt đối — ngược hẳn với NVIDIA.

Cách chia hợp lệ — sinh từ VRAM, không viết cứng

Không phải số nào cũng chia được. Ràng buộc thật chỉ có hai, và cả hai đều đến từ bảng hồ sơ của driver chứ không phải từ số học:

1. Mỗi phần phải là số GB nguyên và chia hết tổng VRAM. Khung đệm lẻ không tồn tại trong bảng hồ sơ, nên "5 phần từ card 12 GB" không phải một cách chia — nó chỉ là một phép chia không dư trên giấy.
2. Cỡ đó phải có hồ sơ mdev thật trên chính card đang xét.

Bảng điều khiển sinh danh sách này tại chỗ (vgpu_profile.splits_for_vram()) thay cho hằng số viết cứng cho card 6 GB của bản đầu — cắm card khác vào là bốn lựa chọn cũ đều sai mà không có gì báo.

Máy chủ có nhiều card

Đây là chỗ trực giác đánh lừa mạnh nhất. Người ta mặc định "mỗi card cấu hình riêng được". Không phải. Tệp ghi đè hồ sơ khoá theo mã hồ sơ, phạm vi toàn máy chủ:

# /etc/vgpu_unlock/profile_override.toml
[profile.nvidia-256]      # ← không có chỗ nào ghi "card nào"
framebuffer = 0x3A000000

Bẫy định dạng địa chỉ PCI

nvidia-smi in miền PCI thành 8 chữ số, còn sysfs và Proxmox dùng 4. Không chuẩn hoá thì phép ghép card ↔ hồ sơ không bao giờ khớp, và phần mềm lặng lẽ kết luận card "không có hồ sơ nào":

nvidia-smi : 00000000:81:00.0
sysfs      : 0000:81:00.0      ← dạng chuẩn

Điều kiện cần trước khi bắt đầu

Bảy bước

1. Chọn kernel khớp với driver — làm trước tiên

   Đây là chỗ dễ mất nhiều giờ nhất. Driver NVIDIA biên dịch một module vào nhân Linux, và nhân thay đổi API liên tục. Kiểm tra bằng cách biên dịch thử, không cài gì cả:

   sh NVIDIA-Linux-x86_64-<ver>-vgpu-kvm.run --extract-only --target /root/nv
   cd /root/nv/kernel && make -j$(nproc) SYSSRC=/lib/modules/$(uname -r)/build modules

   Thất bại thì cài kernel cũ hơn và ghim lại. Trên hệ thống này: kernel 7.0 hỏng, kernel 6.14 chạy.

2. Chuẩn bị máy chủ

   # Bật IOMMU trong tham số khởi động
   intel_iommu=on iommu=pt        # hoặc amd_iommu=on
   
   # Chặn driver nguồn mở, nếu không nó chiếm mất card
   echo -e "blacklist nouveau\nblacklist nvidiafb\noptions nouveau modeset=0" \
     > /etc/modprobe.d/blacklist-nouveau.conf
   update-initramfs -u && reboot

3. Tải driver — và kiểm ngay tính toàn vẹn

   Lấy từ NVIDIA Licensing Portal (đăng ký dùng thử miễn phí; nên dùng email tên miền công ty, email gmail hay bị xét duyệt tay).

   sh <file>.run --check      # PHẢI ra "check sums and md5 sums are ok"

   Dấu hiệu tải dở

   Kích thước tệp là bội số chẵn của 256 KiB. Đã gặp thật: cả 4 tệp của một bộ driver đều tải dở, và tất cả đều có kích thước tròn trịa như vậy.

4. Vá driver — cần đúng công cụ

   Bản vá là diff nhị phân. patch phiên bản 2.8 (Debian 13) từ chối dữ liệu chứa byte NUL. Phải lấy bản 2.7.6:

   curl -fL http://deb.debian.org/debian/pool/main/p/patch/patch_2.7.6-7_amd64.deb -o p.deb
   dpkg-deb -x p.deb /root/p276 && mkdir -p /root/bin
   cp /root/p276/usr/bin/patch /root/bin/patch     # KHÔNG cài đè hệ thống
   
   PATH=/root/bin:$PATH ./driver.run --apply-patch <ver>.patch
   # → sinh ra driver-custom.run

   Bản vá lấy ở polloloco/vgpu-proxmox. Mỗi bản vá chỉ dùng cho đúng một phiên bản driver — sai phiên bản sẽ báo hunks FAILED.

5. Cài driver đã vá

   ./driver-custom.run --dkms -m=kernel

   --dkms để driver tự biên dịch lại khi kernel cập nhật.

6. Cài lớp mở khoá tầng người dùng

   cd /opt && git clone https://github.com/mbilker/vgpu_unlock-rs.git
   curl https://sh.rustup.rs -sSf | sh -s -- -y --profile minimal
   source $HOME/.cargo/env && cd vgpu_unlock-rs && cargo build --release
   
   mkdir -p /etc/vgpu_unlock /etc/systemd/system/nvidia-vgpud.service.d \
            /etc/systemd/system/nvidia-vgpu-mgr.service.d
   touch /etc/vgpu_unlock/profile_override.toml
   for s in nvidia-vgpud nvidia-vgpu-mgr; do
     printf '[Service]\nEnvironment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so\n' \
       > /etc/systemd/system/$s.service.d/vgpu_unlock.conf
   done
   systemctl daemon-reload && reboot     # reboot là BẮT BUỘC

7. Kiểm tra và gán cho máy ảo

   ls /sys/bus/pci/devices/0000:<slot>/mdev_supported_types/   # phải ra danh sách
   qm set <VMID> --hostpci0 0000:<slot>,mdev=nvidia-257        # 257 = hồ sơ 2 GB

   Trong máy khách: cài driver -grid.run cùng bộ, rồi trỏ giấy phép về máy chủ DLS.

Cấp phép bằng FastAPI-DLS

Máy khách không có giấy phép sẽ bị NVIDIA giảm hiệu năng sau khoảng 20 phút. FastAPI-DLS là bản thay thế mã nguồn mở cho máy chủ cấp phép.

# Trên máy khách
mkdir -p /etc/nvidia/ClientConfigToken
curl -sk https://<dls>:<port>/-/client-token \
  -o /etc/nvidia/ClientConfigToken/client_configuration_token_$(date +%d-%m-%Y).tok
sed -i 's/^FeatureType=.*/FeatureType=1/' /etc/nvidia/gridd.conf
systemctl restart nvidia-gridd
nvidia-smi -q | grep -i "License Status"     # mong đợi: Licensed

Dành cho AI Agent dựng lại hệ thống này

Phần này viết cho tác nhân tự động. Thứ tự dưới đây được sắp xếp để thất bại sớm và rẻ — các phép kiểm tốn ít thời gian nhất nhưng loại bỏ nhiều khả năng sai nhất được đặt lên trước.

Giai đoạn 0 — Khảo sát (không thay đổi gì)

lspci -nn | grep -i -E "vga|3d"      # lấy mã card, vd 10de:2182
uname -r; pveversion                     # phiên bản kernel
cat /proc/cmdline | grep -o "iommu[^ ]*" # IOMMU đã bật chưa
dpkg -l | grep -E "proxmox-headers"  # có header để biên dịch không
qm list                                  # máy nào đang chạy (cần trước khi reboot)
pvecm status 2>/dev/null || echo standalone # có cluster không

Giai đoạn 1 — Ba phép kiểm quyết định

1. Card có trong danh sách hỗ trợ không? Giải nén driver, tìm mã card trong vgpuConfig.xml. Không có ⇒ bắt buộc phải vá.
2. Có bản vá cho ĐÚNG phiên bản driver này không? Đối chiếu với danh sách tệp .patch trong repo. Không có ⇒ dừng lại và đổi phiên bản driver, đừng cố vá bằng bản vá của phiên bản khác.
3. Driver biên dịch được trên kernel này không? Chạy make modules như ở tab trước. Hỏng ⇒ hạ kernel trước, mọi việc khác vô nghĩa.

Giai đoạn 2 — Hạ kernel an toàn khi máy ở xa

apt-get install -y proxmox-kernel-6.14
# BẮT BUỘC kiểm: driver mạng hiện tại có trong kernel mới không
for i in $(ls /sys/class/net | grep -v lo); do
  drv=$(basename $(readlink /sys/class/net/$i/device/driver))
  find /lib/modules/<kernel-moi> -name "$drv.ko*" | head -1
done
# cũng kiểm: zfs.ko nếu dùng ZFS, và dkms status

Ghim kernel bằng GRUB_DEFAULT tường minh rồi xác minh trong grub.cfg trước khi reboot:

SUB=$(grep -m1 -o "gnulinux-advanced-[^']*" /boot/grub/grub.cfg)
ENT=$(grep -m1 -o "gnulinux-<ver>-advanced-[^']*" /boot/grub/grub.cfg)
sed -i "s|^GRUB_DEFAULT=.*|GRUB_DEFAULT=\"$SUB>$ENT\"|" /etc/default/grub
update-grub
grep -n "set default" /boot/grub/grub.cfg   # dòng THỨ HAI mới là thật

Giai đoạn 3 — Xác minh sau mỗi bước

Bước cuối không được bỏ qua: một thiết lập không sống sót qua khởi động lại thì chưa xong.

Việc phải hỏi người dùng, không tự quyết

• Khởi động lại máy chủ ảo hoá — nhất là khi máy ở xa và không có IPMI.
• Đổi hồ sơ vGPU khi đang có máy ảo chạy — phải tắt hết chúng.
• Ghi cấu hình ràng buộc phần cứng (vfio, passthrough) — sai là máy không boot.
• Tải driver từ cổng NVIDIA — cần tài khoản của người dùng, agent không làm hộ được.

Nhận diện nhanh khi gặp lỗi

Giấy phép: thứ quyết định card chạy nhanh hay chậm

vGPU của NVIDIA không khoá theo kiểu bật/tắt. Máy khách thiếu giấy phép vẫn khởi động, vẫn thấy card, vẫn dựng hình — trong khoảng 20 phút ân hạn. Hết hạn đó, driver tự hạ hiệu năng xuống mức gần như không dùng nổi và tắt CUDA. Đây là lý do một máy "chạy tốt lúc thử" lại chậm như bò vào hôm sau.

Đường xin giấy phép — bốn chặng

Máy khách nói chuyện với máy chủ cấp phép tự dựng (FastAPI-DLS, container lotus_dls) theo đúng bốn bước. Biết chuỗi này thì nhìn nhật ký là biết hỏng ở đâu:

🔴 Thủ phạm khó ngờ nhất: đồng hồ UTC lệch

Máy khách Windows xin giấy phép mãi không xong, dừng ngay chặng 1. Mạng thông, DLS chạy, một máy khách khác trên cùng máy chủ DLS lại xin được bình thường.

Vì sao nó xảy ra

1. Proxmox trình đồng hồ phần cứng cho máy ảo theo giờ địa phương của máy chủ (UTC+7), không phải UTC.
2. Windows bên trong lại đang để múi giờ Pacific (UTC−7).
3. Windows tính ngược ra UTC bằng cách trừ đi múi giờ của nó ⇒ UTC lệch 14 tiếng.
4. JWT của DLS chỉ sống 900 giây. Lệch 14 tiếng thì mọi vé đều nằm ngoài cửa sổ hiệu lực — không bao giờ có ngoại lệ.

Cách kiểm và cách chữa

# So GIỜ UTC, không so giờ hiển thị — giờ hiển thị luôn đúng
[System.DateTime]::UtcNow
tzutil /g

# Chữa: đặt lại múi giờ rồi ép đồng bộ
tzutil /s "SE Asia Standard Time"
w32tm /resync /force

⚠ Driver GRID có thể treo máy khách

Trên card đã vgpu_unlock, driver khách 553.74 treo cứng Windows ngay lúc nạp — không màn hình xanh, không nhật ký, máy đơn giản là đứng. Cứu bằng cách tắt cứng rồi qm set <vmid> --delete hostpci0, khởi động lại là vào được để gỡ driver.

Console đen sau khi driver GRID nạp — đúng thiết kế

Máy khách gắn vGPU dựng hình bằng driver NVIDIA GRID, nên bộ khung hình giả lập của QEMU không còn được vẽ vào nữa. Hệ quả:

• Ảnh chụp màn hình (screendump) ra một khung đen tuyền.
• Console noVNC không hiện gì sau khi Windows nạp driver.
• Trước lúc đó (màn hình BIOS, logo khởi động) thì vẫn chụp được bình thường — đây là dấu hiệu phân biệt "đúng thiết kế" với "máy chết".

Đường vào đúng là Remote Desktop. Bảng điều khiển B43 phát hiện khung hình đồng màu và hiện thẳng lời giải thích kèm địa chỉ RDP, thay vì để người dùng nhìn một ô đen và tưởng máy đã chết.

Bản mẫu Windows: hai điều phải nhớ

• Đóng gói bản SAO, đừng đóng gói máy đang dùng. qm template là một chiều — máy nguồn vĩnh viễn không chạy lại được. Quy trình đúng: nhân bản đầy đủ → gỡ vGPU khỏi bản sao → mới qm template lên bản sao đó.
• Bản mẫu KHÔNG nên mang hostpci0. Card chỉ có ngần ấy chỗ mdev; bản mẫu mang sẵn vGPU thì máy nhân bản vượt số chỗ sẽ không khởi động nổi. Gắn vGPU sau lúc nào cũng được — driver đã nằm sẵn trong kho driver của Windows.

Những cái bẫy đã trả giá

Mỗi mục dưới đây là một lỗi thật đã gặp trong quá trình dựng hệ thống này, kèm cách nhận ra nó.