SKADA/docs/razvertyvanie-proxmox.md

# Развёртывание и настройка Proxmox VE

## Консолидация СКАДА, ЛЭРС, лифты, «Меркурий»

| Параметр | Значение |
|----------|----------|
| Версия | 1.1 |
| Дата | 09.07.2026 |
| Связанный документ | [Техническое задание](TZ-proxmox-konsolidaciya.md) |

---

## Содержание

1. [Предварительные требования](#1-предварительные-требования)
2. [Фаза 0 — Подготовка](#2-фаза-0--подготовка)
3. [Фаза 1 — Установка Proxmox VE](#3-фаза-1--установка-proxmox-ve)
   - [3.1. Настройка MegaRAID (BIOS контроллера)](#31-настройка-megaraid-bios-контроллера)
   - [3.2. Разбивка дисков (8 дисков)](#32-разбивка-дисков-8-дисков)
   - [3.3. Установка Proxmox VE](#33-установка-proxmox-ve)
   - [3.4. Подключение RAID10 под базы данных](#34-подключение-raid10-под-базы-данных)
4. [Фаза 2 — Настройка IOMMU и VFIO (Вариант А)](#4-фаза-2--настройка-iommu-и-vfio-вариант-а)
5. [Фаза 3 — Создание виртуальных машин](#5-фаза-3--создание-виртуальных-машин)
6. [Фаза 4 — Установка Windows 10](#6-фаза-4--установка-windows-10)
7. [Фаза 5 — GPU и USB Passthrough (Вариант А)](#7-фаза-5--gpu-и-usb-passthrough-вариант-а)
8. [Фаза 6 — Настройка RDP (Вариант Б)](#8-фаза-6--настройка-rdp-вариант-б)
9. [Фаза 7 — Миграция программ](#9-фаза-7--миграция-программ)
10. [Фаза 8 — Резервное копирование](#10-фаза-8--резервное-копирование)
11. [Фаза 9 — Тестирование и ввод в эксплуатацию](#11-фаза-9--тестирование-и-ввод-в-эксплуатацию)
12. [Устранение неполадок](#12-устранение-неполадок)
13. [Справочник конфигураций ВМ](#13-справочник-конфигураций-вм)

---

## 1. Предварительные требования

### 1.1. Состав виртуальных машин

| VM ID | Имя | Назначение | IP (пример) | vCPU | RAM | Диск |
|-------|-----|-----------|-------------|------|-----|------|
| 101 | vm-scada | СКАДА + «Меркурий» | 192.168.10.11 | 6 | 20 ГБ | 200 ГБ |
| 102 | vm-lers | ЛЭРС Учёт | 192.168.10.12 | 4 | 16 ГБ | 120 ГБ |
| 103 | vm-lifts | Управление лифтами | 192.168.10.13 | 4 | 16 ГБ | 120 ГБ |

### 1.2. Необходимые образы и файлы

- ISO Proxmox VE 8.x — [proxmox.com/downloads](https://www.proxmox.com/en/downloads)
- ISO Windows 10
- VirtIO drivers — [fedoraproject.org/wiki/Windows_Virtio_Drivers](https://fedoraproject.org/wiki/Windows_Virtio_Drivers)
- Полные бэкапы текущих ПК (образы + БД + конфигурации)

### 1.3. Сетевая схема (пример)

| Узел | IP | VLAN | Назначение |
|------|-----|------|-----------|
| Proxmox host | 192.168.10.10 | 10 | Управление |
| VM-101 | 192.168.10.11 | 10 | СКАДА + «Меркурий» |
| VM-102 | 192.168.10.12 | 10 | ЛЭРС |
| VM-103 | 192.168.10.13 | 10 | Лифты |
| MOXA (до замены) | 192.168.10.20 | 10 | Конвертер RS-485 |
| RDP-клиент | 192.168.10.50 | 10 | Рабочее место (Вариант Б) |

---

## 2. Фаза 0 — Подготовка

### 2.1. Инвентаризация

Зафиксировать для каждого текущего ПК:

- [ ] Версия Windows 10 (build)
- [ ] Версии СКАДА, ЛЭРС, лифтов, «Меркурия»
- [ ] Размеры баз данных
- [ ] IP-адреса, маски, шлюзы, DNS
- [ ] COM-порты и скорости (если используются)
- [ ] Подключение MOXA (IP, порт, виртуальный COM)
- [ ] Vendor:Product ID USB-ключа «Меркурия»

Узнать ID USB-ключа на Linux-хосте (после установки Proxmox):

```bash
lsusb
# Пример вывода: Bus 001 Device 005: ID 0529:0001 Aladdin HASP HL 3.25
```

### 2.2. Резервное копирование исходных систем

На каждом из трёх ПК:

1. Создать образ диска (Macrium Reflect / Clonezilla).
2. Экспортировать базы данных СКАДА и ЛЭРС штатными средствами ПО.
3. Сохранить конфигурации лифтовой программы и «Меркурия».
4. Скопировать бэкапы на внешний носитель и NAS.

### 2.3. Проверка IOMMU (только Вариант А, после сборки железа)

В BIOS включить VT-d/IOMMU, установить Proxmox, выполнить:

```bash
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
```

Скрипт проверки IOMMU groups:

```bash
#!/bin/bash
# save as: /root/check-iommu.sh
for g in /sys/kernel/iommu_groups/*; do
  echo "Group $(basename $g):"
  for d in $g/devices/*; do
    echo -e "\t$(lspci -nns ${d##*/})"
  done
done
```

```bash
chmod +x /root/check-iommu.sh
/root/check-iommu.sh | tee /root/iommu-groups.txt
```

**Критерий готовности:** каждая GPU находится в отдельной IOMMU group (допустимо только с HDMI-audio той же карты).

---

## 3. Фаза 1 — Установка Proxmox VE

> Рекомендуемый путь — **аппаратный RAID** на Broadcom/LSI MegaRAID с BBU/CacheVault, **ext4 + LVM-thin**. Подробности по выбору контроллера — в [ТЗ, раздел 3.1](TZ-proxmox-konsolidaciya.md#31-подсистема-хранения-общая-для-обоих-вариантов).

### 3.1. Настройка MegaRAID (BIOS контроллера)

Перед установкой Proxmox войдите в утилиту конфигурирования контроллера (**Ctrl+R** при загрузке, или **UEFI MegaRAID Configuration Utility**).

#### Обязательные параметры Virtual Drive (VD)

Для **каждого** созданного виртуального диска (RAID1 и RAID10) выставьте:

| Параметр | Значение | Зачем |
|----------|----------|-------|
| **Write Policy** | **Write Back with BBU** (или **Write Back**, если CacheVault исправен) | Write Through снижает скорость записи в десятки раз — критично для БД СКАДА/ЛЭРС |
| **Read Policy** | **Adaptive Read Ahead** | Контроллер предугадывает чтение логов и баз данных |
| **Disk Cache Policy** | **Enabled** (или по рекомендации вендора SSD) | |
| **I/O Policy** | Direct (по умолчанию) | |
| **Access Policy** | Read/Write | |

> **Важно.** Write Back **допустим только** при исправном **BBU** или **CacheVault (CVPM02/CVPM05)**. Проверьте статус: `Optimal`, заряд кэша — `OK`. Без защиты кэша используйте Write Through (но производительность будет низкой).

#### Проверка CacheVault / BBU

В утилите MegaRAID или после установки ОС:

```bash
# После установки Proxmox (пакет storcli)
apt install storcli
storcli64 /c0 show | grep -i "cache\|bbu\|vault"
storcli64 /c0/cv show
```

Ожидаемый статус CacheVault: **Optimal**.

---

### 3.2. Разбивка дисков (8 дисков)

Рекомендуемая схема для серверной конфигурации с 8 физическими SSD/SAS-дисками:

```
Диски 1, 2  →  RAID 1   →  VD0  →  Proxmox VE (ext4) + системные диски ВМ (Windows 10)
Диски 3–6   →  RAID 10  →  VD1  →  Только базы данных (СКАДА, ЛЭРС, «Меркурий»)
Диски 7, 8  →  Global Hot Spare  →  Автозамена при отказе любого из дисков 1–6
```

| VD | RAID | Физические диски | Назначение | Примерный объём* |
|----|------|-----------------|------------|-----------------|
| VD0 | RAID1 | 1, 2 | ОС Proxmox, `local-lvm` — системные диски ВМ | ~960 ГБ (из 2× 960 ГБ) |
| VD1 | RAID10 | 3, 4, 5, 6 | Активно пишущиеся БД | ~1,9 ТБ (из 4× 960 ГБ) |
| Hot Spare | — | 7, 8 | Global Hot Spare | — |

\*При дисках 960 ГБ. Для 1,92 ТБ — пропорционально.

#### Создание массивов в MegaRAID BIOS

1. **VD0 (RAID1):** выбрать диски 1 и 2 → RAID Level **1** → применить политики из п. 3.1.
2. **VD1 (RAID10):** выбрать диски 3, 4, 5, 6 → RAID Level **10** → применить политики из п. 3.1.
3. **Hot Spare:** диски 7 и 8 → **Make Global Hot Spare** (на обоих).

При отказе любого диска из VD0 или VD1 контроллер **автоматически** начнёт rebuild на hot spare без участия оператора.

#### Создание через StorCLI (альтернатива, после загрузки с Live-USB)

```bash
# Пример (номера enclosure/slot уточнить: storcli64 /c0/eall/sall show)

# RAID1 — диски 0:0 и 0:1
storcli64 /c0 add vd r1 drives=0:0,0:1 writepolicy=wb readpolicy=ra

# RAID10 — диски 0:2–0:5
storcli64 /c0 add vd r10 drives=0:2,0:3,0:4,0:5 writepolicy=wb readpolicy=ra

# Global Hot Spare — диски 0:6 и 0:7
storcli64 /c0/e0/s6 add spares
storcli64 /c0/e0/s7 add spares
```

#### Упрощённые схемы (если дисков меньше 8)

| Дисков | Схема |
|--------|-------|
| 4 | RAID10 (все 4) → один VD → ext4 + LVM-thin (см. [ТЗ 3.1](TZ-proxmox-konsolidaciya.md#31-подсистема-хранения-общая-для-обоих-вариантов)) |
| 2 | RAID1 → один VD → ext4 + LVM-thin |
| 2× NVMe (tower, без RAID-контроллера) | ZFS mirror при установке Proxmox — бюджетная альтернатива |

---

### 3.3. Установка Proxmox VE

1. Загрузиться с ISO Proxmox VE 8.x.
2. На экране выбора диска выбрать **VD0 (RAID1)** — первый виртуальный диск MegaRAID.
3. **Тип файловой системы:** **ext4** (или **xfs** — допустимая альтернатива).
4. **Не выбирать ZFS** при аппаратном RAID.
5. Proxmox автоматически создаст структуру **LVM-thin** (`local-lvm`) для дисков виртуальных машин.
6. Задать:
   - Hostname: `pve-scada`
   - IP: `192.168.10.10/24`
   - Gateway, DNS — по сети заказчика
7. Завершить установку, перезагрузить.

> **VD1 (RAID10)** на этом этапе **не трогаем** — он будет подключён после установки (п. 3.4).

#### Первичная настройка хоста

```bash
# Обновление системы
apt update && apt full-upgrade -y

# Часовой пояс (пример: Москва)
timedatectl set-timezone Europe/Moscow

# Проверка версии
pveversion -v

# Проверка RAID
storcli64 /c0/vall show
storcli64 /c0/eall/sall show
```

#### Загрузка ISO в хранилище

Через веб-интерфейс: **Datacenter → pve-scada → local → ISO Images → Upload**

Загрузить:

- `Win10_22H2_ru.iso`
- `virtio-win-0.1.xxxx.iso`

#### Настройка хранилища для бэкапов (NAS)

**Datacenter → Storage → Add → NFS/CIFS** — указать путь к NAS для vzdump.

---

### 3.4. Подключение RAID10 под базы данных

VD1 (RAID10) предназначен **только для активно пишущихся баз данных** СКАДА, ЛЭРС и «Меркурия». Системные диски Windows остаются на VD0 (`local-lvm`).

#### Шаг 1. Разметка VD1 на хосте

```bash
# Убедиться, что VD1 виден (обычно /dev/sdb)
lsblk
storcli64 /c0/vall show

# Создать раздел и файловую систему
parted /dev/sdb mklabel gpt
parted /dev/sdb mkpart primary ext4 0% 100%
mkfs.ext4 -L pve-data-db /dev/sdb1

# Точка монтирования
mkdir -p /mnt/pve/data-db
echo 'LABEL=pve-data-db /mnt/pve/data-db ext4 defaults,noatime 0 2' >> /etc/fstab
mount -a
```

#### Шаг 2. Добавить хранилище в Proxmox

**Datacenter → Storage → Add → Directory:**

| Параметр | Значение |
|----------|----------|
| ID | `data-db` |
| Directory | `/mnt/pve/data-db` |
| Content | Disk image, VZDump backup file |
| Shared | No |

Или через CLI:

```bash
pvesm add dir data-db --path /mnt/pve/data-db --content images,backup --maxfiles 0
```

#### Шаг 3. Разделение дисков ВМ

Для каждой ВМ создаются **два диска**:

| ВМ | Диск 1 (система) | Диск 2 (базы данных) |
|----|-----------------|---------------------|
| VM-101 (СКАДА + «Меркурий») | `local-lvm`, 80–100 ГБ | `data-db`, 100+ ГБ |
| VM-102 (ЛЭРС) | `local-lvm`, 60–80 ГБ | `data-db`, 60+ ГБ |
| VM-103 (Лифты) | `local-lvm`, 60–80 ГБ | `data-db` — только если БД на этом диске |

Пример добавления диска БД к VM-101:

```bash
qm set 101 --scsi1 data-db:100,iothread=1,discard=on,ssd=1
```

В Windows:

- Диск 0 (VirtIO SCSI) — система Windows 10 + программы.
- Диск 1 (VirtIO SCSI) — папки баз данных (перенести каталоги СКАДА/ЛЭРС/«Меркурия» на этот том).

#### Шаг 4. Проверка I/O

```bash
# Быстрый тест записи на RAID10
fio --name=db-test --directory=/mnt/pve/data-db --rw=randwrite --bs=4k \
    --numjobs=4 --iodepth=32 --size=1G --runtime=30 --time_based
```

Ожидаемый результат: существенно выше random write IOPS на `/mnt/pve/data-db`, чем на `local-lvm` (RAID1).

---

## 4. Фаза 2 — Настройка IOMMU и VFIO (Вариант А)

> Для **Варианта Б (RDP)** этот раздел можно пропустить, достаточно базовой установки Proxmox.

### 4.1. BIOS

| Параметр | Значение |
|----------|----------|
| Intel VT-x / AMD SVM | ON |
| Intel VT-d / AMD IOMMU | ON |
| Boot Mode | UEFI |
| CSM / Legacy | OFF |
| Above 4G Decoding | ON |
| Resizable BAR | OFF (NVIDIA) |
| Primary Display | iGPU |

### 4.2. GRUB

```bash
nano /etc/default/grub
```

Для Intel:

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
```

Для AMD:

```
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"
```

Применить:

```bash
update-grub
```

### 4.3. Модули ядра

```bash
cat >> /etc/modules << 'EOF'
vfio
vfio_iommu_type1
vfio_pci
EOF
```

### 4.4. Blacklist GPU-драйверов на хосте

```bash
cat > /etc/modprobe.d/blacklist-gpu.conf << 'EOF'
blacklist nouveau
blacklist nvidia
blacklist nvidiafb
blacklist radeon
blacklist amdgpu
EOF
```

### 4.5. Привязка GPU к vfio-pci

Узнать PCI ID видеокарт:

```bash
lspci -nn | grep -i vga
# Пример AMD RX 550: 1002:699f
# Пример NVIDIA GT 1030: 10de:1d01
```

```bash
nano /etc/modprobe.d/vfio.conf
```

```
options vfio-pci ids=1002:699f,1002:699f,1002:699f
softdep radeon pre: vfio-pci
softdep amdgpu pre: vfio-pci
softdep nouveau pre: vfio-pci
softdep nvidia pre: vfio-pci
options vfio-pci disable_vga=1
```

> Замените `ids=` на реальные ID ваших трёх GPU.

```bash
update-initramfs -u -k all
reboot
```

### 4.6. Проверка после перезагрузки

```bash
dmesg | grep -i vfio
lspci -k | grep -A3 -i vga
# Должно быть: Kernel driver in use: vfio-pci
```

### 4.7. AMD reset-bug (при необходимости)

Если GPU не перезапускается после shutdown ВМ:

```bash
apt install git dkms build-essential -y
git clone https://github.com/gnif/vendor-reset.git
cd vendor-reset
echo "vendor-reset" >> /etc/modules
dkms install .
modprobe vendor-reset
```

---

## 5. Фаза 3 — Создание виртуальных машин

> При схеме **8 дисков** (раздел 3.2): `scsi0` — системный диск на `local-lvm` (RAID1), `scsi1` — диск БД на `data-db` (RAID10).

### 5.1. Создание через CLI (пример VM-101)

```bash
# Создание VM
qm create 101 --name vm-scada --memory 20480 --cores 6 --sockets 1 \
  --cpu host --machine q35 --bios ovmf --ostype win10 \
  --scsihw virtio-scsi-single --agent enabled=1 \
  --net0 virtio,bridge=vmbr0,firewall=1

# EFI disk
qm set 101 --efidisk0 local-lvm:1,efitype=4m,pre-enrolled-keys=0

# Системный диск (RAID1 / local-lvm)
qm set 101 --scsi0 local-lvm:100,iothread=1,discard=on,ssd=1

# Диск баз данных (RAID10 / data-db) — если настроен п. 3.4
qm set 101 --scsi1 data-db:100,iothread=1,discard=on,ssd=1

# CD-ROM с Windows
qm set 101 --ide2 local:iso/Win10_22H2_ru.iso,media=cdrom

# VirtIO drivers (второй CD)
qm set 101 --ide0 local:iso/virtio-win-0.1.xxxx.iso,media=cdrom

# USB 3.0 controller
qm set 101 --usb0 xhci=1

# Autostart
qm set 101 --onboot 1

# Boot order
qm set 101 --boot order=ide2\;scsi0
```

Аналогично для VM-102 и VM-103:

```bash
qm create 102 --name vm-lers --memory 16384 --cores 4 --sockets 1 \
  --cpu host --machine q35 --bios ovmf --ostype win10 \
  --scsihw virtio-scsi-single --agent enabled=1 \
  --net0 virtio,bridge=vmbr0,firewall=1
qm set 102 --efidisk0 local-lvm:1,efitype=4m,pre-enrolled-keys=0
qm set 102 --scsi0 local-lvm:80,iothread=1,discard=on,ssd=1
qm set 102 --scsi1 data-db:60,iothread=1,discard=on,ssd=1
qm set 102 --ide2 local:iso/Win10_22H2_ru.iso,media=cdrom
qm set 102 --ide0 local:iso/virtio-win-0.1.xxxx.iso,media=cdrom
qm set 102 --usb0 xhci=1 --onboot 1
qm set 102 --boot order=ide2\;scsi0

qm create 103 --name vm-lifts --memory 16384 --cores 4 --sockets 1 \
  --cpu host --machine q35 --bios ovmf --ostype win10 \
  --scsihw virtio-scsi-single --agent enabled=1 \
  --net0 virtio,bridge=vmbr0,firewall=1
qm set 103 --efidisk0 local-lvm:1,efitype=4m,pre-enrolled-keys=0
qm set 103 --scsi0 local-lvm:80,iothread=1,discard=on,ssd=1
qm set 103 --ide2 local:iso/Win10_22H2_ru.iso,media=cdrom
qm set 103 --ide0 local:iso/virtio-win-0.1.xxxx.iso,media=cdrom
qm set 103 --usb0 xhci=1 --onboot 1
qm set 103 --boot order=ide2\;scsi0
```

> VM-103: диск `data-db` добавлять только если база данных лифтовой системы хранится локально на диске ВМ.

### 5.2. Создание через веб-интерфейс

Для каждой ВМ (**Create VM**):

| Вкладка | Параметр | Значение |
|---------|----------|----------|
| General | VM ID | 101 / 102 / 103 |
| General | Name | vm-scada / vm-lers / vm-lifts |
| OS | ISO | Windows 10 |
| System | Machine | q35 |
| System | BIOS | OVMF (UEFI) |
| System | Qemu Agent | ✓ |
| Disks | scsi0 | `local-lvm`, VirtIO SCSI, SSD, Discard — система Windows |
| Disks | scsi1 | `data-db`, VirtIO SCSI, SSD — базы данных (если настроен RAID10) |
| CPU | Type | host |
| CPU | Cores | по таблице |
| Memory | Memory | по таблице |
| Network | Model | VirtIO |
| Network | Bridge | vmbr0 |
| Confirm | Start after created | ✗ |

---

## 6. Фаза 4 — Установка Windows 10

### 6.1. Установка ОС

1. Запустить ВМ, открыть Console.
2. При установке Windows на экране выбора диска нажать **Load driver**.
3. Указать драйвер VirtIO SCSI с CD `virtio-win` (папка `vioscsi/w10/amd64`).
4. Установить Windows 10.
5. После первой загрузки установить с CD `virtio-win`:
   - `viofs` (опционально)
   - `vioserial`
   - `Balloon`
   - `qxldod` (если используется виртуальный дисплей)
   - `NetKVM` (сеть VirtIO)

### 6.2. Установка QEMU Guest Agent

С CD `virtio-win`, папка `guest-agent`, запустить `qemu-ga-x86_64.msi`.

Проверка на хосте Proxmox:

```bash
qm agent 101 ping
# Expected: no error
```

### 6.3. Базовая настройка Windows

На каждой ВМ:

```powershell
# Имя компьютера (пример для VM-101)
Rename-Computer -NewName "VM-SCADA" -Restart

# Статический IP (пример)
New-NetIPAddress -InterfaceAlias "Ethernet" -IPAddress 192.168.10.11 -PrefixLength 24 -DefaultGateway 192.168.10.1
Set-DnsClientServerAddress -InterfaceAlias "Ethernet" -ServerAddresses 192.168.10.1

# Отключить спящий режим
powercfg /change standby-timeout-ac 0
powercfg /change hibernate-timeout-ac 0

# Отложить автоматические перезагрузки (через gpedit.msc или настройки Update)
```

### 6.4. Windows Update

Рекомендуется:

- активные часы: 08:00–20:00;
- отложить feature updates на 365 дней;
- отложить quality updates на 30 дней;
- запретить автоматическую перезагрузку в рабочее время.

---

## 7. Фаза 5 — GPU и USB Passthrough (Вариант А)

### 7.1. Определение PCI-адресов GPU

```bash
lspci | grep -i vga
# Пример:
# 01:00.0 VGA compatible controller: AMD Radeon RX 550
# 03:00.0 VGA compatible controller: AMD Radeon RX 550
# 04:00.0 VGA compatible controller: AMD Radeon RX 550
```

### 7.2. Проброс GPU

**Через CLI:**

```bash
# VM-101 — GPU на 01:00
qm set 101 --hostpci0 01:00,pcie=1,x-vga=1,rombar=1

# VM-102 — GPU на 03:00
qm set 102 --hostpci0 03:00,pcie=1,x-vga=1,rombar=1

# VM-103 — GPU на 04:00
qm set 103 --hostpci0 04:00,pcie=1,x-vga=1,rombar=1
```

**Через веб-интерфейс (Hardware → Add → PCI Device):**

| Параметр | Значение |
|----------|----------|
| Device | Выбрать GPU |
| All Functions | ✓ |
| ROM-Bar | ✓ |
| PCI-Express | ✓ |
| Primary GPU | ✓ |
| Display | none (убрать виртуальный VGA) |

Для NVIDIA добавить флаг CPU:

```bash
qm set 101 --cpu host,hidden=1,flags=+pcid
```

### 7.3. Проброс USB-ключа «Меркурия» (VM-101)

**По Vendor/Device ID (рекомендуется):**

```bash
# Узнать ID
lsusb | grep -i hasp
# Пример: 0529:0001

qm set 101 --usb1 host=0529:0001,usb3=1
```

**Passthrough USB-контроллера (если ключ нестабилен):**

```bash
# Найти USB controller в IOMMU group
lspci | grep -i usb

# Пробросить контроллер целиком
qm set 101 --hostpci1 00:14.0,pcie=1
```

> Не подключать USB-ключ через некачественный USB-hub.

### 7.4. Проброс клавиатуры и мыши

**Вариант 1 — отдельные USB-устройства (простой):**

Через GUI: **Hardware → Add → USB Device → Use USB Vendor/Device ID**.

**Вариант 2 — passthrough USB-контроллера (надёжный):**

К каждой ВМ привязать отдельный физический USB-контроллер (встроенный или PCIe):

```bash
# VM-101 — USB controller at 00:14.0
qm set 101 --hostpci2 0b:00.0,pcie=1

# VM-102 — USB controller at 0c:00.0 (PCIe USB card)
qm set 102 --hostpci1 0c:00.0,pcie=1

# VM-103 — USB controller at 0d:00.0 (PCIe USB card)
qm set 103 --hostpci1 0d:00.0,pcie=1
```

### 7.5. Установка драйверов GPU в Windows

1. Запустить VM-101 с passthrough GPU.
2. Изображение установки/рабочего стола должно появиться на **физическом мониторе**, подключённом к GPU-1.
3. Установить драйвер AMD/NVIDIA.
4. Повторить для VM-102 и VM-103.

### 7.6. NVIDIA Code 43 — устранение

Если в диспетчере устройств **Code 43**:

1. Убедиться: `ostype win10`, `cpu host,hidden=1`, `machine q35`, `bios ovmf`.
2. Дамп VBIOS:

```bash
# На хосте, когда GPU не занят VM
echo 1 > /sys/bus/pci/devices/0000:01:00.0/reset
cat /sys/bus/pci/devices/0000:01:00.0/rom > /tmp/gt1030.rom
```

3. Пропатчить ROM ([nvidia-kvm-patcher](https://github.com/sk1080/nvidia-kvm-patcher)).
4. Указать ROM в конфиге:

```bash
qm set 101 --hostpci0 01:00,pcie=1,x-vga=1,rombar=1,romfile=local:snippets/gt1030.rom
```

### 7.7. Проверка passthrough

```bash
# Перезагрузка хоста
reboot

# После загрузки — все ВМ должны стартовать автоматически
qm list

# Проверить USB
qm config 101 | grep usb
qm config 101 | grep hostpci
```

**Чек-лист:**

- [ ] VM-101: картинка на мониторе 1, ключ «Меркурия» виден в Windows
- [ ] VM-102: картинка на мониторе 2
- [ ] VM-103: картинка на мониторе 3
- [ ] Каждая КМ управляет только своей ВМ
- [ ] Reboot хоста → все ВМ поднимаются, passthrough сохраняется

---

## 8. Фаза 6 — Настройка RDP (Вариант Б)

### 8.1. Настройка Windows на каждой ВМ

```powershell
# Включить Remote Desktop
Set-ItemProperty -Path "HKLM:\System\CurrentControlSet\Control\Terminal Server" -Name "fDenyTSConnections" -Value 0
Enable-NetFirewallRule -DisplayGroup "Remote Desktop"

# Разрешить NLA (рекомендуется)
Set-ItemProperty -Path "HKLM:\System\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp" -Name "UserAuthentication" -Value 1
```

Или: **Параметры → Система → Удалённый рабочий стол → Включить**.

### 8.2. Создание учётных записей

| ВМ | Пользователь | Назначение |
|----|-------------|-----------|
| VM-101 | operator_scada | СКАДА + «Меркурий» |
| VM-102 | operator_lers | ЛЭРС |
| VM-103 | operator_lifts | Лифты |

Добавить пользователей в группу **Remote Desktop Users**.

### 8.3. USB-ключ на сервере (VM-101)

```bash
qm set 101 --usb1 host=0529:0001,usb3=1
```

MOXA подключается по сети — настроить виртуальный COM в Windows VM-101 (IP MOXA: `192.168.10.20`).

### 8.4. Настройка клиентского ПК

На ПК в комнате диспетчеров создать три `.rdp`-файла:

**scada.rdp:**

```
full address:s:192.168.10.11
username:s:operator_scada
screen mode id:i:2
use multimon:i:1
desktopwidth:i:1920
desktopheight:i:1080
session bpp:i:32
compression:i:1
networkautodetect:i:1
```

**lers.rdp** — `192.168.10.12`, **lifts.rdp** — `192.168.10.13`.

Запуск:

```powershell
# Монитор 1
mstsc.exe "C:\RDP\scada.rdp" /f

# Монитор 2 и 3 — запустить аналогично, перетащить окна на нужные мониторы
```

### 8.5. Автозапуск RDP-сессий (опционально)

```powershell
# Поместить ярлыки в shell:startup
Copy-Item "C:\RDP\*.rdp" "$env:APPDATA\Microsoft\Windows\Start Menu\Programs\Startup\"
```

### 8.6. Проверка сети

```powershell
# С клиентского ПК
Test-NetConnection 192.168.10.11 -Port 3389
Test-NetConnection 192.168.10.12 -Port 3389
Test-NetConnection 192.168.10.13 -Port 3389

# Задержка
ping 192.168.10.11
# Должно быть < 5 ms
```

---

## 9. Фаза 7 — Миграция программ

### 9.1. Метод P2V (перенос образа)

```bash
# На исходном ПК — Clonezilla → файл образа → скопировать на Proxmox

# Конвертация и импорт (пример)
qm importdisk 101 /path/to/scada-disk.img local-zfs --format qcow2
qm set 101 --scsi0 local-zfs:vm-101-disk-0
```

### 9.2. Метод чистой установки + restore (рекомендуется)

1. Установить Windows 10 на ВМ.
2. Установить СКАДА / ЛЭРС / лифты / «Меркурий» с дистрибутивов.
3. Восстановить базы данных из бэкапов.
4. Перенести конфигурационные файлы проектов.

### 9.3. Порядок миграции

| Шаг | Система | VM | Проверка |
|-----|---------|-----|----------|
| 1 | «Меркурий» + USB-ключ | 101 | Ключ определяется, опрос через MOXA |
| 2 | СКАДА | 101 | Архив, тренды, алармы |
| 3 | ЛЭРС | 102 | Отчёты, база данных |
| 4 | Лифты | 103 | Связь с контроллерами, команды |

### 9.4. Настройка MOXA (до замены)

На VM-101:

1. Установить драйвер виртуального COM MOXA NPort.
2. Настроить подключение к IP `192.168.10.20`, порт по документации MOXA.
3. В «Меркурии» указать виртуальный COM-порт.
4. Проверить опрос счётчиков.

---

## 10. Фаза 8 — Reservное копирование

### 10.1. vzdump через веб-интерфейс

**Datacenter → Backup → Add:**

| Параметр | Значение |
|----------|----------|
| Node | pve-scada |
| Storage | NAS / local (с достаточным объёмом) |
| Schedule | Daily 02:00 |
| Selection mode | Include selected VMs |
| VMs | 101, 102, 103 |
| Mode | Snapshot |
| Compression | zstd |
| Retention | Keep last 7 |

### 10.2. vzdump через CLI

```bash
# Ручной бэкап
vzdump 101 102 103 --mode snapshot --compress zstd --storage nas-backup

# Проверка
ls -lh /mnt/pve/nas-backup/dump/
```

### 10.3. Restore из бэkaпа

```bash
# Список бэкапов
pvesm list nas-backup

# Восстановление (пример)
qmrestore /mnt/pve/nas-backup/dump/vzdump-qemu-101-*.zst 101 --force
```

### 10.4. Бэкапы баз данных

Дополнительно к vzdump — штатные средства резервного копирования СКАДА и ЛЭРС по расписанию на NAS.

---

## 11. Фаза 9 — Тестирование и ввод в эксплуатацию

### 11.1. Тестовый чек-лист

| № | Тест | Ожидаемый результат | ✓ |
|---|------|----------------------|---|
| 1 | СКАДА: сбор архива 24 ч | Данные поступают | |
| 2 | СКАДА: открытие трендов | Без ошибок | |
| 3 | «Меркурий»: опрос счётчиков | Все точки отвечают | |
| 4 | ЛЭРС: формирование отчёта | Корректные данные | |
| 5 | Лифты: команда / статус | Контроллер отвечает | |
| 6 | Reboot VM-102 | VM-101 и VM-103 работают | |
| 7 | Reboot хоста Proxmox | Все 3 VM autostart ≤10 мин | |
| 8 | Restore VM-101 из vzdump | Система работоспособна | |
| 9 | Отключение UPS (тест) | Корректное shutdown | |

### 11.2. Параллельная эксплуатация

- Срок: **7–14 дней**.
- Старые ПК остаются включёнными, но не используются оператором.
- При проблемах — откат на старые машины.

### 11.3. Ввод в эксплуатацию

1. Отключить старые ПК (хранить 2 недели).
2. Передать документацию оператору и администратору.
3. Зафиксировать дату ввода в журнале.

---

## 12. Устранение неполадок

### 12.0. MegaRAID — degraded / rebuild

```bash
storcli64 /c0 show
storcli64 /c0/vall show
storcli64 /c0/eall/sall show
```

| Состояние | Действие |
|-----------|----------|
| **Degraded** | Проверить, сработал ли Global Hot Spare; дождаться rebuild |
| **Rebuild in progress** | Не выключать сервер; нагрузка на массив будет выше |
| **BBU/CacheVault Failed** | Немедленно переключить Write Policy на Write Through до замены модуля |
| **Predictive Failure** | Заменить диск; hot spare подхватит автоматически |

### 12.1. GPU passthrough — VM не стартует

```bash
# Проверить лог
qm start 101 2>&1 | tee /tmp/vm101-start.log
journalctl -u pve-guest@101 --no-pager -n 50
```

Возможные причины:

- GPU занята хостом → проверить `lspci -k`, должен быть `vfio-pci`.
- IOMMU group содержит лишние устройства → ACS override (крайний случай).
- Нет UEFI ROM → использовать SeaBIOS или пропатченный ROM.

### 12.2. NVIDIA Code 43

- `cpu: host,hidden=1`
- `ostype: win10`
- Пропатченный VBIOS ROM
- `x-vga=1`, Display = none

### 12.3. USB-ключ не определяется

```bash
# На хосте — виден ли ключ
lsusb | grep -i "0529\|guardant\|hasp\|rutoken"

# Проверить конфиг VM
qm config 101 | grep usb

# Попробовать passthrough USB-контроллера вместо устройства
```

### 12.4. HASP — высокая нагрузка CPU

При USB 2.0 passthrough с HASP dongle:

- Обновить VirtIO net driver до последней версии.
- Passthrough USB-контроллера целиком.
- Альтернатива: VirtualHere (USB over IP).

### 12.5. RDP — чёрный экран / обрыв

- Проверить firewall на VM и между VLAN.
- Отключить Bitmap Cache в RDP-клиенте.
- Проверить `qm agent NNN ping`.

### 12.6. AMD GPU reset-bug

После shutdown VM GPU не отдаётся:

```bash
modprobe vendor-reset
# или reboot хоста
```

---

## 13. Справочник конфигураций ВМ

### 13.1. Пример `/etc/pve/qemu-server/101.conf` (Вариант А)

```
agent: 1
bios: ovmf
boot: order=scsi0
cores: 6
cpu: host
efidisk0: local-zfs:vm-101-disk-0,efitype=4m,pre-enrolled-keys=0,size=1M
hostpci0: 01:00,pcie=1,x-vga=1,rombar=1
machine: q35
memory: 20480
name: vm-scada
net0: virtio=XX:XX:XX:XX:XX:XX,bridge=vmbr0,firewall=1
onboot: 1
ostype: win10
scsi0: local-zfs:vm-101-disk-1,iothread=1,size=200G,ssd=1
scsihw: virtio-scsi-single
smbios1: uuid=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
usb0: xhci=1
usb1: host=0529:0001,usb3=1
vga: none
```

### 13.2. Таблица passthrough (заполнить при внедрении)

| Ресурс | PCI / USB ID | VM | Монитор / назначение |
|--------|-------------|-----|---------------------|
| GPU-1 | 01:00.0 | 101 | Монитор 1 |
| GPU-2 | 03:00.0 | 102 | Монитор 2 |
| GPU-3 | 04:00.0 | 103 | Монитор 3 |
| USB-ключ «Меркурия» | 0529:0001 | 101 | Лицензия |
| USB-контроллер КМ-1 | 0b:00.0 | 101 | Клавиатура/мышь 1 |
| USB-контроллер КМ-2 | 0c:00.0 | 102 | Клавиатура/мышь 2 |
| USB-контроллер КМ-3 | 0d:00.0 | 103 | Клавиатура/мышь 3 |

### 13.3. Полезные команды

```bash
# Статус всех VM
qm list

# Конфиг VM
qm config 101

# Консоль VM (VNC, если нет GPU passthrough)
qm terminal 101

# Перезапуск VM
qm reboot 101

# Shutdown VM
qm shutdown 101 --timeout 120

# Guest agent: IP адрес VM
qm guest cmd 101 network-get-interfaces

# Snapshot перед изменениями
qm snapshot 101 before-passthrough

# Откат snapshot
qm rollback 101 before-passthrough
```

---

## Связанные документы

- [Техническое задание](TZ-proxmox-konsolidaciya.md)
- [Proxmox PCI Passthrough Wiki](https://pve.proxmox.com/wiki/PCI_Passthrough)
- [Proxmox USB Passthrough](https://pve.proxmox.com/wiki/USB_Physical_Port_Mapping)
- [IOMMU Groups Database](https://iommu.info/)