Files
SKADA/docs/TZ-proxmox-konsolidaciya.md
T
PTah 81c1e16d6f docs: профили Dispatch Tower / Server Room, мониторинг RAID в инструкции
ТЗ: разделение железа под варианты А и Б. Установка Proxmox и мониторинг RAID перенесены в razvertyvanie-proxmox.md §3.5–3.6.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-07-09 11:22:10 +10:00

31 KiB
Raw Blame History

Техническое задание

Консолидация систем СКАДА, ЛЭРС, лифты и «Меркурий» на единый сервер Proxmox VE

Параметр Значение
Версия 1.3
Дата 09.07.2026
Статус Проектная документация
Связанный документ Развёртывание и настройка

1. Цель проекта

Перенести с трёх отдельных компьютеров (Windows 10, Intel Core i5-7400, 8 ГБ RAM) на один физический сервер следующие системы:

Система Текущее размещение Монитор
1 СКАДА + «Меркурий» (USB-ключ защиты) один ПК 1
2 ЛЭРС Учёт отдельный ПК 2
3 Управление лифтами отдельный ПК 3

1.1. Требования

  • три системы доступны оператору одновременно;
  • изоляция систем друг от друга (падение одной не останавливает остальные);
  • сохранение привычной работы оператора;
  • резервное копирование и возможность восстановления;
  • замена MOXA на другой контроллер — отдельная фаза (раздел 10).

2. Исходные данные

Параметр Значение
ОС на всех системах Windows 10
Мониторы 3 шт., рядом (~1 м друг от друга)
USB-ключ защиты только «Меркурий» (Guardant / HASP / Rutoken)
Связь со счётчиками MOXA (Ethernet → COM), замена планируется позже
Текущая нагрузка i5-7400, 8 ГБ RAM на каждый ПК

3. Целевая архитектура (общая для обоих вариантов)

На гипервизоре Proxmox VE 8.x создаются 3 виртуальные машины:

ВМ Назначение vCPU RAM Диск
VM-01 СКАДА + «Меркурий» 46 1620 ГБ 120200 ГБ
VM-02 ЛЭРС Учёт 4 1216 ГБ 80120 ГБ
VM-03 Управление лифтами 4 1216 ГБ 80120 ГБ

Ресурсы хоста Proxmox: 46 vCPU, 812 ГБ RAM (остаток от 64 ГБ ОЗУ).

Хранилище: см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в Развёртывание §3.5–3.6.

3.0. Выбор аппаратной платформы

Варианты А и Б не просто отличаются способом вывода на монитор — под них логично закладываются разные классы железа.

Вариант А — GPU passthrough Вариант Б — RDP
Профиль Dispatch Tower (рабочая станция / tower) Server Room (серверное железо)
Где стоит Комната диспетчеров Серверная / стойка
Ключевое железо 3 GPU, 3× PCIe ×16, IOMMU RAID, ECC, IPMI, hot-swap, dual PSU
Удалённое управление Не критично iDRAC / iLO / IPMI — обязательно
Типичный бюджет 150250 тыс. ₽ 250600+ тыс. ₽ (б/у server — дешевле)

Рекомендация: если есть серверная и бюджет — Вариант Б на серверном железе предпочтительнее для промышленной эксплуатации 24/7. Вариант А на tower — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».


3.1. Подсистема хранения (общая для обоих вариантов)

Рекомендуемая схема

Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» рекомендуется использовать аппаратный RAID на базе enterprise-контроллера Broadcom/LSI MegaRAID с обязательной защитой write-back кэша (BBU или CacheVault), а не ZFS mirror на «голых» дисках.

Физические SSD/SAS-диски
        ↓
Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault)
        ↓
Один виртуальный диск (VD) / несколько VD
        ↓
Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ

Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID

Критерий RAID10 + LVM-thin/ext4 ZFS mirror на raw-дисках
Защита write-cache при сбое питания BBU / CacheVault на контроллере Нет аппаратного кэша
IOPS при записи в БД RAID10 — лучший random write Хорошо, но без HW-кэша
Hot-swap / predictive fail Штатно через MegaRAID Зависит от корзины
Совместимость с Proxmox Нативная (LVM-thin по умолчанию) Требует ZFS на root
ZFS поверх HW RAID Не использовать — двойная абстракция, нет смысла

Важно. При использовании MegaRAID Proxmox устанавливается на ext4 + LVM-thin, а не на ZFS. ZFS поверх аппаратного RAID не применяется.

Уровни RAID

Уровень Минимум дисков Ёмкость Отказоустойчивость Рекомендация
RAID1 2 50% 1 диск Минимальная конфигурация, бюджет
RAID10 4 50% 1 диск в каждой паре Предпочтительно для СКАДА/ЛЭРС

RAID10 предпочтительнее RAID1 при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов.

Диски

Параметр Рекомендация
Тип Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M)
Объём 4× 960 ГБ 1,92 ТБ (RAID10) или 2× 12 ТБ (RAID1)
Интерфейс SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн
NVMe Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD

RAID-контроллеры (подбор моделей)

Обязательные требования к контроллеру:

  • чип Broadcom/LSI MegaRAID (не FakeRAID материнской платы);
  • кэш DDR на плате контроллера (≥1 ГБ);
  • BBU (Battery Backup Unit) или CacheVault (CVPM02 / CVPM05) — обязательно;
  • режим Write-Back (Write-Back with BBU/CacheVault);
  • поддержка RAID10;
  • драйвер megaraid_sas в Linux (штатно в Proxmox).

Рекомендуемые модели (по приоритету)

Приоритет Модель Порты Кэш Защита кэша PCIe Комментарий
1 Broadcom MegaRAID 9560-8i 8 int 4 ГБ CacheVault CVPM05 4.0 ×8 Актуальное поколение, PCIe 4.0, оптимален для 48 SSD в RAID10
2 Broadcom MegaRAID 9460-8i 8 int 2 ГБ CacheVault CVPM05 3.0 ×8 Tri-Mode (SAS/SATA/NVMe), проверен в Proxmox, хорошее соотношение цена/надёжность
3 Broadcom MegaRAID 9460-16i 16 int 4 ГБ CacheVault CVPM05 3.0 ×8 Если нужно ≥8 дисков или отдельный RAID1 (boot) + RAID10 (data)
4 LSI/Broadcom MegaRAID 9361-8i 8 int 12 ГБ CVPM02 / BBU 3.0 ×8 Предыдущее поколение, широко доступен б/у, полностью совместим
5 Dell PERC H730p (rebadged 9361) 8 int 2 ГБ BBU / CacheVault 3.0 ×8 При покупке готового Dell R730/R740 — проверенная связка

Допустимые модели (если основные недоступны)

Модель Кэш Защита Ограничение
Broadcom MegaRAID 9560-16i 8 ГБ CacheVault CVPM05 Избыточен для 4 дисков, но допустим
Broadcom MegaRAID 9480-8i8e 4 ГБ CacheVault CVPM05 8 int + 8 ext — если нужен внешний корз
LSI MegaRAID 9271-8i 1 ГБ BBU Устаревшее поколение 6 Gb/s, только SAS2/SATA

Не рекомендуется

Модель / тип Причина
MegaRAID 9440-8i, 9540-8i Нет кэша и CacheVault — write-back невозможен
FakeRAID (Intel RST, AMD RAID) Нестабильная работа с Linux/Proxmox
HBA 9400-8i (IT mode) Нет аппаратного RAID — только для ZFS
MegaRAID без BBU/CacheVault Риск потери данных в кэше при сбое питания

Схемы разбивки дисков

Подробная инструкция — в Развёртывание, раздел 3.2.

Схема Разбивка Когда
B (рекомендуется) 4 диска RAID10 (всё) + 24 Hot Spare По умолчанию; проще; достаточно для текущей нагрузки
A (раздельно) 2 RAID1 (Proxmox/ВМ) + 4 RAID10 (БД) + Hot Spare Тяжёлые БД, нужна изоляция I/O

Конфигурация «оптимум» — схема B (рекомендуется)

Параметр 6 дисков 8 дисков
Контроллер MegaRAID 9460-8i + CVPM05 то же
RAID10 4× SSD 4× SSD
Hot Spare 2 4
Полезный объём ~1,9 3,8 ТБ* ~1,9 3,8 ТБ*
Proxmox + ВМ + БД Один VD → local-lvm то же

*Зависит от ёмкости одного SSD (960 ГБ → ~1,9 ТБ; 1,92 ТБ → ~3,8 ТБ).

Конфигурация «раздельно» — схема A

Параметр Значение
VD0 RAID1 (2 диска) Proxmox, системные диски Windows (local-lvm)
VD1 RAID10 (4 диска) Базы СКАДА, ЛЭРС, «Меркурий» (data-db)
Hot Spare (2 диска) Global Hot Spare (при 8 дисках)
Полезный объём ~0,9 + ~1,9 ТБ (при 960 ГБ SSD)

Конфигурация «минимум» (бюджет)

Параметр Значение
Контроллер MegaRAID 9361-8i + CVPM02
Диски 2× SATA SSD 12 ТБ
RAID RAID1
Полезный объём ~1 2 ТБ
VD 1 виртуальный диск → LVM-thin

Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)

Если tower-сборка без серверной корзины и отдельного RAID-контроллера:

  • 2× NVMe в режиме AHCI (не FakeRAID);
  • ZFS mirror при установке Proxmox;
  • без аппаратного MegaRAID.

Допустимо для Варианта А при ограниченном бюджете. Для Варианта Б (серверная) — только MegaRAID/PERC + RAID10 (раздел 3.1).

Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе Развёртывание и настройка, §3.5–3.6.


4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)

Профиль железа: Dispatch Tower — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта не рекомендуется (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).

4.1. Описание

Сервер располагается рядом с рабочим местом оператора (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:

  • отдельная видеокарта → свой монитор;
  • отдельный комплект клавиатура/мышь;
  • на VM-01: USB-ключ «Меркурия» и MOXA/конвертер (до замены).

Оператор работает как на трёх отдельных компьютерах.

4.2. Схема

┌─────────────────────────────────────────────────────────────┐
│  Сервер (Proxmox VE) — комната диспетчеров                  │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐                   │
│  │  VM-01   │  │  VM-02   │  │  VM-03   │                   │
│  │СКАДА+    │  │  ЛЭРС    │  │  Лифты   │                   │
│  │Меркурий  │  │          │  │          │                   │
│  └──┬───┬───┘  └──┬───┬───┘  └──┬───┬───┘                   │
│     │GPU│USB      │GPU│USB      │GPU│USB                    │
└─────┼───┼─────────┼───┼─────────┼───┼───────────────────────┘
      │   │         │   │         │   │
   Мон.1 КМ1     Мон.2 КМ2     Мон.3 КМ3
      │
   USB-ключ + MOXA (VM-01)

4.3. Требования к оборудованию (профиль Dispatch Tower)

Важно. Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на iommu.info и форуме Proxmox.

Компонент Рекомендация Комментарий
Форм-фактор Tower (Midi / Full) Сервер в комнате диспетчеров; нужны 3 GPU и USB
CPU AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 VT-d / IOMMU обязательно
Материнская плата ASUS ProArt X570-CREATOR, ASRock X570 Taichi 3 физических PCIe ×16, хорошие IOMMU groups
RAM 64 ГБ DDR4/DDR5 ECC — опционально (Ryzen Pro / WS)
Хранилище (основное) 2× NVMe 12 ТБ, ZFS mirror Проще в tower без серверной корзины
Хранилище (альтернатива) MegaRAID + 4× SSD RAID10 Если есть PCIe-слот под RAID и корзина
GPU ×3 AMD RX 550 4GB LP (предпочтительно) Passthrough; модуль vendor-reset при необходимости
GPU (альтернатива) NVIDIA GT 1030 LP ×3 Code 43 → патч VBIOS
GPU хоста iGPU материнской платы Proxmox не использует passthrough-GPU
БП 750850 Вт, 80+ Gold 3 GPU + CPU
UPS 10001500 ВА Сервер + мониторы в диспетчерской
Сеть 2× Gigabit onboard VLAN для технологической сети
USB 3+ USB-контроллера (встроенных или PCIe) Passthrough КМ и USB-ключа
IPMI / iDRAC Не требуется Сервер рядом с оператором

Рекомендуемая конфигурация (Dispatch Tower)

Позиция Модель
CPU AMD Ryzen 9 5900X
MB ASUS ProArt X570-CREATOR WIFI
RAM 64 ГБ DDR4-3200 (2×32)
SSD 2× Samsung 990 Pro 1TB (ZFS mirror) или 4× PM893 + MegaRAID 9460-8i
GPU ×3 Sapphire RX 550 4GB LP
БП be quiet! Straight Power 11 850W
UPS APC Smart-UPS 1500VA

Ориентир стоимости: 150–250 тыс. ₽ (без мониторов и периферии).

Настройки BIOS (обязательно)

Параметр Intel AMD
Виртуализация VT-x ON SVM ON
IOMMU VT-d ON IOMMU ON (не Auto)
Режим загрузки UEFI, CSM OFF UEFI, CSM OFF
Above 4G Decoding ON ON
Resizable BAR OFF (для NVIDIA) по необходимости
Primary Display iGPU (если есть) iGPU (если есть)

4.4. Плюсы и минусы

Плюсы Минусы
Полная автономность каждого рабочего места Сложная настройка passthrough
Нет зависимости от сети для отображения Сервер в комнате диспетчеров (шум, пыль)
Минимальная задержка ввода Жёсткие требования к плате (3 PCIe ×16)
Привычно для оператора NVIDIA может потребовать патч VBIOS

5. Вариант Б — RDP (сервер в серверной)

Профиль железа: Server Room — готовый rack/tower сервер или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта не рекомендуются — нет ECC, IPMI, hot-swap, dual PSU.

5.1. Описание

Сервер располагается в серверной / шкафу. На рабочем месте диспетчеров — клиентский ПК с 3 мониторами. Оператор подключается к каждой ВМ по RDP в полноэкранном режиме на свой монитор.

5.2. Схема

┌──────────────────────┐         Gigabit LAN          ┌─────────────────────┐
│  Серверная           │◄────────────────────────────►│  Комната диспетчеров│
│  Proxmox VE          │         (VLAN)               │  Клиентский ПК      │
│  ┌────┐┌────┐┌────┐  │                              │  Монитор 1 → RDP VM-01
│  │VM01││VM02││VM03│  │                              │  Монитор 2 → RDP VM-02
│  └──┬─┘└──┬─┘└──┬─┘  │                              │  Монитор 3 → RDP VM-03
│  1× GPU (админ)      │                              └─────────────────────┘
└──────────────────────┘

5.3. Требования к оборудованию (профиль Server Room)

Сервер (серверная)

Компонент Рекомендация Комментарий
Платформа Dell PowerEdge R740 / R750, T640; HPE DL380 Gen10; Supermicro SuperServer Hot-swap, IPMI, проверенная связка с Proxmox
CPU Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 VT-d / AMD-Vi
RAM 64128 ГБ ECC RDIMM Обязательно для 24/7
RAID PERC H730p/H755 (Dell) или MegaRAID 9560-8i + CVPM05 RAID10 + Hot Spare (раздел 3.1, схема B)
SSD 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) 68 дисков: 4 RAID10 + spare
GPU Не требуется / ASPEED BMC Доступ через iDRAC/iLO и RDP
NIC Intel X710 / I350 dual port Предпочтительнее onboard Realtek
PSU Dual redundant Штатно на серверных платформах
Управление iDRAC (Dell) / iLO (HPE) / IPMI (Supermicro) Удалённое вкл./выкл., ISO, мониторинг
UPS В стойке / серверной Обязателен

Рекомендуемые конфигурации (Server Room)

Вариант «готовый сервер» (проще закупка):

Позиция Модель
Сервер Dell PowerEdge R740 (б/у)
CPU 2× Xeon Silver 4214 (24 ядра)
RAM 64128 ГБ ECC RDIMM
RAID PERC H730p + CacheVault
SSD 4× Samsung PM893 960GB RAID10 + 2 Hot Spare
UPS APC Smart-UPS RT 3000VA (стойка)

Вариант «сборка Supermicro»:

Позиция Модель
Платформа Supermicro SuperServer 6029P / 5019A
CPU Intel Xeon Silver 4310 или AMD EPYC 7313
RAM 64 ГБ ECC RDIMM
RAID Broadcom MegaRAID 9560-8i + CVPM05
SSD 4× enterprise SSD RAID10 + Hot Spare

Ориентир стоимости: 250600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).

Клиентское рабочее место (комната диспетчеров)

Компонент Рекомендация
ПК Intel NUC / Beelink / офисный mini-PC (i5, 8 ГБ RAM)
Мониторы 3× существующих
КМ 1 комплект (управление клиентом)
Сеть Gigabit, задержка ≤5 мс до сервера
ОС Windows 10/11 Pro

Сеть

Параметр Требование
Пропускная способность ≥1 Gbps
Задержка ≤5 мс
VLAN Отделить SCADA/лифты от офисной сети
Firewall RDP (TCP 3389) только клиент ↔ сервер

5.4. USB-ключ «Меркурия»

USB-ключ остаётся на сервере, пробрасывается в VM-01. MOXA (до замены) работает по Ethernet — USB passthrough для MOXA не требуется.

5.5. Лицензирование RDP

Windows 10 Pro допускает 1 одновременную RDP-сессию на ВМ. Для данного проекта достаточно: клиент открывает 3 отдельных RDP-подключения к 3 разным ВМ.

5.6. Плюсы и минусы

Плюсы Минусы
Серверное железо: ECC, IPMI, hot-swap, dual PSU Выше стоимость
Сервер в серверной (тише, безопаснее) Зависимость от сети (RDP)
Не нужны GPU и passthrough — проще внедрение Клиентский ПК — доп. точка отказа
RAID10 + Hot Spare из коробки При обрыве сети — нет доступа к системам
Удалённое обслуживание через iDRAC/iLO Оператор работает через RDP, не «как три ПК»

6. Сравнение вариантов

Критерий Вариант А (GPU) Вариант Б (RDP)
Профиль железа Dispatch Tower (desktop/workstation) Server Room (Dell/HPE/Supermicro)
Расположение сервера Комната диспетчеров Серверная
Сложность внедрения Высокая (passthrough) Средняя
Стоимость железа 150250 тыс. ₽ (+ 3 GPU) 250600+ тыс. ₽
Надёжность 24/7 Средняя (нет ECC/IPMI) Высокая (ECC, dual PSU, hot-swap)
Удалённое управление Локально iDRAC / iLO / IPMI
Надёжность отображения Не зависит от сети Зависит от LAN
Опыт оператора Как 3 отдельных ПК 3 окна RDP
Изоляция систем (ВМ) Полная Полная
USB-ключ «Меркурия» Passthrough Passthrough
Хранилище ZFS mirror (tower) или MegaRAID MegaRAID/PERC RAID10 (раздел 3.1)
Рекомендация Сервер рядом с мониторами Сервер в серверной, бюджет на enterprise-железо

7. План работ (этапы)

Фаза Содержание Срок
0 Инвентаризация, бэкапы, выбор варианта 35 дней
1 Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) 37 дней
2 Установка Proxmox VE 1 день
3 Создание 3 ВМ, установка Windows 10 12 дня
4 Миграция СКАДА, «Меркурия», ЛЭРС, лифтов 25 дней
5 Настройка passthrough (А) или RDP (Б) 12 дня
6 Настройка резервного копирования 0.5 дня
7 Параллельная эксплуатация и тесты 714 дней
8 Ввод в промышленную эксплуатацию 1 день

Подробные команды и процедуры — в документе Развёртывание и настройка.


8. Критерии приёмки

Критерий Вариант А Вариант Б
1 3 системы работают одновременно
2 Каждая система на своём мониторе
3 USB-ключ «Меркурия» определяется ПО
4 Опрос счётчиков через MOXA работает
5 Reboot одной ВМ не влияет на другие
6 Reboot хоста → autostart всех ВМ ≤10 мин
7 Ежедневный vzdump-бэкап выполняется
8 Restore из бэкапа проверен

9. Риски и меры

Риск Вероятность Мера
Code 43 (NVIDIA passthrough) Средняя AMD RX 550; патч VBIOS
IOMMU groups «склеены» Средняя Проверка до покупки; ACS override (крайний случай)
USB-ключ нестабилен в VM Низкая Passthrough USB-контроллера целиком
AMD GPU reset-bug Средняя Модуль vendor-reset
Единая точка отказа (сервер) Высокая UPS + vzdump + процедура restore ≤4 ч
Обрыв сети (Вариант Б) Средняя Выделенный VLAN, резервный клиент
Сбой RAID-массива (degraded) Средняя Hot-spare; мониторинг storcli; UPS
Windows Update перезагрузка Средняя Отложенные обновления, maintenance window

10. Будущая фаза: замена MOXA на Меркурий-220/221

Статус: не входит в текущий объём работ. Выполняется после стабилизации основной системы.

Действие
10.1 Определить модель: Меркурий-221 (USB) — предпочтительно
10.2 Подключить к серверу, passthrough в VM-01 по vendor:product ID
10.3 Установить драйвер USB-COM в Windows VM-01
10.4 Перенастроить «Меркурий»: COM-порт, скорость, адреса счётчиков
10.5 Параллельный опрос (MOXA + 221) 37 дней
10.6 Переключение на 221, отключение MOXA
10.7 Документирование новой схемы

11. Рекомендация по выбору варианта

Условие Вариант Профиль железа
Сервер обязан стоять в комнате диспетчеров А (GPU passthrough) Dispatch Tower
Сервер только в серверной Б (RDP) Server Room (Dell / Supermicro)
Есть бюджет на enterprise-железо и серверная Б Server Room
Оператору критичен опыт «три отдельных ПК» А Dispatch Tower
Нет опыта с GPU passthrough Б Server Room
Критична минимальная задержка ввода А Dispatch Tower
Нужна эксплуатация 24/7 с ECC и IPMI Б Server Room

Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).


12. Передаваемая документация

После внедрения подготовить:

  1. Схема сети (IP, VLAN, порты).
  2. Таблица passthrough (GPU ↔ VM, USB ↔ VM).
  3. Учётные записи и пароли (в защищённом хранилище).
  4. Инструкция: перезагрузка сервера, restore из бэкапа.
  5. Журнал изменений.