PapaTramp/SKADA
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
50616e6aa854a722e4ab75ea9d080c9bf585e1cd
SKADA/docs/TZ-proxmox-konsolidaciya.md
T
PTah 50616e6aa8 docs: сравнение схем RAID1+RAID10 vs единый RAID10 
Схема B (4 диска RAID10 + Hot Spare) рекомендована по умолчанию. Схема A — раздельно для тяжёлых БД.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-07-09 11:02:06 +10:00

28 KiB
Raw Blame History

Техническое задание

Консолидация систем СКАДА, ЛЭРС, лифты и «Меркурий» на единый сервер Proxmox VE

Параметр Значение
Версия 1.2
Дата 09.07.2026
Статус Проектная документация
Связанный документ Развёртывание и настройка

1. Цель проекта

Перенести с трёх отдельных компьютеров (Windows 10, Intel Core i5-7400, 8 ГБ RAM) на один физический сервер следующие системы:

№ Система Текущее размещение Монитор
1 СКАДА + «Меркурий» (USB-ключ защиты) один ПК 1
2 ЛЭРС Учёт отдельный ПК 2
3 Управление лифтами отдельный ПК 3

1.1. Требования

  • три системы доступны оператору одновременно;
  • изоляция систем друг от друга (падение одной не останавливает остальные);
  • сохранение привычной работы оператора;
  • резервное копирование и возможность восстановления;
  • замена MOXA на другой контроллер — отдельная фаза (раздел 10).

2. Исходные данные

Параметр Значение
ОС на всех системах Windows 10
Мониторы 3 шт., рядом (~1 м друг от друга)
USB-ключ защиты только «Меркурий» (Guardant / HASP / Rutoken)
Связь со счётчиками MOXA (Ethernet → COM), замена планируется позже
Текущая нагрузка i5-7400, 8 ГБ RAM на каждый ПК

3. Целевая архитектура (общая для обоих вариантов)

На гипервизоре Proxmox VE 8.x создаются 3 виртуальные машины:

ВМ Назначение vCPU RAM Диск
VM-01 СКАДА + «Меркурий» 4–6 16–20 ГБ 120–200 ГБ
VM-02 ЛЭРС Учёт 4 12–16 ГБ 80–120 ГБ
VM-03 Управление лифтами 4 12–16 ГБ 80–120 ГБ

Ресурсы хоста Proxmox: 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ).

Хранилище: enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — LVM-thin / ext4 (см. раздел 3.1).

3.1. Подсистема хранения (общая для обоих вариантов)

Рекомендуемая схема

Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» рекомендуется использовать аппаратный RAID на базе enterprise-контроллера Broadcom/LSI MegaRAID с обязательной защитой write-back кэша (BBU или CacheVault), а не ZFS mirror на «голых» дисках.

Физические SSD/SAS-диски
        ↓
Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault)
        ↓
Один виртуальный диск (VD) / несколько VD
        ↓
Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ

Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID

Критерий RAID10 + LVM-thin/ext4 ZFS mirror на raw-дисках
Защита write-cache при сбое питания BBU / CacheVault на контроллере Нет аппаратного кэша
IOPS при записи в БД RAID10 — лучший random write Хорошо, но без HW-кэша
Hot-swap / predictive fail Штатно через MegaRAID Зависит от корзины
Совместимость с Proxmox Нативная (LVM-thin по умолчанию) Требует ZFS на root
ZFS поверх HW RAID Не использовать — двойная абстракция, нет смысла —

Важно. При использовании MegaRAID Proxmox устанавливается на ext4 + LVM-thin, а не на ZFS. ZFS поверх аппаратного RAID не применяется.

Уровни RAID

Уровень Минимум дисков Ёмкость Отказоустойчивость Рекомендация
RAID1 2 50% 1 диск Минимальная конфигурация, бюджет
RAID10 4 50% 1 диск в каждой паре Предпочтительно для СКАДА/ЛЭРС

RAID10 предпочтительнее RAID1 при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов.

Диски

Параметр Рекомендация
Тип Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M)
Объём 4× 960 ГБ – 1,92 ТБ (RAID10) или 2× 1–2 ТБ (RAID1)
Интерфейс SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн
NVMe Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD

RAID-контроллеры (подбор моделей)

Обязательные требования к контроллеру:

  • чип Broadcom/LSI MegaRAID (не FakeRAID материнской платы);
  • кэш DDR на плате контроллера (≥1 ГБ);
  • BBU (Battery Backup Unit) или CacheVault (CVPM02 / CVPM05) — обязательно;
  • режим Write-Back (Write-Back with BBU/CacheVault);
  • поддержка RAID10;
  • драйвер megaraid_sas в Linux (штатно в Proxmox).

Рекомендуемые модели (по приоритету)

Приоритет Модель Порты Кэш Защита кэша PCIe Комментарий
1 Broadcom MegaRAID 9560-8i 8 int 4 ГБ CacheVault CVPM05 4.0 ×8 Актуальное поколение, PCIe 4.0, оптимален для 4–8 SSD в RAID10
2 Broadcom MegaRAID 9460-8i 8 int 2 ГБ CacheVault CVPM05 3.0 ×8 Tri-Mode (SAS/SATA/NVMe), проверен в Proxmox, хорошее соотношение цена/надёжность
3 Broadcom MegaRAID 9460-16i 16 int 4 ГБ CacheVault CVPM05 3.0 ×8 Если нужно ≥8 дисков или отдельный RAID1 (boot) + RAID10 (data)
4 LSI/Broadcom MegaRAID 9361-8i 8 int 1–2 ГБ CVPM02 / BBU 3.0 ×8 Предыдущее поколение, широко доступен б/у, полностью совместим
5 Dell PERC H730p (rebadged 9361) 8 int 2 ГБ BBU / CacheVault 3.0 ×8 При покупке готового Dell R730/R740 — проверенная связка

Допустимые модели (если основные недоступны)

Модель Кэш Защита Ограничение
Broadcom MegaRAID 9560-16i 8 ГБ CacheVault CVPM05 Избыточен для 4 дисков, но допустим
Broadcom MegaRAID 9480-8i8e 4 ГБ CacheVault CVPM05 8 int + 8 ext — если нужен внешний корз
LSI MegaRAID 9271-8i 1 ГБ BBU Устаревшее поколение 6 Gb/s, только SAS2/SATA

Не рекомендуется

Модель / тип Причина
MegaRAID 9440-8i, 9540-8i Нет кэша и CacheVault — write-back невозможен
FakeRAID (Intel RST, AMD RAID) Нестабильная работа с Linux/Proxmox
HBA 9400-8i (IT mode) Нет аппаратного RAID — только для ZFS
MegaRAID без BBU/CacheVault Риск потери данных в кэше при сбое питания

Схемы разбивки дисков

Подробная инструкция — в Развёртывание, раздел 3.2.

Схема Разбивка Когда
B (рекомендуется) 4 диска RAID10 (всё) + 2–4 Hot Spare По умолчанию; проще; достаточно для текущей нагрузки
A (раздельно) 2 RAID1 (Proxmox/ВМ) + 4 RAID10 (БД) + Hot Spare Тяжёлые БД, нужна изоляция I/O

Конфигурация «оптимум» — схема B (рекомендуется)

Параметр 6 дисков 8 дисков
Контроллер MegaRAID 9460-8i + CVPM05 то же
RAID10 4× SSD 4× SSD
Hot Spare 2 4
Полезный объём ~1,9 – 3,8 ТБ* ~1,9 – 3,8 ТБ*
Proxmox + ВМ + БД Один VD → local-lvm то же

*Зависит от ёмкости одного SSD (960 ГБ → ~1,9 ТБ; 1,92 ТБ → ~3,8 ТБ).

Конфигурация «раздельно» — схема A

Параметр Значение
VD0 RAID1 (2 диска) Proxmox, системные диски Windows (local-lvm)
VD1 RAID10 (4 диска) Базы СКАДА, ЛЭРС, «Меркурий» (data-db)
Hot Spare (2 диска) Global Hot Spare (при 8 дисках)
Полезный объём ~0,9 + ~1,9 ТБ (при 960 ГБ SSD)

Конфигурация «минимум» (бюджет)

Параметр Значение
Контроллер MegaRAID 9361-8i + CVPM02
Диски 2× SATA SSD 1–2 ТБ
RAID RAID1
Полезный объём ~1 – 2 ТБ
VD 1 виртуальный диск → LVM-thin

Установка Proxmox на RAID

При установке Proxmox VE:

  1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1).
  2. В инсталляторе Proxmox выбрать созданный VD.
  3. Filesystem: ext4.
  4. Storage: LVM-thin (стандартный local-lvm для дисков ВМ).
  5. Не выбирать ZFS при аппаратном RAID.

Мониторинг RAID

# Установить утилиты (на хосте Proxmox)
apt install storcli64   # или megacli / perccli для Dell

# Проверка состояния массива
storcli64 /c0 show
storcli64 /c0/vall show
storcli64 /c0/eall/sall show

Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low.

Альтернатива (бюджетная tower-сборка без RAID-контроллера)

Если сервер собирается как настольный ПК без серверной корзины и RAID-контроллера:

  • 2× NVMe в режиме AHCI (не FakeRAID);
  • ZFS mirror при установке Proxmox;
  • без аппаратного RAID.

Этот вариант допустим для Варианта А (комната диспетчеров), но для серверной (Вариант Б) предпочтителен MegaRAID + RAID10.

4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)

4.1. Описание

Сервер располагается рядом с рабочим местом оператора (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:

  • отдельная видеокарта → свой монитор;
  • отдельный комплект клавиатура/мышь;
  • на VM-01: USB-ключ «Меркурия» и MOXA/конвертер (до замены).

Оператор работает как на трёх отдельных компьютерах.

4.2. Схема

┌─────────────────────────────────────────────────────────────┐
│  Сервер (Proxmox VE) — комната диспетчеров                  │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐                   │
│  │  VM-01   │  │  VM-02   │  │  VM-03   │                   │
│  │СКАДА+    │  │  ЛЭРС    │  │  Лифты   │                   │
│  │Меркурий  │  │          │  │          │                   │
│  └──┬───┬───┘  └──┬───┬───┘  └──┬───┬───┘                   │
│     │GPU│USB      │GPU│USB      │GPU│USB                    │
└─────┼───┼─────────┼───┼─────────┼───┼───────────────────────┘
      │   │         │   │         │   │
   Мон.1 КМ1     Мон.2 КМ2     Мон.3 КМ3
      │
   USB-ключ + MOXA (VM-01)

4.3. Требования к оборудованию

Важно. Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на iommu.info и обсуждения на форуме Proxmox.

Компонент Рекомендация Комментарий
CPU AMD Ryzen 9 5900X (12C/24T) или Ryzen 9 7900 IOMMU из коробки; Intel — только с VT-d
Материнская плата ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) Хорошие IOMMU groups по отзывам сообщества Proxmox
Альтернатива (3 GPU) ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i Нужно 3 физических PCIe ×16 и проверка IOMMU groups
RAM 64 ГБ DDR4/DDR5 ECC — желательно на серверных платах
RAID-контроллер Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1)
Диски 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ (RAID10) Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет)
GPU ×3 AMD RX 550 4GB Low Profile (предпочтительно) Стабильнее NVIDIA; возможен AMD reset-bug → модуль vendor-reset
GPU (альтернатива) NVIDIA GT 1030 Low Profile ×3 Часто Code 43 → патч VBIOS, hidden=1, cpu: host
GPU хоста Встроенная iGPU или отдельная служебная Proxmox не должен использовать passthrough-GPU
БП 750–850 Вт, 80+ Gold
UPS 1000–1500 ВА, line-interactive Сервер + мониторы
Сеть 2× Gigabit Отделение технологической сети (VLAN)
USB 3+ независимых USB-контроллера или PCIe USB-карты Надёжный passthrough КМ и USB-ключа

Рекомендуемая конфигурация

Позиция Модель
CPU AMD Ryzen 9 5900X
MB ASUS ProArt X570-CREATOR WIFI
RAM 64 ГБ DDR4-3200 (2×32)
RAID Broadcom MegaRAID 9460-8i + CVPM05
SSD 4× Samsung PM893 960GB (RAID10)
GPU ×3 Sapphire RX 550 4GB LP
БП be quiet! Straight Power 11 850W
UPS APC Smart-UPS 1500VA

Ориентир стоимости: 150–220 тыс. ₽ (без мониторов и периферии).

Настройки BIOS (обязательно)

Параметр Intel AMD
Виртуализация VT-x ON SVM ON
IOMMU VT-d ON IOMMU ON (не Auto)
Режим загрузки UEFI, CSM OFF UEFI, CSM OFF
Above 4G Decoding ON ON
Resizable BAR OFF (для NVIDIA) по необходимости
Primary Display iGPU (если есть) iGPU (если есть)

4.4. Плюсы и минусы

Плюсы Минусы
Полная автономность каждого рабочего места Сложная настройка passthrough
Нет зависимости от сети для отображения Сервер в комнате диспетчеров (шум, пыль)
Минимальная задержка ввода Жёсткие требования к плате (3 PCIe ×16)
Привычно для оператора NVIDIA может потребовать патч VBIOS

5. Вариант Б — RDP (сервер в серверной)

5.1. Описание

Сервер располагается в серверной / шкафу. На рабочем месте диспетчеров — клиентский ПК с 3 мониторами. Оператор подключается к каждой ВМ по RDP в полноэкранном режиме на свой монитор.

5.2. Схема

┌──────────────────────┐         Gigabit LAN          ┌─────────────────────┐
│  Серверная           │◄────────────────────────────►│  Комната диспетчеров│
│  Proxmox VE          │         (VLAN)               │  Клиентский ПК      │
│  ┌────┐┌────┐┌────┐  │                              │  Монитор 1 → RDP VM-01
│  │VM01││VM02││VM03│  │                              │  Монитор 2 → RDP VM-02
│  └──┬─┘└──┬─┘└──┬─┘  │                              │  Монитор 3 → RDP VM-03
│  1× GPU (админ)      │                              └─────────────────────┘
└──────────────────────┘

5.3. Требования к оборудованию

Сервер (серверная)

Компонент Рекомендация
CPU AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер)
MB Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro
RAM 64 ГБ
RAID-контроллер Broadcom MegaRAID 9560-8i + CacheVault CVPM05
SSD 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ
GPU 1× GT 1030 или iGPU — только для консоли хоста
NIC 2× Gigabit (Intel I210/I225 предпочтительнее Realtek)
UPS Обязателен

Клиентское рабочее место

Компонент Рекомендация
ПК Intel NUC / Beelink / офисный mini-PC (i5, 8 ГБ RAM)
Мониторы 3× существующих
КМ 1 комплект (управление клиентом)
Сеть Gigabit, задержка ≤5 мс до сервера
ОС Windows 10/11 Pro

Сеть

Параметр Требование
Пропускная способность ≥1 Gbps
Задержка ≤5 мс
VLAN Отделить SCADA/лифты от офисной сети
Firewall RDP (TCP 3389) только клиент ↔ сервер

5.4. USB-ключ «Меркурия»

USB-ключ остаётся на сервере, пробрасывается в VM-01. MOXA (до замены) работает по Ethernet — USB passthrough для MOXA не требуется.

5.5. Лицензирование RDP

Windows 10 Pro допускает 1 одновременную RDP-сессию на ВМ. Для данного проекта достаточно: клиент открывает 3 отдельных RDP-подключения к 3 разным ВМ.

5.6. Плюсы и минусы

Плюсы Минусы
Сервер в серверной (тише, безопаснее) Зависимость от сети
Не нужны 3 GPU и сложный passthrough Клиентский ПК — дополнительная точка отказа
Проще железо и поддержка Задержка ввода (обычно незаметна в LAN)
Дешевле При обрыве сети — нет доступа к системам

6. Сравнение вариантов

Критерий Вариант А (GPU) Вариант Б (RDP)
Расположение сервера Комната диспетчеров Серверная
Сложность внедрения Высокая Средняя
Стоимость железа Выше (+3 GPU) Ниже
Надёжность отображения Не зависит от сети Зависит от LAN
Изоляция систем Полная Полная
USB-ключ «Меркурия» Passthrough Passthrough
Хранилище RAID10 + LVM-thin или ZFS mirror (бюджет) RAID10 + LVM-thin (раздел 3.1)
Рекомендация Сервер рядом с мониторами Сервер в серверной

7. План работ (этапы)

Фаза Содержание Срок
0 Инвентаризация, бэкапы, выбор варианта 3–5 дней
1 Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) 3–7 дней
2 Установка Proxmox VE 1 день
3 Создание 3 ВМ, установка Windows 10 1–2 дня
4 Миграция СКАДА, «Меркурия», ЛЭРС, лифтов 2–5 дней
5 Настройка passthrough (А) или RDP (Б) 1–2 дня
6 Настройка резервного копирования 0.5 дня
7 Параллельная эксплуатация и тесты 7–14 дней
8 Ввод в промышленную эксплуатацию 1 день

Подробные команды и процедуры — в документе Развёртывание и настройка.

8. Критерии приёмки

№ Критерий Вариант А Вариант Б
1 3 системы работают одновременно ✓ ✓
2 Каждая система на своём мониторе ✓ ✓
3 USB-ключ «Меркурия» определяется ПО ✓ ✓
4 Опрос счётчиков через MOXA работает ✓ ✓
5 Reboot одной ВМ не влияет на другие ✓ ✓
6 Reboot хоста → autostart всех ВМ ≤10 мин ✓ ✓
7 Ежедневный vzdump-бэкап выполняется ✓ ✓
8 Restore из бэкапа проверен ✓ ✓

9. Риски и меры

Риск Вероятность Мера
Code 43 (NVIDIA passthrough) Средняя AMD RX 550; патч VBIOS
IOMMU groups «склеены» Средняя Проверка до покупки; ACS override (крайний случай)
USB-ключ нестабилен в VM Низкая Passthrough USB-контроллера целиком
AMD GPU reset-bug Средняя Модуль vendor-reset
Единая точка отказа (сервер) Высокая UPS + vzdump + процедура restore ≤4 ч
Обрыв сети (Вариант Б) Средняя Выделенный VLAN, резервный клиент
Сбой RAID-массива (degraded) Средняя Hot-spare; мониторинг storcli; UPS
Windows Update перезагрузка Средняя Отложенные обновления, maintenance window

10. Будущая фаза: замена MOXA на Меркурий-220/221

Статус: не входит в текущий объём работ. Выполняется после стабилизации основной системы.

№ Действие
10.1 Определить модель: Меркурий-221 (USB) — предпочтительно
10.2 Подключить к серверу, passthrough в VM-01 по vendor:product ID
10.3 Установить драйвер USB-COM в Windows VM-01
10.4 Перенастроить «Меркурий»: COM-порт, скорость, адреса счётчиков
10.5 Параллельный опрос (MOXA + 221) 3–7 дней
10.6 Переключение на 221, отключение MOXA
10.7 Документирование новой схемы

11. Рекомендация по выбору варианта

Условие Вариант
Сервер может стоять в комнате диспетчеров А (GPU passthrough)
Сервер только в серверной Б (RDP)
Нет опыта с passthrough / ограничен бюджет Б
Критична минимальная задержка и автономность А
Не уверены в совместимости железа Начать с Б

12. Передаваемая документация

После внедрения подготовить:

  1. Схема сети (IP, VLAN, порты).
  2. Таблица passthrough (GPU ↔ VM, USB ↔ VM).
  3. Учётные записи и пароли (в защищённом хранилище).
  4. Инструкция: перезагрузка сервера, restore из бэкапа.
  5. Журнал изменений.
Reference in New Issue View Git Blame Copy Permalink