Files
SKADA/docs/TZ-proxmox-konsolidaciya.md
T
PTah 471951d296 docs(TZ): HPE Smart Array P816i (4GB+FBWC)
Добавлен блок HPE ProLiant, FBWC, smartpqi/ssacli; конфигурация DL380 Gen10.

Co-authored-by: Cursor <cursoragent@cursor.com>
2026-07-09 15:01:27 +10:00

592 lines
36 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Техническое задание
## Консолидация систем СКАДА, ЛЭРС, лифты и «Меркурий» на единый сервер Proxmox VE
| Параметр | Значение |
|----------|----------|
| Версия | 1.5 |
| Дата | 09.07.2026 |
| Статус | Проектная документация |
| Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
---
## 1. Цель проекта
Перенести с трёх отдельных компьютеров (Windows 10, Intel Core i5-7400, 8 ГБ RAM) на **один физический сервер** следующие системы:
| № | Система | Текущее размещение | Монитор |
|---|---------|-------------------|---------|
| 1 | СКАДА + «Меркурий» (USB-ключ защиты) | один ПК | 1 |
| 2 | ЛЭРС Учёт | отдельный ПК | 2 |
| 3 | Управление лифтами | отдельный ПК | 3 |
### 1.1. Требования
- три системы доступны оператору **одновременно**;
- изоляция систем друг от друга (падение одной не останавливает остальные);
- сохранение привычной работы оператора;
- резервное копирование и возможность восстановления;
- замена MOXA на другой контроллер — **отдельная фаза** (раздел 10).
---
## 2. Исходные данные
| Параметр | Значение |
|----------|----------|
| ОС на всех системах | Windows 10 |
| Мониторы | 3 шт., рядом (~1 м друг от друга) |
| USB-ключ защиты | только «Меркурий» (Guardant / HASP / Rutoken) |
| Связь со счётчиками | MOXA (Ethernet → COM), замена планируется позже |
| Текущая нагрузка | i5-7400, 8 ГБ RAM на каждый ПК |
---
## 3. Целевая архитектура (общая для обоих вариантов)
На гипервизоре **Proxmox VE 8.x** создаются **3 виртуальные машины**:
| ВМ | Назначение | vCPU | RAM | Диск |
|----|-----------|------|-----|------|
| VM-01 | СКАДА + «Меркурий» | 4–6 | 16–20 ГБ | 120200 ГБ |
| VM-02 | ЛЭРС Учёт | 4 | 1216 ГБ | 80120 ГБ |
| VM-03 | Управление лифтами | 4 | 12–16 ГБ | 80120 ГБ |
**Ресурсы хоста Proxmox:** 46 vCPU, 812 ГБ RAM (остаток от 64 ГБ ОЗУ).
**Хранилище:** см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в [Развёртывание §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
### 3.0. Выбор аппаратной платформы
Варианты А и Б **не просто отличаются способом вывода на монитор** — под них логично закладываются **разные классы железа**.
| | **Вариант А — GPU passthrough** | **Вариант Б — RDP** |
|---|--------------------------------|---------------------|
| **Профиль** | Dispatch Tower (рабочая станция / tower) | Server Room (серверное железо) |
| **Где стоит** | Комната диспетчеров | Серверная / стойка |
| **Ключевое железо** | 3 GPU, 3× PCIe ×16, IOMMU | RAID, ECC, IPMI, hot-swap, dual PSU |
| **Удалённое управление** | Не критично | **iDRAC / iLO / IPMI** — обязательно |
| **Типичный бюджет** | 150250 тыс. ₽ | 250600+ тыс. ₽ (б/у server — дешевле) |
> **Рекомендация:** если есть серверная и бюджет — **Вариант Б на серверном железе** предпочтительнее для промышленной эксплуатации 24/7. **Вариант А на tower** — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».
---
## 3.1. Подсистема хранения (общая для обоих вариантов)
### Рекомендуемая схема
Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» **рекомендуется** использовать **аппаратный RAID** на базе enterprise-контроллера **Broadcom/LSI MegaRAID** с обязательной защитой write-back кэша (**BBU** или **CacheVault**), а не ZFS mirror на «голых» дисках.
```
Физические SSD/SAS-диски
Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault)
Один виртуальный диск (VD) / несколько VD
Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
```
### Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID
| Критерий | RAID10 + LVM-thin/ext4 | ZFS mirror на raw-дисках |
|----------|------------------------|--------------------------|
| Защита write-cache при сбое питания | BBU / CacheVault на контроллере | Нет аппаратного кэша |
| IOPS при записи в БД | RAID10 — лучший random write | Хорошо, но без HW-кэша |
| Hot-swap / predictive fail | Штатно через MegaRAID | Зависит от корзины |
| Совместимость с Proxmox | Нативная (LVM-thin по умолчанию) | Требует ZFS на root |
| ZFS поверх HW RAID | **Не использовать** — двойная абстракция, нет смысла | — |
> **Важно.** При использовании MegaRAID Proxmox устанавливается на **ext4 + LVM-thin**, а не на ZFS. ZFS поверх аппаратного RAID **не применяется**.
### Уровни RAID
| Уровень | Минимум дисков | Ёмкость | Отказоустойчивость | Рекомендация |
|---------|---------------|---------|-------------------|--------------|
| **RAID1** | 2 | 50% | 1 диск | Минимальная конфигурация, бюджет |
| **RAID10** | 4 | 50% | 1 диск в каждой паре | **Предпочтительно** для СКАДА/ЛЭРС |
**RAID10 предпочтительнее RAID1** при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов.
### Диски
| Параметр | Рекомендация |
|----------|-------------|
| Тип | Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M) |
| Объём | 4× 960 ГБ 1,92 ТБ (RAID10) или 2× 12 ТБ (RAID1) |
| Интерфейс | SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн |
| NVMe | Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD |
### RAID-контроллеры (подбор моделей)
Обязательные требования к контроллеру:
- чип **Broadcom/LSI MegaRAID** (не FakeRAID материнской платы);
- **кэш DDR** на плате контроллера (**≥4 ГБ** предпочтительно для RAID10 + БД);
- **BBU**, **CacheVault** (CVPM02 / CVPM05) или **FBWC** (HPE) — **обязательно в комплекте**;
- режим **Write-Back** (Write-Back with BBU/CacheVault/FBWC);
- поддержка **RAID10**;
- драйвер **`megaraid_sas`** (Broadcom/Dell/xFusion) или **`smartpqi`** (HPE) в Linux (штатно в Proxmox).
> В спецификациях часто указан только объём кэша («4GB», «8GB+BBU», «4GB+FBWC»). **Модуль защиты кэша должен быть физически установлен**, иначе write-back недоступен.
#### Рекомендуемые модели — Dell PowerEdge (профиль Server Room)
| Приоритет | Модель | Кэш | Защита кэша | Комментарий |
|-----------|--------|-----|-------------|-------------|
| **1** | **Dell PERC H755** (Front / Adapter) | 8 ГБ | BBU / CacheVault | **Предпочтительно** для R750/R760/T550; аналог 9560-8i, управление `perccli64` |
| **2** | **Dell PERC H730p** | 2 ГБ | BBU / CacheVault | R740/R730 (б/у); проверенная связка |
| **3** | **Dell PERC H750** | 4 ГБ | CacheVault | Промежуточное поколение между H730p и H755 |
Комплектация **«PERC H755 (8GB+BBU)»** — подходит для проекта без дополнений.
#### Рекомендуемые модели — HPE ProLiant (профиль Server Room)
| Приоритет | Модель | Кэш | Защита кэша | Комментарий |
|-----------|--------|-----|-------------|-------------|
| **1** | **HPE Smart Array P816i-a** | 4 ГБ | **FBWC** | **Предпочтительно** для DL380/DL360 Gen10; 16 портов, драйвер `smartpqi`, управление `ssacli` |
| **2** | **HPE Smart Array P408i-a** | 24 ГБ | FBWC | Меньше портов; DL360 Gen10, ML350 Gen10 |
| **3** | **HPE Smart Array P822** | 2 ГБ | FBWC | Gen9 (б/у); устаревает, но совместим |
Комплектация **«P816i (4GB+FBWC)»** — подходит для проекта. **FBWC** (*Flash Backed Write Cache*) — аналог CacheVault/BBU у Dell/Broadcom.
#### Рекомендуемые модели — xFusion / Huawei (серверы xFusion)
Rebadged Broadcom MegaRAID; те же требования к BBU/CacheVault.
| Приоритет | Модель | Кэш | Комментарий |
|-----------|--------|-----|-------------|
| **1** | **RAID xFusion 9560-8i-PCIe (4GB) SAS/SATA** | 4 ГБ | **Оптимум** для 48 SSD, RAID10 + Hot Spare |
| **2** | **RAID xFusion 9460-8i-PCIe (4GB)** | 4 ГБ | Аналог MegaRAID 9460-8i |
| **3** | **RAID xFusion 9560-16i-PCIe (8GB)** | 8 ГБ | Если ≥8 дисков в корзине |
| **4** | **RAID xFusion 9460-16i-PCIe (4GB)** | 4 ГБ | 16 портов — схема RAID1 + RAID10 (§3.1) |
Допустимо: **9460-8i (2GB)** — работать будет, но **4GB** предпочтительнее при активной записи БД.
#### Рекомендуемые модели — Broadcom / Supermicro / whitebox
| Приоритет | Модель | Порты | Кэш | Защита кэша | PCIe | Комментарий |
|-----------|--------|-------|-----|-------------|------|-------------|
| **1** | **Broadcom MegaRAID 9560-8i** | 8 int | 4 ГБ | CacheVault CVPM05 | 4.0 ×8 | Универсальная карта для Supermicro и сборок |
| **2** | **Broadcom MegaRAID 9460-8i** | 8 int | 24 ГБ | CacheVault CVPM05 | 3.0 ×8 | Tri-Mode; проверен в Proxmox |
| **3** | **Broadcom MegaRAID 9460-16i** | 16 int | 4 ГБ | CacheVault CVPM05 | 3.0 ×8 | ≥8 дисков |
| **4** | **Broadcom MegaRAID 9560-16i** | 16 int | 8 ГБ | CacheVault CVPM05 | 4.0 ×8 | Избыточен для 4 дисков, допустим |
| **5** | **LSI/Broadcom MegaRAID 9361-8i** | 8 int | 12 ГБ | CVPM02 / BBU | 3.0 ×8 | Б/у, предыдущее поколение |
#### Сводная таблица «что выбрать под платформу»
| Платформа сервера | Контроллер |
|-------------------|------------|
| **Dell PowerEdge** (R750, R760, T550) | **PERC H755 (8GB+BBU)** |
| **HPE ProLiant** (DL380/DL360 Gen10) | **Smart Array P816i (4GB+FBWC)** |
| **xFusion** (2288H V6, 5288 и т.п.) | **9560-8i (4GB)** или **9460-8i (4GB)** + CacheVault |
| **Supermicro** / whitebox | **MegaRAID 9560-8i** + CVPM05 |
| **Dell R740/R730** (б/у) | PERC H730p + CacheVault |
#### Допустимые модели (если основные недоступны)
| Модель | Кэш | Защита | Ограничение |
|--------|-----|--------|-------------|
| Broadcom MegaRAID 9480-8i8e | 4 ГБ | CacheVault CVPM05 | 8 int + 8 ext — внешний корз |
| LSI MegaRAID 9271-8i | 1 ГБ | BBU | 6 Gb/s, устаревшее поколение |
| xFusion XP460C-M (4GB), XR450C-MX (4GB) | 4 ГБ | уточнять BBU | Старше 9460/9560 |
#### Не рекомендуется
| Модель / тип | Причина |
|--------------|---------|
| MegaRAID / xFusion **9440-8i**, **9540-8i** | Нет кэша и CacheVault — write-back невозможен |
| xFusion **SR130**, **SR150-M** | Базовый уровень, без полноценного кэша |
| xFusion **SR430C-M (1GB)**, **3152-PCIe (2GB)** | Мало кэша / устаревшее поколение |
| xFusion **XR230-M PCIe** | HBA, не аппаратный RAID |
| FakeRAID (Intel RST, AMD RAID) | Нестабильная работа с Linux/Proxmox |
| HBA 9400-8i (IT mode) | Нет аппаратного RAID — только для ZFS |
| Любой контроллер **без BBU/CacheVault в комплекте** | Риск потери данных; только Write Through |
### Схемы разбивки дисков
Подробная инструкция — в [Развёртывание, раздел 3.2](razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков).
| Схема | Разбивка | Когда |
|-------|----------|-------|
| **B (рекомендуется)** | 4 диска RAID10 (всё) + 24 Hot Spare | По умолчанию; проще; достаточно для текущей нагрузки |
| **A (раздельно)** | 2 RAID1 (Proxmox/ВМ) + 4 RAID10 (БД) + Hot Spare | Тяжёлые БД, нужна изоляция I/O |
#### Конфигурация «оптимум» — схема B (рекомендуется)
| Параметр | 6 дисков | 8 дисков |
|----------|----------|----------|
| Контроллер | PERC H755 / P816i / 9560-8i / 9460-8i + защита кэша | то же |
| RAID10 | 4× SSD | 4× SSD |
| Hot Spare | 2 | 4 |
| Полезный объём | ~1,9 – 3,8 ТБ* | ~1,9 3,8 ТБ* |
| Proxmox + ВМ + БД | Один VD → `local-lvm` | то же |
\*Зависит от ёмкости одного SSD (960 ГБ → ~1,9 ТБ; 1,92 ТБ → ~3,8 ТБ).
#### Конфигурация «раздельно» — схема A
| Параметр | Значение |
|----------|----------|
| VD0 RAID1 (2 диска) | Proxmox, системные диски Windows (`local-lvm`) |
| VD1 RAID10 (4 диска) | Базы СКАДА, ЛЭРС, «Меркурий» (`data-db`) |
| Hot Spare (2 диска) | Global Hot Spare (при 8 дисках) |
| Полезный объём | ~0,9 + ~1,9 ТБ (при 960 ГБ SSD) |
#### Конфигурация «минимум» (бюджет)
| Параметр | Значение |
|----------|----------|
| Контроллер | MegaRAID 9361-8i + CVPM02 |
| Диски | 2× SATA SSD 12 ТБ |
| RAID | **RAID1** |
| Полезный объём | ~1 – 2 ТБ |
| VD | 1 виртуальный диск → LVM-thin |
### Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)
Если tower-сборка **без серверной корзины** и отдельного RAID-контроллера:
- 2× NVMe в режиме **AHCI** (не FakeRAID);
- **ZFS mirror** при установке Proxmox;
- без аппаратного MegaRAID.
Допустимо для Варианта А при ограниченном бюджете. Для **Варианта Б (серверная)** — только **MegaRAID / PERC / HPE Smart Array + RAID10** (раздел 3.1).
Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе [Развёртывание и настройка, §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
---
## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)
> **Профиль железа: Dispatch Tower** — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта **не рекомендуется** (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).
### 4.1. Описание
Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:
- отдельная видеокарта → свой монитор;
- отдельный комплект клавиатура/мышь;
- на VM-01: USB-ключ «Меркурия» и MOXA/конвертер (до замены).
Оператор работает **как на трёх отдельных компьютерах**.
### 4.2. Схема
```
┌─────────────────────────────────────────────────────────────┐
│ Сервер (Proxmox VE) — комната диспетчеров │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ VM-01 │ │ VM-02 │ │ VM-03 │ │
│ │СКАДА+ │ │ ЛЭРС │ │ Лифты │ │
│ │Меркурий │ │ │ │ │ │
│ └──┬───┬───┘ └──┬───┬───┘ └──┬───┬───┘ │
│ │GPU│USB │GPU│USB │GPU│USB │
└─────┼───┼─────────┼───┼─────────┼───┼───────────────────────┘
│ │ │ │ │ │
Мон.1 КМ1 Мон.2 КМ2 Мон.3 КМ3
USB-ключ + MOXA (VM-01)
```
### 4.3. Требования к оборудованию (профиль Dispatch Tower)
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и [форуме Proxmox](https://forum.proxmox.com/).
| Компонент | Рекомендация | Комментарий |
|-----------|-------------|-------------|
| **Форм-фактор** | Tower (Midi / Full) | Сервер в комнате диспетчеров; нужны 3 GPU и USB |
| CPU | AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 | VT-d / IOMMU обязательно |
| Материнская плата | ASUS ProArt X570-CREATOR, ASRock X570 Taichi | **3 физических PCIe ×16**, хорошие IOMMU groups |
| RAM | 64 ГБ DDR4/DDR5 | ECC — опционально (Ryzen Pro / WS) |
| **Хранилище (основное)** | 2× NVMe 12 ТБ, ZFS mirror | Проще в tower без серверной корзины |
| **Хранилище (альтернатива)** | MegaRAID + 4× SSD RAID10 | Если есть PCIe-слот под RAID и корзина |
| GPU ×3 | AMD RX 550 4GB LP (**предпочтительно**) | Passthrough; модуль `vendor-reset` при необходимости |
| GPU (альтернатива) | NVIDIA GT 1030 LP ×3 | Code 43 → патч VBIOS |
| GPU хоста | iGPU материнской платы | Proxmox не использует passthrough-GPU |
| БП | 750850 Вт, 80+ Gold | 3 GPU + CPU |
| UPS | 10001500 ВА | Сервер + мониторы в диспетчерской |
| Сеть | 2× Gigabit onboard | VLAN для технологической сети |
| USB | 3+ USB-контроллера (встроенных или PCIe) | Passthrough КМ и USB-ключа |
| IPMI / iDRAC | **Не требуется** | Сервер рядом с оператором |
#### Рекомендуемая конфигурация (Dispatch Tower)
| Позиция | Модель |
|---------|--------|
| CPU | AMD Ryzen 9 5900X |
| MB | ASUS ProArt X570-CREATOR WIFI |
| RAM | 64 ГБ DDR4-3200 (2×32) |
| SSD | 2× Samsung 990 Pro 1TB (ZFS mirror) **или** 4× PM893 + MegaRAID 9460-8i |
| GPU ×3 | Sapphire RX 550 4GB LP |
| БП | be quiet! Straight Power 11 850W |
| UPS | APC Smart-UPS 1500VA |
**Ориентир стоимости:** 150–250 тыс. ₽ (без мониторов и периферии).
#### Настройки BIOS (обязательно)
| Параметр | Intel | AMD |
|----------|-------|-----|
| Виртуализация | VT-x ON | SVM ON |
| IOMMU | VT-d ON | IOMMU ON (не Auto) |
| Режим загрузки | UEFI, CSM OFF | UEFI, CSM OFF |
| Above 4G Decoding | ON | ON |
| Resizable BAR | OFF (для NVIDIA) | по необходимости |
| Primary Display | iGPU (если есть) | iGPU (если есть) |
### 4.4. Плюсы и минусы
| Плюсы | Минусы |
|-------|--------|
| Полная автономность каждого рабочего места | Сложная настройка passthrough |
| Нет зависимости от сети для отображения | Сервер в комнате диспетчеров (шум, пыль) |
| Минимальная задержка ввода | Жёсткие требования к плате (3 PCIe ×16) |
| Привычно для оператора | NVIDIA может потребовать патч VBIOS |
---
## 5. Вариант Б — RDP (сервер в серверной)
> **Профиль железа: Server Room** — готовый rack/tower **сервер** или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта **не рекомендуются** — нет ECC, IPMI, hot-swap, dual PSU.
### 5.1. Описание
Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор.
### 5.2. Схема
```
┌──────────────────────┐ Gigabit LAN ┌─────────────────────┐
│ Серверная │◄────────────────────────────►│ Комната диспетчеров│
│ Proxmox VE │ (VLAN) │ Клиентский ПК │
│ ┌────┐┌────┐┌────┐ │ │ Монитор 1 → RDP VM-01
│ │VM01││VM02││VM03│ │ │ Монитор 2 → RDP VM-02
│ └──┬─┘└──┬─┘└──┬─┘ │ │ Монитор 3 → RDP VM-03
│ 1× GPU (админ) │ └─────────────────────┘
└──────────────────────┘
```
### 5.3. Требования к оборудованию (профиль Server Room)
#### Сервер (серверная)
| Компонент | Рекомендация | Комментарий |
|-----------|-------------|-------------|
| **Платформа** | **Dell PowerEdge R750/R760**, **HPE ProLiant DL380 Gen10**, **xFusion 2288H/5288**, **Supermicro** | Hot-swap, IPMI/iDRAC/iLO, Proxmox |
| CPU | Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 | VT-d / AMD-Vi |
| RAM | **64128 ГБ ECC** RDIMM | Обязательно для 24/7 |
| RAID | **PERC H755** или **P816i (4GB+FBWC)** | RAID10 + Hot Spare (раздел 3.1, схема B) |
| SSD | 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) | 68 дисков: 4 RAID10 + spare |
| GPU | **Не требуется** / ASPEED BMC | Доступ через iDRAC/iLO и RDP |
| NIC | **Intel X710 / I350** dual port | Предпочтительнее onboard Realtek |
| PSU | **Dual redundant** | Штатно на серверных платформах |
| Управление | **iDRAC** (Dell) / **iLO** (HPE) / **IPMI** (Supermicro) | Удалённое вкл./выкл., ISO, мониторинг |
| UPS | В стойке / серверной | Обязателен |
#### Рекомендуемые конфигурации (Server Room)
**Вариант «Dell PowerEdge» (рекомендуется для нового сервера):**
| Позиция | Модель |
|---------|--------|
| Сервер | Dell PowerEdge R750 / R760 |
| CPU | 2× Xeon Silver/Gold (16+ ядер) |
| RAM | 64128 ГБ ECC RDIMM |
| RAID | **PERC H755 (8GB+BBU)** |
| SSD | 4× Samsung PM893 960GB RAID10 + 24 Hot Spare |
| UPS | APC Smart-UPS RT 3000VA (стойка) |
**Вариант «готовый сервер б/у»:**
| Позиция | Модель |
|---------|--------|
| Сервер | Dell PowerEdge R740 (б/у) |
| CPU | 2× Xeon Silver 4214 (24 ядра) |
| RAM | 64128 ГБ ECC RDIMM |
| RAID | PERC H730p + CacheVault |
| SSD | 4× Samsung PM893 960GB RAID10 + 2 Hot Spare |
| UPS | APC Smart-UPS RT 3000VA (стойка) |
**Вариант «HPE ProLiant»:**
| Позиция | Модель |
|---------|--------|
| Сервер | HPE ProLiant DL380 Gen10 |
| CPU | 2× Intel Xeon Silver/Gold |
| RAM | 64128 ГБ ECC RDIMM |
| RAID | **Smart Array P816i-a (4GB+FBWC)** |
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
**Вариант «xFusion»:**
| Позиция | Модель |
|---------|--------|
| Сервер | xFusion 2288H V6 / 5288 V5 |
| CPU | 2× Intel Xeon Silver/Gold |
| RAM | 64128 ГБ ECC RDIMM |
| RAID | **xFusion 9560-8i-PCIe (4GB)** + CacheVault |
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
**Вариант «сборка Supermicro»:**
| Позиция | Модель |
|---------|--------|
| Платформа | Supermicro SuperServer 6029P / 5019A |
| CPU | Intel Xeon Silver 4310 или AMD EPYC 7313 |
| RAM | 64 ГБ ECC RDIMM |
| RAID | Broadcom MegaRAID 9560-8i + CVPM05 |
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
**Ориентир стоимости:** 250600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).
#### Клиентское рабочее место (комната диспетчеров)
| Компонент | Рекомендация |
|-----------|-------------|
| ПК | Intel NUC / Beelink / офисный mini-PC (i5, 8 ГБ RAM) |
| Мониторы | 3× существующих |
| КМ | 1 комплект (управление клиентом) |
| Сеть | Gigabit, задержка ≤5 мс до сервера |
| ОС | Windows 10/11 Pro |
#### Сеть
| Параметр | Требование |
|----------|-----------|
| Пропускная способность | ≥1 Gbps |
| Задержка | ≤5 мс |
| VLAN | Отделить SCADA/лифты от офисной сети |
| Firewall | RDP (TCP 3389) только клиент ↔ сервер |
### 5.4. USB-ключ «Меркурия»
USB-ключ остаётся **на сервере**, пробрасывается в VM-01. MOXA (до замены) работает по **Ethernet** — USB passthrough для MOXA не требуется.
### 5.5. Лицензирование RDP
Windows 10 Pro допускает **1 одновременную RDP-сессию** на ВМ. Для данного проекта достаточно: клиент открывает 3 отдельных RDP-подключения к 3 разным ВМ.
### 5.6. Плюсы и минусы
| Плюсы | Минусы |
|-------|--------|
| Серверное железо: ECC, IPMI, hot-swap, dual PSU | Выше стоимость |
| Сервер в серверной (тише, безопаснее) | Зависимость от сети (RDP) |
| Не нужны GPU и passthrough — проще внедрение | Клиентский ПК — доп. точка отказа |
| RAID10 + Hot Spare из коробки | При обрыве сети — нет доступа к системам |
| Удалённое обслуживание через iDRAC/iLO | Оператор работает через RDP, не «как три ПК» |
---
## 6. Сравнение вариантов
| Критерий | Вариант А (GPU) | Вариант Б (RDP) |
|----------|----------------|-----------------|
| **Профиль железа** | Dispatch Tower (desktop/workstation) | Server Room (Dell/HPE/Supermicro) |
| Расположение сервера | Комната диспетчеров | Серверная |
| Сложность внедрения | **Высокая** (passthrough) | **Средняя** |
| Стоимость железа | 150–250 тыс. ₽ (+ 3 GPU) | 250600+ тыс. ₽ |
| Надёжность 24/7 | Средняя (нет ECC/IPMI) | **Высокая** (ECC, dual PSU, hot-swap) |
| Удалённое управление | Локально | **iDRAC / iLO / IPMI** |
| Надёжность отображения | Не зависит от сети | Зависит от LAN |
| Опыт оператора | Как 3 отдельных ПК | 3 окна RDP |
| Изоляция систем (ВМ) | Полная | Полная |
| USB-ключ «Меркурия» | Passthrough | Passthrough |
| Хранилище | ZFS mirror (tower) или MegaRAID | **MegaRAID / PERC / HPE RAID10** (раздел 3.1) |
| **Рекомендация** | Сервер **рядом** с мониторами | Сервер **в серверной**, бюджет на enterprise-железо |
---
## 7. План работ (этапы)
| Фаза | Содержание | Срок |
|------|-----------|------|
| 0 | Инвентаризация, бэкапы, выбор варианта | 3–5 дней |
| 1 | Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) | 3–7 дней |
| 2 | Установка Proxmox VE | 1 день |
| 3 | Создание 3 ВМ, установка Windows 10 | 12 дня |
| 4 | Миграция СКАДА, «Меркурия», ЛЭРС, лифтов | 2–5 дней |
| 5 | Настройка passthrough (А) или RDP (Б) | 12 дня |
| 6 | Настройка резервного копирования | 0.5 дня |
| 7 | Параллельная эксплуатация и тесты | 7–14 дней |
| 8 | Ввод в промышленную эксплуатацию | 1 день |
Подробные команды и процедуры — в документе [Развёртывание и настройка](razvertyvanie-proxmox.md).
---
## 8. Критерии приёмки
| № | Критерий | Вариант А | Вариант Б |
|---|----------|-----------|-----------|
| 1 | 3 системы работают одновременно | ✓ | ✓ |
| 2 | Каждая система на своём мониторе | ✓ | ✓ |
| 3 | USB-ключ «Меркурия» определяется ПО | ✓ | ✓ |
| 4 | Опрос счётчиков через MOXA работает | ✓ | ✓ |
| 5 | Reboot одной ВМ не влияет на другие | ✓ | ✓ |
| 6 | Reboot хоста → autostart всех ВМ ≤10 мин | ✓ | ✓ |
| 7 | Ежедневный vzdump-бэкап выполняется | ✓ | ✓ |
| 8 | Restore из бэкапа проверен | ✓ | ✓ |
---
## 9. Риски и меры
| Риск | Вероятность | Мера |
|------|-------------|------|
| Code 43 (NVIDIA passthrough) | Средняя | AMD RX 550; патч VBIOS |
| IOMMU groups «склеены» | Средняя | Проверка до покупки; ACS override (крайний случай) |
| USB-ключ нестабилен в VM | Низкая | Passthrough USB-контроллера целиком |
| AMD GPU reset-bug | Средняя | Модуль `vendor-reset` |
| Единая точка отказа (сервер) | Высокая | UPS + vzdump + процедура restore ≤4 ч |
| Обрыв сети (Вариант Б) | Средняя | Выделенный VLAN, резервный клиент |
| Сбой RAID-массива (degraded) | Средняя | Hot-spare; мониторинг storcli; UPS |
| Windows Update перезагрузка | Средняя | Отложенные обновления, maintenance window |
---
## 10. Будущая фаза: замена MOXA на Меркурий-220/221
> **Статус:** не входит в текущий объём работ. Выполняется после стабилизации основной системы.
| № | Действие |
|---|----------|
| 10.1 | Определить модель: **Меркурий-221 (USB)** — предпочтительно |
| 10.2 | Подключить к серверу, passthrough в VM-01 по vendor:product ID |
| 10.3 | Установить драйвер USB-COM в Windows VM-01 |
| 10.4 | Перенастроить «Меркурий»: COM-порт, скорость, адреса счётчиков |
| 10.5 | Параллельный опрос (MOXA + 221) 37 дней |
| 10.6 | Переключение на 221, отключение MOXA |
| 10.7 | Документирование новой схемы |
---
## 11. Рекомендация по выбору варианта
| Условие | Вариант | Профиль железа |
|---------|---------|----------------|
| Сервер **обязан** стоять в комнате диспетчеров | **А** (GPU passthrough) | Dispatch Tower |
| Сервер **только** в серверной | **Б** (RDP) | Server Room (Dell / Supermicro) |
| Есть бюджет на **enterprise-железо** и серверная | **Б** | Server Room |
| Оператору критичен опыт «три отдельных ПК» | **А** | Dispatch Tower |
| Нет опыта с GPU passthrough | **Б** | Server Room |
| Критична минимальная задержка ввода | **А** | Dispatch Tower |
| Нужна эксплуатация 24/7 с ECC и IPMI | **Б** | Server Room |
> Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).
---
## 12. Передаваемая документация
После внедрения подготовить:
1. Схема сети (IP, VLAN, порты).
2. Таблица passthrough (GPU ↔ VM, USB ↔ VM).
3. Учётные записи и пароли (в защищённом хранилище).
4. Инструкция: перезагрузка сервера, restore из бэкапа.
5. Журнал изменений.