471951d296
Добавлен блок HPE ProLiant, FBWC, smartpqi/ssacli; конфигурация DL380 Gen10. Co-authored-by: Cursor <cursoragent@cursor.com>
592 lines
36 KiB
Markdown
592 lines
36 KiB
Markdown
# Техническое задание
|
||
|
||
## Консолидация систем СКАДА, ЛЭРС, лифты и «Меркурий» на единый сервер Proxmox VE
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| Версия | 1.5 |
|
||
| Дата | 09.07.2026 |
|
||
| Статус | Проектная документация |
|
||
| Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
|
||
|
||
---
|
||
|
||
## 1. Цель проекта
|
||
|
||
Перенести с трёх отдельных компьютеров (Windows 10, Intel Core i5-7400, 8 ГБ RAM) на **один физический сервер** следующие системы:
|
||
|
||
| № | Система | Текущее размещение | Монитор |
|
||
|---|---------|-------------------|---------|
|
||
| 1 | СКАДА + «Меркурий» (USB-ключ защиты) | один ПК | 1 |
|
||
| 2 | ЛЭРС Учёт | отдельный ПК | 2 |
|
||
| 3 | Управление лифтами | отдельный ПК | 3 |
|
||
|
||
### 1.1. Требования
|
||
|
||
- три системы доступны оператору **одновременно**;
|
||
- изоляция систем друг от друга (падение одной не останавливает остальные);
|
||
- сохранение привычной работы оператора;
|
||
- резервное копирование и возможность восстановления;
|
||
- замена MOXA на другой контроллер — **отдельная фаза** (раздел 10).
|
||
|
||
---
|
||
|
||
## 2. Исходные данные
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| ОС на всех системах | Windows 10 |
|
||
| Мониторы | 3 шт., рядом (~1 м друг от друга) |
|
||
| USB-ключ защиты | только «Меркурий» (Guardant / HASP / Rutoken) |
|
||
| Связь со счётчиками | MOXA (Ethernet → COM), замена планируется позже |
|
||
| Текущая нагрузка | i5-7400, 8 ГБ RAM на каждый ПК |
|
||
|
||
---
|
||
|
||
## 3. Целевая архитектура (общая для обоих вариантов)
|
||
|
||
На гипервизоре **Proxmox VE 8.x** создаются **3 виртуальные машины**:
|
||
|
||
| ВМ | Назначение | vCPU | RAM | Диск |
|
||
|----|-----------|------|-----|------|
|
||
| VM-01 | СКАДА + «Меркурий» | 4–6 | 16–20 ГБ | 120–200 ГБ |
|
||
| VM-02 | ЛЭРС Учёт | 4 | 12–16 ГБ | 80–120 ГБ |
|
||
| VM-03 | Управление лифтами | 4 | 12–16 ГБ | 80–120 ГБ |
|
||
|
||
**Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ).
|
||
|
||
**Хранилище:** см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в [Развёртывание §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
|
||
|
||
### 3.0. Выбор аппаратной платформы
|
||
|
||
Варианты А и Б **не просто отличаются способом вывода на монитор** — под них логично закладываются **разные классы железа**.
|
||
|
||
| | **Вариант А — GPU passthrough** | **Вариант Б — RDP** |
|
||
|---|--------------------------------|---------------------|
|
||
| **Профиль** | Dispatch Tower (рабочая станция / tower) | Server Room (серверное железо) |
|
||
| **Где стоит** | Комната диспетчеров | Серверная / стойка |
|
||
| **Ключевое железо** | 3 GPU, 3× PCIe ×16, IOMMU | RAID, ECC, IPMI, hot-swap, dual PSU |
|
||
| **Удалённое управление** | Не критично | **iDRAC / iLO / IPMI** — обязательно |
|
||
| **Типичный бюджет** | 150–250 тыс. ₽ | 250–600+ тыс. ₽ (б/у server — дешевле) |
|
||
|
||
> **Рекомендация:** если есть серверная и бюджет — **Вариант Б на серверном железе** предпочтительнее для промышленной эксплуатации 24/7. **Вариант А на tower** — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».
|
||
|
||
---
|
||
|
||
## 3.1. Подсистема хранения (общая для обоих вариантов)
|
||
|
||
### Рекомендуемая схема
|
||
|
||
Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» **рекомендуется** использовать **аппаратный RAID** на базе enterprise-контроллера **Broadcom/LSI MegaRAID** с обязательной защитой write-back кэша (**BBU** или **CacheVault**), а не ZFS mirror на «голых» дисках.
|
||
|
||
```
|
||
Физические SSD/SAS-диски
|
||
↓
|
||
Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault)
|
||
↓
|
||
Один виртуальный диск (VD) / несколько VD
|
||
↓
|
||
Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
|
||
```
|
||
|
||
### Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID
|
||
|
||
| Критерий | RAID10 + LVM-thin/ext4 | ZFS mirror на raw-дисках |
|
||
|----------|------------------------|--------------------------|
|
||
| Защита write-cache при сбое питания | BBU / CacheVault на контроллере | Нет аппаратного кэша |
|
||
| IOPS при записи в БД | RAID10 — лучший random write | Хорошо, но без HW-кэша |
|
||
| Hot-swap / predictive fail | Штатно через MegaRAID | Зависит от корзины |
|
||
| Совместимость с Proxmox | Нативная (LVM-thin по умолчанию) | Требует ZFS на root |
|
||
| ZFS поверх HW RAID | **Не использовать** — двойная абстракция, нет смысла | — |
|
||
|
||
> **Важно.** При использовании MegaRAID Proxmox устанавливается на **ext4 + LVM-thin**, а не на ZFS. ZFS поверх аппаратного RAID **не применяется**.
|
||
|
||
### Уровни RAID
|
||
|
||
| Уровень | Минимум дисков | Ёмкость | Отказоустойчивость | Рекомендация |
|
||
|---------|---------------|---------|-------------------|--------------|
|
||
| **RAID1** | 2 | 50% | 1 диск | Минимальная конфигурация, бюджет |
|
||
| **RAID10** | 4 | 50% | 1 диск в каждой паре | **Предпочтительно** для СКАДА/ЛЭРС |
|
||
|
||
**RAID10 предпочтительнее RAID1** при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов.
|
||
|
||
### Диски
|
||
|
||
| Параметр | Рекомендация |
|
||
|----------|-------------|
|
||
| Тип | Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M) |
|
||
| Объём | 4× 960 ГБ – 1,92 ТБ (RAID10) или 2× 1–2 ТБ (RAID1) |
|
||
| Интерфейс | SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн |
|
||
| NVMe | Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD |
|
||
|
||
### RAID-контроллеры (подбор моделей)
|
||
|
||
Обязательные требования к контроллеру:
|
||
|
||
- чип **Broadcom/LSI MegaRAID** (не FakeRAID материнской платы);
|
||
- **кэш DDR** на плате контроллера (**≥4 ГБ** предпочтительно для RAID10 + БД);
|
||
- **BBU**, **CacheVault** (CVPM02 / CVPM05) или **FBWC** (HPE) — **обязательно в комплекте**;
|
||
- режим **Write-Back** (Write-Back with BBU/CacheVault/FBWC);
|
||
- поддержка **RAID10**;
|
||
- драйвер **`megaraid_sas`** (Broadcom/Dell/xFusion) или **`smartpqi`** (HPE) в Linux (штатно в Proxmox).
|
||
|
||
> В спецификациях часто указан только объём кэша («4GB», «8GB+BBU», «4GB+FBWC»). **Модуль защиты кэша должен быть физически установлен**, иначе write-back недоступен.
|
||
|
||
#### Рекомендуемые модели — Dell PowerEdge (профиль Server Room)
|
||
|
||
| Приоритет | Модель | Кэш | Защита кэша | Комментарий |
|
||
|-----------|--------|-----|-------------|-------------|
|
||
| **1** | **Dell PERC H755** (Front / Adapter) | 8 ГБ | BBU / CacheVault | **Предпочтительно** для R750/R760/T550; аналог 9560-8i, управление `perccli64` |
|
||
| **2** | **Dell PERC H730p** | 2 ГБ | BBU / CacheVault | R740/R730 (б/у); проверенная связка |
|
||
| **3** | **Dell PERC H750** | 4 ГБ | CacheVault | Промежуточное поколение между H730p и H755 |
|
||
|
||
Комплектация **«PERC H755 (8GB+BBU)»** — подходит для проекта без дополнений.
|
||
|
||
#### Рекомендуемые модели — HPE ProLiant (профиль Server Room)
|
||
|
||
| Приоритет | Модель | Кэш | Защита кэша | Комментарий |
|
||
|-----------|--------|-----|-------------|-------------|
|
||
| **1** | **HPE Smart Array P816i-a** | 4 ГБ | **FBWC** | **Предпочтительно** для DL380/DL360 Gen10; 16 портов, драйвер `smartpqi`, управление `ssacli` |
|
||
| **2** | **HPE Smart Array P408i-a** | 2–4 ГБ | FBWC | Меньше портов; DL360 Gen10, ML350 Gen10 |
|
||
| **3** | **HPE Smart Array P822** | 2 ГБ | FBWC | Gen9 (б/у); устаревает, но совместим |
|
||
|
||
Комплектация **«P816i (4GB+FBWC)»** — подходит для проекта. **FBWC** (*Flash Backed Write Cache*) — аналог CacheVault/BBU у Dell/Broadcom.
|
||
|
||
#### Рекомендуемые модели — xFusion / Huawei (серверы xFusion)
|
||
|
||
Rebadged Broadcom MegaRAID; те же требования к BBU/CacheVault.
|
||
|
||
| Приоритет | Модель | Кэш | Комментарий |
|
||
|-----------|--------|-----|-------------|
|
||
| **1** | **RAID xFusion 9560-8i-PCIe (4GB) SAS/SATA** | 4 ГБ | **Оптимум** для 4–8 SSD, RAID10 + Hot Spare |
|
||
| **2** | **RAID xFusion 9460-8i-PCIe (4GB)** | 4 ГБ | Аналог MegaRAID 9460-8i |
|
||
| **3** | **RAID xFusion 9560-16i-PCIe (8GB)** | 8 ГБ | Если ≥8 дисков в корзине |
|
||
| **4** | **RAID xFusion 9460-16i-PCIe (4GB)** | 4 ГБ | 16 портов — схема RAID1 + RAID10 (§3.1) |
|
||
|
||
Допустимо: **9460-8i (2GB)** — работать будет, но **4GB** предпочтительнее при активной записи БД.
|
||
|
||
#### Рекомендуемые модели — Broadcom / Supermicro / whitebox
|
||
|
||
| Приоритет | Модель | Порты | Кэш | Защита кэша | PCIe | Комментарий |
|
||
|-----------|--------|-------|-----|-------------|------|-------------|
|
||
| **1** | **Broadcom MegaRAID 9560-8i** | 8 int | 4 ГБ | CacheVault CVPM05 | 4.0 ×8 | Универсальная карта для Supermicro и сборок |
|
||
| **2** | **Broadcom MegaRAID 9460-8i** | 8 int | 2–4 ГБ | CacheVault CVPM05 | 3.0 ×8 | Tri-Mode; проверен в Proxmox |
|
||
| **3** | **Broadcom MegaRAID 9460-16i** | 16 int | 4 ГБ | CacheVault CVPM05 | 3.0 ×8 | ≥8 дисков |
|
||
| **4** | **Broadcom MegaRAID 9560-16i** | 16 int | 8 ГБ | CacheVault CVPM05 | 4.0 ×8 | Избыточен для 4 дисков, допустим |
|
||
| **5** | **LSI/Broadcom MegaRAID 9361-8i** | 8 int | 1–2 ГБ | CVPM02 / BBU | 3.0 ×8 | Б/у, предыдущее поколение |
|
||
|
||
#### Сводная таблица «что выбрать под платформу»
|
||
|
||
| Платформа сервера | Контроллер |
|
||
|-------------------|------------|
|
||
| **Dell PowerEdge** (R750, R760, T550) | **PERC H755 (8GB+BBU)** |
|
||
| **HPE ProLiant** (DL380/DL360 Gen10) | **Smart Array P816i (4GB+FBWC)** |
|
||
| **xFusion** (2288H V6, 5288 и т.п.) | **9560-8i (4GB)** или **9460-8i (4GB)** + CacheVault |
|
||
| **Supermicro** / whitebox | **MegaRAID 9560-8i** + CVPM05 |
|
||
| **Dell R740/R730** (б/у) | PERC H730p + CacheVault |
|
||
|
||
#### Допустимые модели (если основные недоступны)
|
||
|
||
| Модель | Кэш | Защита | Ограничение |
|
||
|--------|-----|--------|-------------|
|
||
| Broadcom MegaRAID 9480-8i8e | 4 ГБ | CacheVault CVPM05 | 8 int + 8 ext — внешний корз |
|
||
| LSI MegaRAID 9271-8i | 1 ГБ | BBU | 6 Gb/s, устаревшее поколение |
|
||
| xFusion XP460C-M (4GB), XR450C-MX (4GB) | 4 ГБ | уточнять BBU | Старше 9460/9560 |
|
||
|
||
#### Не рекомендуется
|
||
|
||
| Модель / тип | Причина |
|
||
|--------------|---------|
|
||
| MegaRAID / xFusion **9440-8i**, **9540-8i** | Нет кэша и CacheVault — write-back невозможен |
|
||
| xFusion **SR130**, **SR150-M** | Базовый уровень, без полноценного кэша |
|
||
| xFusion **SR430C-M (1GB)**, **3152-PCIe (2GB)** | Мало кэша / устаревшее поколение |
|
||
| xFusion **XR230-M PCIe** | HBA, не аппаратный RAID |
|
||
| FakeRAID (Intel RST, AMD RAID) | Нестабильная работа с Linux/Proxmox |
|
||
| HBA 9400-8i (IT mode) | Нет аппаратного RAID — только для ZFS |
|
||
| Любой контроллер **без BBU/CacheVault в комплекте** | Риск потери данных; только Write Through |
|
||
|
||
### Схемы разбивки дисков
|
||
|
||
Подробная инструкция — в [Развёртывание, раздел 3.2](razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков).
|
||
|
||
| Схема | Разбивка | Когда |
|
||
|-------|----------|-------|
|
||
| **B (рекомендуется)** | 4 диска RAID10 (всё) + 2–4 Hot Spare | По умолчанию; проще; достаточно для текущей нагрузки |
|
||
| **A (раздельно)** | 2 RAID1 (Proxmox/ВМ) + 4 RAID10 (БД) + Hot Spare | Тяжёлые БД, нужна изоляция I/O |
|
||
|
||
#### Конфигурация «оптимум» — схема B (рекомендуется)
|
||
|
||
| Параметр | 6 дисков | 8 дисков |
|
||
|----------|----------|----------|
|
||
| Контроллер | PERC H755 / P816i / 9560-8i / 9460-8i + защита кэша | то же |
|
||
| RAID10 | 4× SSD | 4× SSD |
|
||
| Hot Spare | 2 | 4 |
|
||
| Полезный объём | ~1,9 – 3,8 ТБ* | ~1,9 – 3,8 ТБ* |
|
||
| Proxmox + ВМ + БД | Один VD → `local-lvm` | то же |
|
||
|
||
\*Зависит от ёмкости одного SSD (960 ГБ → ~1,9 ТБ; 1,92 ТБ → ~3,8 ТБ).
|
||
|
||
#### Конфигурация «раздельно» — схема A
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| VD0 RAID1 (2 диска) | Proxmox, системные диски Windows (`local-lvm`) |
|
||
| VD1 RAID10 (4 диска) | Базы СКАДА, ЛЭРС, «Меркурий» (`data-db`) |
|
||
| Hot Spare (2 диска) | Global Hot Spare (при 8 дисках) |
|
||
| Полезный объём | ~0,9 + ~1,9 ТБ (при 960 ГБ SSD) |
|
||
|
||
#### Конфигурация «минимум» (бюджет)
|
||
|
||
| Параметр | Значение |
|
||
|----------|----------|
|
||
| Контроллер | MegaRAID 9361-8i + CVPM02 |
|
||
| Диски | 2× SATA SSD 1–2 ТБ |
|
||
| RAID | **RAID1** |
|
||
| Полезный объём | ~1 – 2 ТБ |
|
||
| VD | 1 виртуальный диск → LVM-thin |
|
||
|
||
### Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)
|
||
|
||
Если tower-сборка **без серверной корзины** и отдельного RAID-контроллера:
|
||
|
||
- 2× NVMe в режиме **AHCI** (не FakeRAID);
|
||
- **ZFS mirror** при установке Proxmox;
|
||
- без аппаратного MegaRAID.
|
||
|
||
Допустимо для Варианта А при ограниченном бюджете. Для **Варианта Б (серверная)** — только **MegaRAID / PERC / HPE Smart Array + RAID10** (раздел 3.1).
|
||
|
||
Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе [Развёртывание и настройка, §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
|
||
|
||
---
|
||
|
||
## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)
|
||
|
||
> **Профиль железа: Dispatch Tower** — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта **не рекомендуется** (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).
|
||
|
||
### 4.1. Описание
|
||
|
||
Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:
|
||
|
||
- отдельная видеокарта → свой монитор;
|
||
- отдельный комплект клавиатура/мышь;
|
||
- на VM-01: USB-ключ «Меркурия» и MOXA/конвертер (до замены).
|
||
|
||
Оператор работает **как на трёх отдельных компьютерах**.
|
||
|
||
### 4.2. Схема
|
||
|
||
```
|
||
┌─────────────────────────────────────────────────────────────┐
|
||
│ Сервер (Proxmox VE) — комната диспетчеров │
|
||
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
|
||
│ │ VM-01 │ │ VM-02 │ │ VM-03 │ │
|
||
│ │СКАДА+ │ │ ЛЭРС │ │ Лифты │ │
|
||
│ │Меркурий │ │ │ │ │ │
|
||
│ └──┬───┬───┘ └──┬───┬───┘ └──┬───┬───┘ │
|
||
│ │GPU│USB │GPU│USB │GPU│USB │
|
||
└─────┼───┼─────────┼───┼─────────┼───┼───────────────────────┘
|
||
│ │ │ │ │ │
|
||
Мон.1 КМ1 Мон.2 КМ2 Мон.3 КМ3
|
||
│
|
||
USB-ключ + MOXA (VM-01)
|
||
```
|
||
|
||
### 4.3. Требования к оборудованию (профиль Dispatch Tower)
|
||
|
||
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и [форуме Proxmox](https://forum.proxmox.com/).
|
||
|
||
| Компонент | Рекомендация | Комментарий |
|
||
|-----------|-------------|-------------|
|
||
| **Форм-фактор** | Tower (Midi / Full) | Сервер в комнате диспетчеров; нужны 3 GPU и USB |
|
||
| CPU | AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 | VT-d / IOMMU обязательно |
|
||
| Материнская плата | ASUS ProArt X570-CREATOR, ASRock X570 Taichi | **3 физических PCIe ×16**, хорошие IOMMU groups |
|
||
| RAM | 64 ГБ DDR4/DDR5 | ECC — опционально (Ryzen Pro / WS) |
|
||
| **Хранилище (основное)** | 2× NVMe 1–2 ТБ, ZFS mirror | Проще в tower без серверной корзины |
|
||
| **Хранилище (альтернатива)** | MegaRAID + 4× SSD RAID10 | Если есть PCIe-слот под RAID и корзина |
|
||
| GPU ×3 | AMD RX 550 4GB LP (**предпочтительно**) | Passthrough; модуль `vendor-reset` при необходимости |
|
||
| GPU (альтернатива) | NVIDIA GT 1030 LP ×3 | Code 43 → патч VBIOS |
|
||
| GPU хоста | iGPU материнской платы | Proxmox не использует passthrough-GPU |
|
||
| БП | 750–850 Вт, 80+ Gold | 3 GPU + CPU |
|
||
| UPS | 1000–1500 ВА | Сервер + мониторы в диспетчерской |
|
||
| Сеть | 2× Gigabit onboard | VLAN для технологической сети |
|
||
| USB | 3+ USB-контроллера (встроенных или PCIe) | Passthrough КМ и USB-ключа |
|
||
| IPMI / iDRAC | **Не требуется** | Сервер рядом с оператором |
|
||
|
||
#### Рекомендуемая конфигурация (Dispatch Tower)
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| CPU | AMD Ryzen 9 5900X |
|
||
| MB | ASUS ProArt X570-CREATOR WIFI |
|
||
| RAM | 64 ГБ DDR4-3200 (2×32) |
|
||
| SSD | 2× Samsung 990 Pro 1TB (ZFS mirror) **или** 4× PM893 + MegaRAID 9460-8i |
|
||
| GPU ×3 | Sapphire RX 550 4GB LP |
|
||
| БП | be quiet! Straight Power 11 850W |
|
||
| UPS | APC Smart-UPS 1500VA |
|
||
|
||
**Ориентир стоимости:** 150–250 тыс. ₽ (без мониторов и периферии).
|
||
|
||
#### Настройки BIOS (обязательно)
|
||
|
||
| Параметр | Intel | AMD |
|
||
|----------|-------|-----|
|
||
| Виртуализация | VT-x ON | SVM ON |
|
||
| IOMMU | VT-d ON | IOMMU ON (не Auto) |
|
||
| Режим загрузки | UEFI, CSM OFF | UEFI, CSM OFF |
|
||
| Above 4G Decoding | ON | ON |
|
||
| Resizable BAR | OFF (для NVIDIA) | по необходимости |
|
||
| Primary Display | iGPU (если есть) | iGPU (если есть) |
|
||
|
||
### 4.4. Плюсы и минусы
|
||
|
||
| Плюсы | Минусы |
|
||
|-------|--------|
|
||
| Полная автономность каждого рабочего места | Сложная настройка passthrough |
|
||
| Нет зависимости от сети для отображения | Сервер в комнате диспетчеров (шум, пыль) |
|
||
| Минимальная задержка ввода | Жёсткие требования к плате (3 PCIe ×16) |
|
||
| Привычно для оператора | NVIDIA может потребовать патч VBIOS |
|
||
|
||
---
|
||
|
||
## 5. Вариант Б — RDP (сервер в серверной)
|
||
|
||
> **Профиль железа: Server Room** — готовый rack/tower **сервер** или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта **не рекомендуются** — нет ECC, IPMI, hot-swap, dual PSU.
|
||
|
||
### 5.1. Описание
|
||
|
||
Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор.
|
||
|
||
### 5.2. Схема
|
||
|
||
```
|
||
┌──────────────────────┐ Gigabit LAN ┌─────────────────────┐
|
||
│ Серверная │◄────────────────────────────►│ Комната диспетчеров│
|
||
│ Proxmox VE │ (VLAN) │ Клиентский ПК │
|
||
│ ┌────┐┌────┐┌────┐ │ │ Монитор 1 → RDP VM-01
|
||
│ │VM01││VM02││VM03│ │ │ Монитор 2 → RDP VM-02
|
||
│ └──┬─┘└──┬─┘└──┬─┘ │ │ Монитор 3 → RDP VM-03
|
||
│ 1× GPU (админ) │ └─────────────────────┘
|
||
└──────────────────────┘
|
||
```
|
||
|
||
### 5.3. Требования к оборудованию (профиль Server Room)
|
||
|
||
#### Сервер (серверная)
|
||
|
||
| Компонент | Рекомендация | Комментарий |
|
||
|-----------|-------------|-------------|
|
||
| **Платформа** | **Dell PowerEdge R750/R760**, **HPE ProLiant DL380 Gen10**, **xFusion 2288H/5288**, **Supermicro** | Hot-swap, IPMI/iDRAC/iLO, Proxmox |
|
||
| CPU | Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 | VT-d / AMD-Vi |
|
||
| RAM | **64–128 ГБ ECC** RDIMM | Обязательно для 24/7 |
|
||
| RAID | **PERC H755** или **P816i (4GB+FBWC)** | RAID10 + Hot Spare (раздел 3.1, схема B) |
|
||
| SSD | 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) | 6–8 дисков: 4 RAID10 + spare |
|
||
| GPU | **Не требуется** / ASPEED BMC | Доступ через iDRAC/iLO и RDP |
|
||
| NIC | **Intel X710 / I350** dual port | Предпочтительнее onboard Realtek |
|
||
| PSU | **Dual redundant** | Штатно на серверных платформах |
|
||
| Управление | **iDRAC** (Dell) / **iLO** (HPE) / **IPMI** (Supermicro) | Удалённое вкл./выкл., ISO, мониторинг |
|
||
| UPS | В стойке / серверной | Обязателен |
|
||
|
||
#### Рекомендуемые конфигурации (Server Room)
|
||
|
||
**Вариант «Dell PowerEdge» (рекомендуется для нового сервера):**
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| Сервер | Dell PowerEdge R750 / R760 |
|
||
| CPU | 2× Xeon Silver/Gold (16+ ядер) |
|
||
| RAM | 64–128 ГБ ECC RDIMM |
|
||
| RAID | **PERC H755 (8GB+BBU)** |
|
||
| SSD | 4× Samsung PM893 960GB RAID10 + 2–4 Hot Spare |
|
||
| UPS | APC Smart-UPS RT 3000VA (стойка) |
|
||
|
||
**Вариант «готовый сервер б/у»:**
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| Сервер | Dell PowerEdge R740 (б/у) |
|
||
| CPU | 2× Xeon Silver 4214 (24 ядра) |
|
||
| RAM | 64–128 ГБ ECC RDIMM |
|
||
| RAID | PERC H730p + CacheVault |
|
||
| SSD | 4× Samsung PM893 960GB RAID10 + 2 Hot Spare |
|
||
| UPS | APC Smart-UPS RT 3000VA (стойка) |
|
||
|
||
**Вариант «HPE ProLiant»:**
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| Сервер | HPE ProLiant DL380 Gen10 |
|
||
| CPU | 2× Intel Xeon Silver/Gold |
|
||
| RAM | 64–128 ГБ ECC RDIMM |
|
||
| RAID | **Smart Array P816i-a (4GB+FBWC)** |
|
||
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
|
||
|
||
**Вариант «xFusion»:**
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| Сервер | xFusion 2288H V6 / 5288 V5 |
|
||
| CPU | 2× Intel Xeon Silver/Gold |
|
||
| RAM | 64–128 ГБ ECC RDIMM |
|
||
| RAID | **xFusion 9560-8i-PCIe (4GB)** + CacheVault |
|
||
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
|
||
|
||
**Вариант «сборка Supermicro»:**
|
||
|
||
| Позиция | Модель |
|
||
|---------|--------|
|
||
| Платформа | Supermicro SuperServer 6029P / 5019A |
|
||
| CPU | Intel Xeon Silver 4310 или AMD EPYC 7313 |
|
||
| RAM | 64 ГБ ECC RDIMM |
|
||
| RAID | Broadcom MegaRAID 9560-8i + CVPM05 |
|
||
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
|
||
|
||
**Ориентир стоимости:** 250–600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).
|
||
|
||
#### Клиентское рабочее место (комната диспетчеров)
|
||
|
||
| Компонент | Рекомендация |
|
||
|-----------|-------------|
|
||
| ПК | Intel NUC / Beelink / офисный mini-PC (i5, 8 ГБ RAM) |
|
||
| Мониторы | 3× существующих |
|
||
| КМ | 1 комплект (управление клиентом) |
|
||
| Сеть | Gigabit, задержка ≤5 мс до сервера |
|
||
| ОС | Windows 10/11 Pro |
|
||
|
||
#### Сеть
|
||
|
||
| Параметр | Требование |
|
||
|----------|-----------|
|
||
| Пропускная способность | ≥1 Gbps |
|
||
| Задержка | ≤5 мс |
|
||
| VLAN | Отделить SCADA/лифты от офисной сети |
|
||
| Firewall | RDP (TCP 3389) только клиент ↔ сервер |
|
||
|
||
### 5.4. USB-ключ «Меркурия»
|
||
|
||
USB-ключ остаётся **на сервере**, пробрасывается в VM-01. MOXA (до замены) работает по **Ethernet** — USB passthrough для MOXA не требуется.
|
||
|
||
### 5.5. Лицензирование RDP
|
||
|
||
Windows 10 Pro допускает **1 одновременную RDP-сессию** на ВМ. Для данного проекта достаточно: клиент открывает 3 отдельных RDP-подключения к 3 разным ВМ.
|
||
|
||
### 5.6. Плюсы и минусы
|
||
|
||
| Плюсы | Минусы |
|
||
|-------|--------|
|
||
| Серверное железо: ECC, IPMI, hot-swap, dual PSU | Выше стоимость |
|
||
| Сервер в серверной (тише, безопаснее) | Зависимость от сети (RDP) |
|
||
| Не нужны GPU и passthrough — проще внедрение | Клиентский ПК — доп. точка отказа |
|
||
| RAID10 + Hot Spare из коробки | При обрыве сети — нет доступа к системам |
|
||
| Удалённое обслуживание через iDRAC/iLO | Оператор работает через RDP, не «как три ПК» |
|
||
|
||
---
|
||
|
||
## 6. Сравнение вариантов
|
||
|
||
| Критерий | Вариант А (GPU) | Вариант Б (RDP) |
|
||
|----------|----------------|-----------------|
|
||
| **Профиль железа** | Dispatch Tower (desktop/workstation) | Server Room (Dell/HPE/Supermicro) |
|
||
| Расположение сервера | Комната диспетчеров | Серверная |
|
||
| Сложность внедрения | **Высокая** (passthrough) | **Средняя** |
|
||
| Стоимость железа | 150–250 тыс. ₽ (+ 3 GPU) | 250–600+ тыс. ₽ |
|
||
| Надёжность 24/7 | Средняя (нет ECC/IPMI) | **Высокая** (ECC, dual PSU, hot-swap) |
|
||
| Удалённое управление | Локально | **iDRAC / iLO / IPMI** |
|
||
| Надёжность отображения | Не зависит от сети | Зависит от LAN |
|
||
| Опыт оператора | Как 3 отдельных ПК | 3 окна RDP |
|
||
| Изоляция систем (ВМ) | Полная | Полная |
|
||
| USB-ключ «Меркурия» | Passthrough | Passthrough |
|
||
| Хранилище | ZFS mirror (tower) или MegaRAID | **MegaRAID / PERC / HPE RAID10** (раздел 3.1) |
|
||
| **Рекомендация** | Сервер **рядом** с мониторами | Сервер **в серверной**, бюджет на enterprise-железо |
|
||
|
||
---
|
||
|
||
## 7. План работ (этапы)
|
||
|
||
| Фаза | Содержание | Срок |
|
||
|------|-----------|------|
|
||
| 0 | Инвентаризация, бэкапы, выбор варианта | 3–5 дней |
|
||
| 1 | Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) | 3–7 дней |
|
||
| 2 | Установка Proxmox VE | 1 день |
|
||
| 3 | Создание 3 ВМ, установка Windows 10 | 1–2 дня |
|
||
| 4 | Миграция СКАДА, «Меркурия», ЛЭРС, лифтов | 2–5 дней |
|
||
| 5 | Настройка passthrough (А) или RDP (Б) | 1–2 дня |
|
||
| 6 | Настройка резервного копирования | 0.5 дня |
|
||
| 7 | Параллельная эксплуатация и тесты | 7–14 дней |
|
||
| 8 | Ввод в промышленную эксплуатацию | 1 день |
|
||
|
||
Подробные команды и процедуры — в документе [Развёртывание и настройка](razvertyvanie-proxmox.md).
|
||
|
||
---
|
||
|
||
## 8. Критерии приёмки
|
||
|
||
| № | Критерий | Вариант А | Вариант Б |
|
||
|---|----------|-----------|-----------|
|
||
| 1 | 3 системы работают одновременно | ✓ | ✓ |
|
||
| 2 | Каждая система на своём мониторе | ✓ | ✓ |
|
||
| 3 | USB-ключ «Меркурия» определяется ПО | ✓ | ✓ |
|
||
| 4 | Опрос счётчиков через MOXA работает | ✓ | ✓ |
|
||
| 5 | Reboot одной ВМ не влияет на другие | ✓ | ✓ |
|
||
| 6 | Reboot хоста → autostart всех ВМ ≤10 мин | ✓ | ✓ |
|
||
| 7 | Ежедневный vzdump-бэкап выполняется | ✓ | ✓ |
|
||
| 8 | Restore из бэкапа проверен | ✓ | ✓ |
|
||
|
||
---
|
||
|
||
## 9. Риски и меры
|
||
|
||
| Риск | Вероятность | Мера |
|
||
|------|-------------|------|
|
||
| Code 43 (NVIDIA passthrough) | Средняя | AMD RX 550; патч VBIOS |
|
||
| IOMMU groups «склеены» | Средняя | Проверка до покупки; ACS override (крайний случай) |
|
||
| USB-ключ нестабилен в VM | Низкая | Passthrough USB-контроллера целиком |
|
||
| AMD GPU reset-bug | Средняя | Модуль `vendor-reset` |
|
||
| Единая точка отказа (сервер) | Высокая | UPS + vzdump + процедура restore ≤4 ч |
|
||
| Обрыв сети (Вариант Б) | Средняя | Выделенный VLAN, резервный клиент |
|
||
| Сбой RAID-массива (degraded) | Средняя | Hot-spare; мониторинг storcli; UPS |
|
||
| Windows Update перезагрузка | Средняя | Отложенные обновления, maintenance window |
|
||
|
||
---
|
||
|
||
## 10. Будущая фаза: замена MOXA на Меркурий-220/221
|
||
|
||
> **Статус:** не входит в текущий объём работ. Выполняется после стабилизации основной системы.
|
||
|
||
| № | Действие |
|
||
|---|----------|
|
||
| 10.1 | Определить модель: **Меркурий-221 (USB)** — предпочтительно |
|
||
| 10.2 | Подключить к серверу, passthrough в VM-01 по vendor:product ID |
|
||
| 10.3 | Установить драйвер USB-COM в Windows VM-01 |
|
||
| 10.4 | Перенастроить «Меркурий»: COM-порт, скорость, адреса счётчиков |
|
||
| 10.5 | Параллельный опрос (MOXA + 221) 3–7 дней |
|
||
| 10.6 | Переключение на 221, отключение MOXA |
|
||
| 10.7 | Документирование новой схемы |
|
||
|
||
---
|
||
|
||
## 11. Рекомендация по выбору варианта
|
||
|
||
| Условие | Вариант | Профиль железа |
|
||
|---------|---------|----------------|
|
||
| Сервер **обязан** стоять в комнате диспетчеров | **А** (GPU passthrough) | Dispatch Tower |
|
||
| Сервер **только** в серверной | **Б** (RDP) | Server Room (Dell / Supermicro) |
|
||
| Есть бюджет на **enterprise-железо** и серверная | **Б** | Server Room |
|
||
| Оператору критичен опыт «три отдельных ПК» | **А** | Dispatch Tower |
|
||
| Нет опыта с GPU passthrough | **Б** | Server Room |
|
||
| Критична минимальная задержка ввода | **А** | Dispatch Tower |
|
||
| Нужна эксплуатация 24/7 с ECC и IPMI | **Б** | Server Room |
|
||
|
||
> Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).
|
||
|
||
---
|
||
|
||
## 12. Передаваемая документация
|
||
|
||
После внедрения подготовить:
|
||
|
||
1. Схема сети (IP, VLAN, порты).
|
||
2. Таблица passthrough (GPU ↔ VM, USB ↔ VM).
|
||
3. Учётные записи и пароли (в защищённом хранилище).
|
||
4. Инструкция: перезагрузка сервера, restore из бэкапа.
|
||
5. Журнал изменений.
|