docs: профили Dispatch Tower / Server Room, мониторинг RAID в инструкции

ТЗ: разделение железа под варианты А и Б. Установка Proxmox и мониторинг RAID перенесены в razvertyvanie-proxmox.md §3.5–3.6.

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
PTah
2026-07-09 11:22:10 +10:00
parent 50616e6aa8
commit 81c1e16d6f
3 changed files with 245 additions and 91 deletions
+109 -77
View File
@@ -4,7 +4,7 @@
| Параметр | Значение |
|----------|----------|
| Версия | 1.2 |
| Версия | 1.3 |
| Дата | 09.07.2026 |
| Статус | Проектная документация |
| Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
@@ -55,7 +55,21 @@
**Ресурсы хоста Proxmox:** 46 vCPU, 812 ГБ RAM (остаток от 64 ГБ ОЗУ).
**Хранилище:** enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — **LVM-thin / ext4** (см. раздел 3.1).
**Хранилище:** см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в [Развёртывание §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
### 3.0. Выбор аппаратной платформы
Варианты А и Б **не просто отличаются способом вывода на монитор** — под них логично закладываются **разные классы железа**.
| | **Вариант А — GPU passthrough** | **Вариант Б — RDP** |
|---|--------------------------------|---------------------|
| **Профиль** | Dispatch Tower (рабочая станция / tower) | Server Room (серверное железо) |
| **Где стоит** | Комната диспетчеров | Серверная / стойка |
| **Ключевое железо** | 3 GPU, 3× PCIe ×16, IOMMU | RAID, ECC, IPMI, hot-swap, dual PSU |
| **Удалённое управление** | Не критично | **iDRAC / iLO / IPMI** — обязательно |
| **Типичный бюджет** | 150250 тыс. ₽ | 250600+ тыс. ₽ (б/у server — дешевле) |
> **Рекомендация:** если есть серверная и бюджет — **Вариант Б на серверном железе** предпочтительнее для промышленной эксплуатации 24/7. **Вариант А на tower** — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».
---
@@ -183,44 +197,24 @@ Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
| Полезный объём | ~1 – 2 ТБ |
| VD | 1 виртуальный диск → LVM-thin |
### Установка Proxmox на RAID
### Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)
При установке Proxmox VE:
1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1).
2. В инсталляторе Proxmox выбрать созданный VD.
3. Filesystem: **ext4**.
4. Storage: **LVM-thin** (стандартный `local-lvm` для дисков ВМ).
5. **Не выбирать ZFS** при аппаратном RAID.
### Мониторинг RAID
```bash
# Установить утилиты (на хосте Proxmox)
apt install storcli64 # или megacli / perccli для Dell
# Проверка состояния массива
storcli64 /c0 show
storcli64 /c0/vall show
storcli64 /c0/eall/sall show
```
Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low.
### Альтернатива (бюджетная tower-сборка без RAID-контроллера)
Если сервер собирается как **настольный ПК** без серверной корзины и RAID-контроллера:
Если tower-сборка **без серверной корзины** и отдельного RAID-контроллера:
- 2× NVMe в режиме **AHCI** (не FakeRAID);
- **ZFS mirror** при установке Proxmox;
- без аппаратного RAID.
- без аппаратного MegaRAID.
Этот вариант допустим для Варианта А (комната диспетчеров), но **для серверной (Вариант Б) предпочтителен MegaRAID + RAID10**.
Допустимо для Варианта А при ограниченном бюджете. Для **Варианта Б (серверная)** — только **MegaRAID/PERC + RAID10** (раздел 3.1).
Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе [Развёртывание и настройка, §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
---
## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)
> **Профиль железа: Dispatch Tower** — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта **не рекомендуется** (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).
### 4.1. Описание
Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:
@@ -249,40 +243,40 @@ storcli64 /c0/eall/sall show
USB-ключ + MOXA (VM-01)
```
### 4.3. Требования к оборудованию
### 4.3. Требования к оборудованию (профиль Dispatch Tower)
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и обсуждения на [форуме Proxmox](https://forum.proxmox.com/).
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и [форуме Proxmox](https://forum.proxmox.com/).
| Компонент | Рекомендация | Комментарий |
|-----------|-------------|-------------|
| CPU | AMD Ryzen 9 5900X (12C/24T) или Ryzen 9 7900 | IOMMU из коробки; Intel — только с VT-d |
| Материнская плата | ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) | Хорошие IOMMU groups по отзывам сообщества Proxmox |
| Альтернатива (3 GPU) | ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i | Нужно 3 физических PCIe ×16 и проверка IOMMU groups |
| RAM | 64 ГБ DDR4/DDR5 | ECC — желательно на серверных платах |
| RAID-контроллер | Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 | RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1) |
| Диски | 4× SAS/SATA SSD 960 ГБ 1,92 ТБ (RAID10) | Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет) |
| GPU ×3 | AMD RX 550 4GB Low Profile (**предпочтительно**) | Стабильнее NVIDIA; возможен AMD reset-bug → модуль `vendor-reset` |
| GPU (альтернатива) | NVIDIA GT 1030 Low Profile ×3 | Часто Code 43 → патч VBIOS, `hidden=1`, `cpu: host` |
| GPU хоста | Встроенная iGPU или отдельная служебная | Proxmox не должен использовать passthrough-GPU |
| БП | 750850 Вт, 80+ Gold | |
| UPS | 10001500 ВА, line-interactive | Сервер + мониторы |
| Сеть | 2× Gigabit | Отделение технологической сети (VLAN) |
| USB | 3+ независимых USB-контроллера или PCIe USB-карты | Надёжный passthrough КМ и USB-ключа |
| **Форм-фактор** | Tower (Midi / Full) | Сервер в комнате диспетчеров; нужны 3 GPU и USB |
| CPU | AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 | VT-d / IOMMU обязательно |
| Материнская плата | ASUS ProArt X570-CREATOR, ASRock X570 Taichi | **3 физических PCIe ×16**, хорошие IOMMU groups |
| RAM | 64 ГБ DDR4/DDR5 | ECC — опционально (Ryzen Pro / WS) |
| **Хранилище (основное)** | 2× NVMe 12 ТБ, ZFS mirror | Проще в tower без серверной корзины |
| **Хранилище (альтернатива)** | MegaRAID + 4× SSD RAID10 | Если есть PCIe-слот под RAID и корзина |
| GPU ×3 | AMD RX 550 4GB LP (**предпочтительно**) | Passthrough; модуль `vendor-reset` при необходимости |
| GPU (альтернатива) | NVIDIA GT 1030 LP ×3 | Code 43 → патч VBIOS |
| GPU хоста | iGPU материнской платы | Proxmox не использует passthrough-GPU |
| БП | 750850 Вт, 80+ Gold | 3 GPU + CPU |
| UPS | 10001500 ВА | Сервер + мониторы в диспетчерской |
| Сеть | 2× Gigabit onboard | VLAN для технологической сети |
| USB | 3+ USB-контроллера (встроенных или PCIe) | Passthrough КМ и USB-ключа |
| IPMI / iDRAC | **Не требуется** | Сервер рядом с оператором |
#### Рекомендуемая конфигурация
#### Рекомендуемая конфигурация (Dispatch Tower)
| Позиция | Модель |
|---------|--------|
| CPU | AMD Ryzen 9 5900X |
| MB | ASUS ProArt X570-CREATOR WIFI |
| RAM | 64 ГБ DDR4-3200 (2×32) |
| RAID | Broadcom MegaRAID 9460-8i + CVPM05 |
| SSD | 4× Samsung PM893 960GB (RAID10) |
| SSD | 2× Samsung 990 Pro 1TB (ZFS mirror) **или** 4× PM893 + MegaRAID 9460-8i |
| GPU ×3 | Sapphire RX 550 4GB LP |
| БП | be quiet! Straight Power 11 850W |
| UPS | APC Smart-UPS 1500VA |
**Ориентир стоимости:** 150220 тыс. ₽ (без мониторов и периферии).
**Ориентир стоимости:** 150250 тыс. ₽ (без мониторов и периферии).
#### Настройки BIOS (обязательно)
@@ -308,6 +302,8 @@ storcli64 /c0/eall/sall show
## 5. Вариант Б — RDP (сервер в серверной)
> **Профиль железа: Server Room** — готовый rack/tower **сервер** или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта **не рекомендуются** — нет ECC, IPMI, hot-swap, dual PSU.
### 5.1. Описание
Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор.
@@ -325,22 +321,49 @@ storcli64 /c0/eall/sall show
└──────────────────────┘
```
### 5.3. Требования к оборудованию
### 5.3. Требования к оборудованию (профиль Server Room)
#### Сервер (серверная)
| Компонент | Рекомендация |
|-----------|-------------|
| CPU | AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер) |
| MB | Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro |
| RAM | 64 ГБ |
| RAID-контроллер | Broadcom MegaRAID 9560-8i + CacheVault CVPM05 | RAID10, LVM-thin (раздел 3.1) |
| SSD | 4× SAS/SATA SSD 960 ГБ 1,92 ТБ | Enterprise, RAID10 |
| GPU | 1× GT 1030 или iGPU — только для консоли хоста |
| NIC | 2× Gigabit (Intel I210/I225 предпочтительнее Realtek) |
| UPS | Обязателен |
| Компонент | Рекомендация | Комментарий |
|-----------|-------------|-------------|
| **Платформа** | **Dell PowerEdge R740 / R750**, **T640**; **HPE DL380 Gen10**; **Supermicro SuperServer** | Hot-swap, IPMI, проверенная связка с Proxmox |
| CPU | Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 | VT-d / AMD-Vi |
| RAM | **64128 ГБ ECC** RDIMM | Обязательно для 24/7 |
| RAID | **PERC H730p/H755** (Dell) или **MegaRAID 9560-8i** + CVPM05 | RAID10 + Hot Spare (раздел 3.1, схема B) |
| SSD | 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) | 68 дисков: 4 RAID10 + spare |
| GPU | **Не требуется** / ASPEED BMC | Доступ через iDRAC/iLO и RDP |
| NIC | **Intel X710 / I350** dual port | Предпочтительнее onboard Realtek |
| PSU | **Dual redundant** | Штатно на серверных платформах |
| Управление | **iDRAC** (Dell) / **iLO** (HPE) / **IPMI** (Supermicro) | Удалённое вкл./выкл., ISO, мониторинг |
| UPS | В стойке / серверной | Обязателен |
#### Клиентское рабочее место
#### Рекомендуемые конфигурации (Server Room)
**Вариант «готовый сервер» (проще закупка):**
| Позиция | Модель |
|---------|--------|
| Сервер | Dell PowerEdge R740 (б/у) |
| CPU | 2× Xeon Silver 4214 (24 ядра) |
| RAM | 64128 ГБ ECC RDIMM |
| RAID | PERC H730p + CacheVault |
| SSD | 4× Samsung PM893 960GB RAID10 + 2 Hot Spare |
| UPS | APC Smart-UPS RT 3000VA (стойка) |
**Вариант «сборка Supermicro»:**
| Позиция | Модель |
|---------|--------|
| Платформа | Supermicro SuperServer 6029P / 5019A |
| CPU | Intel Xeon Silver 4310 или AMD EPYC 7313 |
| RAM | 64 ГБ ECC RDIMM |
| RAID | Broadcom MegaRAID 9560-8i + CVPM05 |
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
**Ориентир стоимости:** 250600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).
#### Клиентское рабочее место (комната диспетчеров)
| Компонент | Рекомендация |
|-----------|-------------|
@@ -371,10 +394,11 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
| Плюсы | Минусы |
|-------|--------|
| Сервер в серверной (тише, безопаснее) | Зависимость от сети |
| Не нужны 3 GPU и сложный passthrough | Клиентский ПК — дополнительная точка отказа |
| Проще железо и поддержка | Задержка ввода (обычно незаметна в LAN) |
| Дешевле | При обрыве сети — нет доступа к системам |
| Серверное железо: ECC, IPMI, hot-swap, dual PSU | Выше стоимость |
| Сервер в серверной (тише, безопаснее) | Зависимость от сети (RDP) |
| Не нужны GPU и passthrough — проще внедрение | Клиентский ПК — доп. точка отказа |
| RAID10 + Hot Spare из коробки | При обрыве сети — нет доступа к системам |
| Удалённое обслуживание через iDRAC/iLO | Оператор работает через RDP, не «как три ПК» |
---
@@ -382,14 +406,18 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
| Критерий | Вариант А (GPU) | Вариант Б (RDP) |
|----------|----------------|-----------------|
| **Профиль железа** | Dispatch Tower (desktop/workstation) | Server Room (Dell/HPE/Supermicro) |
| Расположение сервера | Комната диспетчеров | Серверная |
| Сложность внедрения | Высокая | Средняя |
| Стоимость железа | Выше (+3 GPU) | Ниже |
| Сложность внедрения | **Высокая** (passthrough) | **Средняя** |
| Стоимость железа | 150250 тыс. ₽ (+ 3 GPU) | 250600+ тыс. ₽ |
| Надёжность 24/7 | Средняя (нет ECC/IPMI) | **Высокая** (ECC, dual PSU, hot-swap) |
| Удалённое управление | Локально | **iDRAC / iLO / IPMI** |
| Надёжность отображения | Не зависит от сети | Зависит от LAN |
| Изоляция систем | Полная | Полная |
| Опыт оператора | Как 3 отдельных ПК | 3 окна RDP |
| Изоляция систем (ВМ) | Полная | Полная |
| USB-ключ «Меркурия» | Passthrough | Passthrough |
| Хранилище | RAID10 + LVM-thin или ZFS mirror (бюджет) | RAID10 + LVM-thin (раздел 3.1) |
| **Рекомендация** | Сервер рядом с мониторами | Сервер в серверной |
| Хранилище | ZFS mirror (tower) или MegaRAID | **MegaRAID/PERC RAID10** (раздел 3.1) |
| **Рекомендация** | Сервер **рядом** с мониторами | Сервер **в серверной**, бюджет на enterprise-железо |
---
@@ -459,13 +487,17 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
## 11. Рекомендация по выбору варианта
| Условие | Вариант |
|---------|---------|
| Сервер может стоять в комнате диспетчеров | **А** (GPU passthrough) |
| Сервер только в серверной | **Б** (RDP) |
| Нет опыта с passthrough / ограничен бюджет | **Б** |
| Критична минимальная задержка и автономность | **А** |
| Не уверены в совместимости железа | Начать с **Б** |
| Условие | Вариант | Профиль железа |
|---------|---------|----------------|
| Сервер **обязан** стоять в комнате диспетчеров | **А** (GPU passthrough) | Dispatch Tower |
| Сервер **только** в серверной | **Б** (RDP) | Server Room (Dell / Supermicro) |
| Есть бюджет на **enterprise-железо** и серверная | **Б** | Server Room |
| Оператору критичен опыт «три отдельных ПК» | **А** | Dispatch Tower |
| Нет опыта с GPU passthrough | **Б** | Server Room |
| Критична минимальная задержка ввода | **А** | Dispatch Tower |
| Нужна эксплуатация 24/7 с ECC и IPMI | **Б** | Server Room |
> Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).
---