PapaTramp/SKADA
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: профили Dispatch Tower / Server Room, мониторинг RAID в инструкции

Browse Source 
ТЗ: разделение железа под варианты А и Б. Установка Proxmox и мониторинг RAID перенесены в razvertyvanie-proxmox.md §3.5–3.6.

Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
PTah
2026-07-09 11:22:10 +10:00
parent 50616e6aa8
commit 81c1e16d6f
3 changed files with 245 additions and 91 deletions
Download Patch File Download Diff File Expand all files Collapse all files
README.md
+10 -7
View File
@@ -11,17 +11,20 @@
## Варианты реализации ## Варианты реализации
- **Вариант А** — сервер в комнате диспетчеров, 3 GPU passthrough, 3 монитора | Вариант | Где сервер | Профиль железа | Доступ оператора |
- **Вариант Б** — сервер в серверной, доступ к 3 VM по RDP с клиентского ПК |---------|-----------|----------------|-----------------|
| **А** | Комната диспетчеров | **Dispatch Tower** (desktop/workstation, 3 GPU) | 3 монитора, passthrough |
| **Б** | Серверная | **Server Room** (Dell/HPE/Supermicro, ECC, IPMI) | RDP с клиентского ПК |
## Хранилище ## Хранилище
Рекомендуется **Broadcom/LSI MegaRAID** с BBU/CacheVault, **ext4 + LVM-thin**. | Профиль | Схема |
|---------|-------|
| **Server Room** (Вариант Б) | MegaRAID/PERC, RAID10 + Hot Spare, **ext4 + LVM-thin** |
| **Dispatch Tower** (Вариант А) | 2× NVMe **ZFS mirror** или MegaRAID RAID10 |
**По умолчанию:** 4 диска **RAID10** (Proxmox + ВМ + БД) + **Hot Spare** на остальных дисках. Установка Proxmox и мониторинг RAID — [инструкция §3.5–3.6](docs/razvertyvanie-proxmox.md#35-установка-proxmox-ve).
**Альтернатива:** RAID1 (система) + RAID10 (только БД) — при тяжёлой нагрузке на базы. Схемы разбивки дисков — [§3.2](docs/razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков), [ТЗ §3.1](docs/TZ-proxmox-konsolidaciya.md).
Подробности — [ТЗ §3.1](docs/TZ-proxmox-konsolidaciya.md), [инструкция §3.2](docs/razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков).
## Состав виртуальных машин ## Состав виртуальных машин
docs/TZ-proxmox-konsolidaciya.md
+109 -77
View File
@@ -4,7 +4,7 @@
| Параметр | Значение | | Параметр | Значение |
|----------|----------| |----------|----------|
| Версия | 1.2 | | Версия | 1.3 |
| Дата | 09.07.2026 | | Дата | 09.07.2026 |
| Статус | Проектная документация | | Статус | Проектная документация |
| Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) | | Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
@@ -55,7 +55,21 @@
**Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ). **Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ).
**Хранилище:** enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — **LVM-thin / ext4** (см. раздел 3.1). **Хранилище:** см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в [Развёртывание §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
### 3.0. Выбор аппаратной платформы
Варианты А и Б **не просто отличаются способом вывода на монитор** — под них логично закладываются **разные классы железа**.
| | **Вариант А — GPU passthrough** | **Вариант Б — RDP** |
|---|--------------------------------|---------------------|
| **Профиль** | Dispatch Tower (рабочая станция / tower) | Server Room (серверное железо) |
| **Где стоит** | Комната диспетчеров | Серверная / стойка |
| **Ключевое железо** | 3 GPU, 3× PCIe ×16, IOMMU | RAID, ECC, IPMI, hot-swap, dual PSU |
| **Удалённое управление** | Не критично | **iDRAC / iLO / IPMI** — обязательно |
| **Типичный бюджет** | 150–250 тыс. ₽ | 250–600+ тыс. ₽ (б/у server — дешевле) |
> **Рекомендация:** если есть серверная и бюджет — **Вариант Б на серверном железе** предпочтительнее для промышленной эксплуатации 24/7. **Вариант А на tower** — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».
--- ---
@@ -183,44 +197,24 @@ Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
| Полезный объём | ~1 – 2 ТБ | | Полезный объём | ~1 – 2 ТБ |
| VD | 1 виртуальный диск → LVM-thin | | VD | 1 виртуальный диск → LVM-thin |
### Установка Proxmox на RAID ### Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)
При установке Proxmox VE: Если tower-сборка **без серверной корзины** и отдельного RAID-контроллера:
1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1).
2. В инсталляторе Proxmox выбрать созданный VD.
3. Filesystem: **ext4**.
4. Storage: **LVM-thin** (стандартный `local-lvm` для дисков ВМ).
5. **Не выбирать ZFS** при аппаратном RAID.
### Мониторинг RAID
```bash
# Установить утилиты (на хосте Proxmox)
apt install storcli64 # или megacli / perccli для Dell
# Проверка состояния массива
storcli64 /c0 show
storcli64 /c0/vall show
storcli64 /c0/eall/sall show
```
Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low.
### Альтернатива (бюджетная tower-сборка без RAID-контроллера)
Если сервер собирается как **настольный ПК** без серверной корзины и RAID-контроллера:
- 2× NVMe в режиме **AHCI** (не FakeRAID); - 2× NVMe в режиме **AHCI** (не FakeRAID);
- **ZFS mirror** при установке Proxmox; - **ZFS mirror** при установке Proxmox;
- без аппаратного RAID. - без аппаратного MegaRAID.
Этот вариант допустим для Варианта А (комната диспетчеров), но **для серверной (Вариант Б) предпочтителен MegaRAID + RAID10**. Допустимо для Варианта А при ограниченном бюджете. Для **Варианта Б (серверная)** — только **MegaRAID/PERC + RAID10** (раздел 3.1).
Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе [Развёртывание и настройка, §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
--- ---
## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров) ## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)
> **Профиль железа: Dispatch Tower** — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта **не рекомендуется** (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).
### 4.1. Описание ### 4.1. Описание
Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются: Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:
@@ -249,40 +243,40 @@ storcli64 /c0/eall/sall show
USB-ключ + MOXA (VM-01) USB-ключ + MOXA (VM-01)
``` ```
### 4.3. Требования к оборудованию ### 4.3. Требования к оборудованию (профиль Dispatch Tower)
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и обсуждения на [форуме Proxmox](https://forum.proxmox.com/). > **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и [форуме Proxmox](https://forum.proxmox.com/).
| Компонент | Рекомендация | Комментарий | | Компонент | Рекомендация | Комментарий |
|-----------|-------------|-------------| |-----------|-------------|-------------|
| CPU | AMD Ryzen 9 5900X (12C/24T) или Ryzen 9 7900 | IOMMU из коробки; Intel — только с VT-d | | **Форм-фактор** | Tower (Midi / Full) | Сервер в комнате диспетчеров; нужны 3 GPU и USB |
| Материнская плата | ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) | Хорошие IOMMU groups по отзывам сообщества Proxmox | | CPU | AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 | VT-d / IOMMU обязательно |
| Альтернатива (3 GPU) | ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i | Нужно 3 физических PCIe ×16 и проверка IOMMU groups | | Материнская плата | ASUS ProArt X570-CREATOR, ASRock X570 Taichi | **3 физических PCIe ×16**, хорошие IOMMU groups |
| RAM | 64 ГБ DDR4/DDR5 | ECC — желательно на серверных платах | | RAM | 64 ГБ DDR4/DDR5 | ECC — опционально (Ryzen Pro / WS) |
| RAID-контроллер | Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 | RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1) | | **Хранилище (основное)** | 2× NVMe 1–2 ТБ, ZFS mirror | Проще в tower без серверной корзины |
| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ (RAID10) | Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет) | | **Хранилище (альтернатива)** | MegaRAID + 4× SSD RAID10 | Если есть PCIe-слот под RAID и корзина |
| GPU ×3 | AMD RX 550 4GB Low Profile (**предпочтительно**) | Стабильнее NVIDIA; возможен AMD reset-bug → модуль `vendor-reset` | | GPU ×3 | AMD RX 550 4GB LP (**предпочтительно**) | Passthrough; модуль `vendor-reset` при необходимости |
| GPU (альтернатива) | NVIDIA GT 1030 Low Profile ×3 | Часто Code 43 → патч VBIOS, `hidden=1`, `cpu: host` | | GPU (альтернатива) | NVIDIA GT 1030 LP ×3 | Code 43 → патч VBIOS |
| GPU хоста | Встроенная iGPU или отдельная служебная | Proxmox не должен использовать passthrough-GPU | | GPU хоста | iGPU материнской платы | Proxmox не использует passthrough-GPU |
| БП | 750–850 Вт, 80+ Gold | | | БП | 750–850 Вт, 80+ Gold | 3 GPU + CPU |
| UPS | 1000–1500 ВА, line-interactive | Сервер + мониторы | | UPS | 1000–1500 ВА | Сервер + мониторы в диспетчерской |
| Сеть | 2× Gigabit | Отделение технологической сети (VLAN) | | Сеть | 2× Gigabit onboard | VLAN для технологической сети |
| USB | 3+ независимых USB-контроллера или PCIe USB-карты | Надёжный passthrough КМ и USB-ключа | | USB | 3+ USB-контроллера (встроенных или PCIe) | Passthrough КМ и USB-ключа |
| IPMI / iDRAC | **Не требуется** | Сервер рядом с оператором |
#### Рекомендуемая конфигурация #### Рекомендуемая конфигурация (Dispatch Tower)
| Позиция | Модель | | Позиция | Модель |
|---------|--------| |---------|--------|
| CPU | AMD Ryzen 9 5900X | | CPU | AMD Ryzen 9 5900X |
| MB | ASUS ProArt X570-CREATOR WIFI | | MB | ASUS ProArt X570-CREATOR WIFI |
| RAM | 64 ГБ DDR4-3200 (2×32) | | RAM | 64 ГБ DDR4-3200 (2×32) |
| RAID | Broadcom MegaRAID 9460-8i + CVPM05 | | SSD | 2× Samsung 990 Pro 1TB (ZFS mirror) **или** 4× PM893 + MegaRAID 9460-8i |
| SSD | 4× Samsung PM893 960GB (RAID10) |
| GPU ×3 | Sapphire RX 550 4GB LP | | GPU ×3 | Sapphire RX 550 4GB LP |
| БП | be quiet! Straight Power 11 850W | | БП | be quiet! Straight Power 11 850W |
| UPS | APC Smart-UPS 1500VA | | UPS | APC Smart-UPS 1500VA |
**Ориентир стоимости:** 150–220 тыс. ₽ (без мониторов и периферии). **Ориентир стоимости:** 150–250 тыс. ₽ (без мониторов и периферии).
#### Настройки BIOS (обязательно) #### Настройки BIOS (обязательно)
@@ -308,6 +302,8 @@ storcli64 /c0/eall/sall show
## 5. Вариант Б — RDP (сервер в серверной) ## 5. Вариант Б — RDP (сервер в серверной)
> **Профиль железа: Server Room** — готовый rack/tower **сервер** или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта **не рекомендуются** — нет ECC, IPMI, hot-swap, dual PSU.
### 5.1. Описание ### 5.1. Описание
Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор. Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор.
@@ -325,22 +321,49 @@ storcli64 /c0/eall/sall show
└──────────────────────┘ └──────────────────────┘
``` ```
### 5.3. Требования к оборудованию ### 5.3. Требования к оборудованию (профиль Server Room)
#### Сервер (серверная) #### Сервер (серверная)
| Компонент | Рекомендация | | Компонент | Рекомендация | Комментарий |
|-----------|-------------| |-----------|-------------|-------------|
| CPU | AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер) | | **Платформа** | **Dell PowerEdge R740 / R750**, **T640**; **HPE DL380 Gen10**; **Supermicro SuperServer** | Hot-swap, IPMI, проверенная связка с Proxmox |
| MB | Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro | | CPU | Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 | VT-d / AMD-Vi |
| RAM | 64 ГБ | | RAM | **64–128 ГБ ECC** RDIMM | Обязательно для 24/7 |
| RAID-контроллер | Broadcom MegaRAID 9560-8i + CacheVault CVPM05 | RAID10, LVM-thin (раздел 3.1) | | RAID | **PERC H730p/H755** (Dell) или **MegaRAID 9560-8i** + CVPM05 | RAID10 + Hot Spare (раздел 3.1, схема B) |
| SSD | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ | Enterprise, RAID10 | | SSD | 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) | 6–8 дисков: 4 RAID10 + spare |
| GPU | 1× GT 1030 или iGPU — только для консоли хоста | | GPU | **Не требуется** / ASPEED BMC | Доступ через iDRAC/iLO и RDP |
| NIC | 2× Gigabit (Intel I210/I225 предпочтительнее Realtek) | | NIC | **Intel X710 / I350** dual port | Предпочтительнее onboard Realtek |
| UPS | Обязателен | | PSU | **Dual redundant** | Штатно на серверных платформах |
| Управление | **iDRAC** (Dell) / **iLO** (HPE) / **IPMI** (Supermicro) | Удалённое вкл./выкл., ISO, мониторинг |
| UPS | В стойке / серверной | Обязателен |
#### Клиентское рабочее место #### Рекомендуемые конфигурации (Server Room)
**Вариант «готовый сервер» (проще закупка):**
| Позиция | Модель |
|---------|--------|
| Сервер | Dell PowerEdge R740 (б/у) |
| CPU | 2× Xeon Silver 4214 (24 ядра) |
| RAM | 64–128 ГБ ECC RDIMM |
| RAID | PERC H730p + CacheVault |
| SSD | 4× Samsung PM893 960GB RAID10 + 2 Hot Spare |
| UPS | APC Smart-UPS RT 3000VA (стойка) |
**Вариант «сборка Supermicro»:**
| Позиция | Модель |
|---------|--------|
| Платформа | Supermicro SuperServer 6029P / 5019A |
| CPU | Intel Xeon Silver 4310 или AMD EPYC 7313 |
| RAM | 64 ГБ ECC RDIMM |
| RAID | Broadcom MegaRAID 9560-8i + CVPM05 |
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
**Ориентир стоимости:** 250–600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).
#### Клиентское рабочее место (комната диспетчеров)
| Компонент | Рекомендация | | Компонент | Рекомендация |
|-----------|-------------| |-----------|-------------|
@@ -371,10 +394,11 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
| Плюсы | Минусы | | Плюсы | Минусы |
|-------|--------| |-------|--------|
| Сервер в серверной (тише, безопаснее) | Зависимость от сети | | Серверное железо: ECC, IPMI, hot-swap, dual PSU | Выше стоимость |
| Не нужны 3 GPU и сложный passthrough | Клиентский ПК — дополнительная точка отказа | | Сервер в серверной (тише, безопаснее) | Зависимость от сети (RDP) |
| Проще железо и поддержка | Задержка ввода (обычно незаметна в LAN) | | Не нужны GPU и passthrough — проще внедрение | Клиентский ПК — доп. точка отказа |
| Дешевле | При обрыве сети — нет доступа к системам | | RAID10 + Hot Spare из коробки | При обрыве сети — нет доступа к системам |
| Удалённое обслуживание через iDRAC/iLO | Оператор работает через RDP, не «как три ПК» |
--- ---
@@ -382,14 +406,18 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
| Критерий | Вариант А (GPU) | Вариант Б (RDP) | | Критерий | Вариант А (GPU) | Вариант Б (RDP) |
|----------|----------------|-----------------| |----------|----------------|-----------------|
| **Профиль железа** | Dispatch Tower (desktop/workstation) | Server Room (Dell/HPE/Supermicro) |
| Расположение сервера | Комната диспетчеров | Серверная | | Расположение сервера | Комната диспетчеров | Серверная |
| Сложность внедрения | Высокая | Средняя | | Сложность внедрения | **Высокая** (passthrough) | **Средняя** |
| Стоимость железа | Выше (+3 GPU) | Ниже | | Стоимость железа | 150–250 тыс. ₽ (+ 3 GPU) | 250–600+ тыс. ₽ |
| Надёжность 24/7 | Средняя (нет ECC/IPMI) | **Высокая** (ECC, dual PSU, hot-swap) |
| Удалённое управление | Локально | **iDRAC / iLO / IPMI** |
| Надёжность отображения | Не зависит от сети | Зависит от LAN | | Надёжность отображения | Не зависит от сети | Зависит от LAN |
| Изоляция систем | Полная | Полная | | Опыт оператора | Как 3 отдельных ПК | 3 окна RDP |
| Изоляция систем (ВМ) | Полная | Полная |
| USB-ключ «Меркурия» | Passthrough | Passthrough | | USB-ключ «Меркурия» | Passthrough | Passthrough |
| Хранилище | RAID10 + LVM-thin или ZFS mirror (бюджет) | RAID10 + LVM-thin (раздел 3.1) | | Хранилище | ZFS mirror (tower) или MegaRAID | **MegaRAID/PERC RAID10** (раздел 3.1) |
| **Рекомендация** | Сервер рядом с мониторами | Сервер в серверной | | **Рекомендация** | Сервер **рядом** с мониторами | Сервер **в серверной**, бюджет на enterprise-железо |
--- ---
@@ -459,13 +487,17 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
## 11. Рекомендация по выбору варианта ## 11. Рекомендация по выбору варианта
| Условие | Вариант | | Условие | Вариант | Профиль железа |
|---------|---------| |---------|---------|----------------|
| Сервер может стоять в комнате диспетчеров | **А** (GPU passthrough) | | Сервер **обязан** стоять в комнате диспетчеров | **А** (GPU passthrough) | Dispatch Tower |
| Сервер только в серверной | **Б** (RDP) | | Сервер **только** в серверной | **Б** (RDP) | Server Room (Dell / Supermicro) |
| Нет опыта с passthrough / ограничен бюджет | **Б** | | Есть бюджет на **enterprise-железо** и серверная | **Б** | Server Room |
| Критична минимальная задержка и автономность | **А** | | Оператору критичен опыт «три отдельных ПК» | **А** | Dispatch Tower |
| Не уверены в совместимости железа | Начать с **Б** | | Нет опыта с GPU passthrough | **Б** | Server Room |
| Критична минимальная задержка ввода | **А** | Dispatch Tower |
| Нужна эксплуатация 24/7 с ECC и IPMI | **Б** | Server Room |
> Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).
--- ---
docs/razvertyvanie-proxmox.md
+126 -7
View File
@@ -4,7 +4,7 @@
| Параметр | Значение | | Параметр | Значение |
|----------|----------| |----------|----------|
| Версия | 1.2 | | Версия | 1.3 |
| Дата | 09.07.2026 | | Дата | 09.07.2026 |
| Связанный документ | [Техническое задание](TZ-proxmox-konsolidaciya.md) | | Связанный документ | [Техническое задание](TZ-proxmox-konsolidaciya.md) |
@@ -20,6 +20,7 @@
- [3.3. Схема «A» — RAID1 + RAID10 (раздельно)](#33-схема-a--raid1--raid10-раздельно) - [3.3. Схема «A» — RAID1 + RAID10 (раздельно)](#33-схема-a--raid1--raid10-раздельно)
- [3.4. Схема «B» — один RAID10 на всё (рекомендуется)](#34-схема-b--один-raid10-на-всё-рекомендуется) - [3.4. Схема «B» — один RAID10 на всё (рекомендуется)](#34-схема-b--один-raid10-на-всё-рекомендуется)
- [3.5. Установка Proxmox VE](#35-установка-proxmox-ve) - [3.5. Установка Proxmox VE](#35-установка-proxmox-ve)
- [3.6. Мониторинг RAID](#36-мониторинг-raid)
4. [Фаза 2 — Настройка IOMMU и VFIO (Вариант А)](#4-фаза-2--настройка-iommu-и-vfio-вариант-а) 4. [Фаза 2 — Настройка IOMMU и VFIO (Вариант А)](#4-фаза-2--настройка-iommu-и-vfio-вариант-а)
5. [Фаза 3 — Создание виртуальных машин](#5-фаза-3--создание-виртуальных-машин) 5. [Фаза 3 — Создание виртуальных машин](#5-фаза-3--создание-виртуальных-машин)
6. [Фаза 4 — Установка Windows 10](#6-фаза-4--установка-windows-10) 6. [Фаза 4 — Установка Windows 10](#6-фаза-4--установка-windows-10)
@@ -328,17 +329,32 @@ storcli64 /c0 add vd r10 drives=0:0,0:1,0:2,0:3,0:4,0:5,0:6,0:7 writepolicy=wb r
### 3.5. Установка Proxmox VE ### 3.5. Установка Proxmox VE
#### Общие шаги (обе схемы) #### Предварительно: создание VD в MegaRAID
Перед установкой Proxmox создайте виртуальный диск (VD) в BIOS/UEFI контроллера MegaRAID или PERC (см. §3.2–3.4). Политики Write Back и Read Ahead — в §3.1.
#### Установка на аппаратный RAID (профиль Server Room, Вариант Б)
1. Загрузиться с ISO Proxmox VE 8.x. 1. Загрузиться с ISO Proxmox VE 8.x.
2. На экране выбора диска выбрать **VD0** (единственный или первый виртуальный диск MegaRAID). 2. В инсталляторе выбрать созданный **VD** (MegaRAID/PERC).
3. **Тип файловой системы:** **ext4** (или **xfs**). 3. **Filesystem:** **ext4** (или **xfs** — допустимая альтернатива).
4. **Не выбирать ZFS** при аппаратном RAID. 4. **Storage:** **LVM-thin** — Proxmox автоматически создаст `local-lvm` для дисков ВМ.
5. Proxmox автоматически создаст **LVM-thin** (`local-lvm`) для дисков виртуальных машин. 5. **Не выбирать ZFS** при аппаратном RAID.
6. Задать hostname `pve-scada`, IP `192.168.10.10/24`, gateway, DNS. 6. Задать hostname `pve-scada`, IP `192.168.10.10/24`, gateway, DNS.
7. Завершить установку, перезагрузить. 7. Завершить установку, перезагрузить.
#### Дополнительно для схемы A: подключение VD1 (RAID10) под БД #### Установка на ZFS mirror (профиль Dispatch Tower, Вариант А)
Если tower-сборка **без MegaRAID** (2× NVMe в AHCI):
1. Загрузиться с ISO Proxmox VE 8.x.
2. Target disk: **ZFS (RAID1)** — выбрать 2 NVMe.
3. Задать hostname, IP, gateway, DNS.
4. Завершить установку.
> ZFS — только для tower без аппаратного RAID. На Dell PERC / MegaRAID — **ext4 + LVM-thin**.
#### Дополнительно для схемы разбивки A: подключение VD1 (RAID10) под БД
Выполнить **после** установки Proxmox, если выбрана схема A: Выполнить **после** установки Proxmox, если выбрана схема A:
@@ -404,6 +420,109 @@ fio --name=db-test --directory=/mnt/pve/data-db --rw=randwrite --bs=4k \
--- ---
### 3.6. Мониторинг RAID
> Применимо для **аппаратного RAID** (MegaRAID / PERC). Для ZFS mirror на tower — `zpool status`, `zpool scrub`.
#### Установка утилит управления
**Broadcom / LSI MegaRAID (Supermicro, большинство сборок):**
```bash
# StorCLI — скачать с сайта Broadcom, установить .deb
# https://www.broadcom.com/support/download-search
dpkg -i storcli_*.deb
# Проверка
storcli64 show
```
**Dell PERC:**
```bash
# perccli — аналог storcli для Dell
# https://www.dell.com/support — PERC H730/H755 CLI Tools
dpkg -i perccli_*.deb
perccli64 /c0 show
```
**Устаревшие контроллеры:**
```bash
apt install megaclisas-status # MegaCLI, LSI 9271 и старше
```
#### Ежедневная проверка состояния
```bash
# Общий статус контроллера
storcli64 /c0 show
# Виртуальные диски (массивы)
storcli64 /c0/vall show
# Физические диски
storcli64 /c0/eall/sall show
# CacheVault / BBU
storcli64 /c0/cv show
storcli64 /c0/bbu show
```
**Ожидаемые значения:**
| Параметр | Норма |
|----------|-------|
| Controller Status | Optimal |
| VD State | Optimal |
| PD State | Online |
| CacheVault / BBU | Optimal, Charged |
| Write Policy | WriteBack (WB) |
#### События, требующие реакции
| Событие | Действие |
|---------|----------|
| **Degraded** | Проверить hot spare / rebuild; не выключать сервер |
| **Rebuild in progress** | Снизить нагрузку; дождаться завершения |
| **Predictive Failure** | Заменить диск; hot spare подхватит автоматически |
| **CacheVault Failed / BBU Failed** | **Срочно:** Write Policy → Write Through; заменить CVPM/BBU |
| **Foreign Config** | Импортировать или очистить конфигурацию в MegaRAID BIOS |
#### Оповещения (рекомендуется настроить)
- degraded array;
- predictive failure диска;
- CacheVault / BBU charge low или failed;
- rebuild completed / failed.
**Варианты реализации:**
1. **Cron + email** — скрипт проверки `storcli64 /c0 show` и парсинг статуса.
2. **Zabbix / Prometheus** — SNMP или script check для MegaRAID.
3. **iDRAC / iLO** (Dell/HPE) — встроенные алерты по дискам и RAID.
Пример cron-скрипта (`/etc/cron.daily/raid-check`):
```bash
#!/bin/bash
STATUS=$(storcli64 /c0 show | grep -i "Status")
if echo "$STATUS" | grep -ivq "Optimal"; then
echo "RAID ALERT on $(hostname): $STATUS" | mail -s "RAID degraded" admin@example.com
fi
```
#### Dell PERC — эквивалентные команды
```bash
perccli64 /c0 show
perccli64 /c0/vall show
perccli64 /c0/eall/sall show
perccli64 /c0/cv show
```
---
## 4. Фаза 2 — Настройка IOMMU и VFIO (Вариант А) ## 4. Фаза 2 — Настройка IOMMU и VFIO (Вариант А)
> Для **Варианта Б (RDP)** этот раздел можно пропустить, достаточно базовой установки Proxmox. > Для **Варианта Б (RDP)** этот раздел можно пропустить, достаточно базовой установки Proxmox.