docs(TZ): рекомендация MegaRAID RAID10 + LVM-thin, подбор контроллеров

Добавлен раздел 3.1 о подсистеме хранения: Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10/RAID1, ext4+LVM-thin. Таблица моделей контроллеров (9560-8i, 9460-8i, 9361-8i, PERC H730p).

Co-authored-by: Cursor <cursoragent@cursor.com>

docs/TZ-proxmox-konsolidaciya.md

@@ -4,7 +4,7 @@
 
 | Параметр | Значение |
 |----------|----------|
-| Версия | 1.0 |
+| Версия | 1.1 |
 | Дата | 09.07.2026 |
 | Статус | Проектная документация |
 | Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
@@ -55,7 +55,151 @@
 
 **Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ).
 
-**Хранилище:** ZFS mirror из 2× NVMe SSD на хосте.
+**Хранилище:** enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — **LVM-thin / ext4** (см. раздел 3.1).
+
+---
+
+## 3.1. Подсистема хранения (общая для обоих вариантов)
+
+### Рекомендуемая схема
+
+Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» **рекомендуется** использовать **аппаратный RAID** на базе enterprise-контроллера **Broadcom/LSI MegaRAID** с обязательной защитой write-back кэша (**BBU** или **CacheVault**), а не ZFS mirror на «голых» дисках.
+
+```
+Физические SSD/SAS-диски
+        ↓
+Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault)
+        ↓
+Один виртуальный диск (VD) / несколько VD
+        ↓
+Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
+```
+
+### Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID
+
+| Критерий | RAID10 + LVM-thin/ext4 | ZFS mirror на raw-дисках |
+|----------|------------------------|--------------------------|
+| Защита write-cache при сбое питания | BBU / CacheVault на контроллере | Нет аппаратного кэша |
+| IOPS при записи в БД | RAID10 — лучший random write | Хорошо, но без HW-кэша |
+| Hot-swap / predictive fail | Штатно через MegaRAID | Зависит от корзины |
+| Совместимость с Proxmox | Нативная (LVM-thin по умолчанию) | Требует ZFS на root |
+| ZFS поверх HW RAID | **Не использовать** — двойная абстракция, нет смысла | — |
+
+> **Важно.** При использовании MegaRAID Proxmox устанавливается на **ext4 + LVM-thin**, а не на ZFS. ZFS поверх аппаратного RAID **не применяется**.
+
+### Уровни RAID
+
+| Уровень | Минимум дисков | Ёмкость | Отказоустойчивость | Рекомендация |
+|---------|---------------|---------|-------------------|--------------|
+| **RAID1** | 2 | 50% | 1 диск | Минимальная конфигурация, бюджет |
+| **RAID10** | 4 | 50% | 1 диск в каждой паре | **Предпочтительно** для СКАДА/ЛЭРС |
+
+**RAID10 предпочтительнее RAID1** при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов.
+
+### Диски
+
+| Параметр | Рекомендация |
+|----------|-------------|
+| Тип | Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M) |
+| Объём | 4× 960 ГБ – 1,92 ТБ (RAID10) или 2× 1–2 ТБ (RAID1) |
+| Интерфейс | SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн |
+| NVMe | Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD |
+
+### RAID-контроллеры (подбор моделей)
+
+Обязательные требования к контроллеру:
+
+- чип **Broadcom/LSI MegaRAID** (не FakeRAID материнской платы);
+- **кэш DDR** на плате контроллера (≥1 ГБ);
+- **BBU** (Battery Backup Unit) **или CacheVault** (CVPM02 / CVPM05) — **обязательно**;
+- режим **Write-Back** (Write-Back with BBU/CacheVault);
+- поддержка **RAID10**;
+- драйвер `megaraid_sas` в Linux (штатно в Proxmox).
+
+#### Рекомендуемые модели (по приоритету)
+
+| Приоритет | Модель | Порты | Кэш | Защита кэша | PCIe | Комментарий |
+|-----------|--------|-------|-----|-------------|------|-------------|
+| **1** | **Broadcom MegaRAID 9560-8i** | 8 int | 4 ГБ | CacheVault CVPM05 | 4.0 ×8 | Актуальное поколение, PCIe 4.0, оптимален для 4–8 SSD в RAID10 |
+| **2** | **Broadcom MegaRAID 9460-8i** | 8 int | 2 ГБ | CacheVault CVPM05 | 3.0 ×8 | Tri-Mode (SAS/SATA/NVMe), проверен в Proxmox, хорошее соотношение цена/надёжность |
+| **3** | **Broadcom MegaRAID 9460-16i** | 16 int | 4 ГБ | CacheVault CVPM05 | 3.0 ×8 | Если нужно ≥8 дисков или отдельный RAID1 (boot) + RAID10 (data) |
+| **4** | **LSI/Broadcom MegaRAID 9361-8i** | 8 int | 1–2 ГБ | CVPM02 / BBU | 3.0 ×8 | Предыдущее поколение, широко доступен б/у, полностью совместим |
+| **5** | **Dell PERC H730p** (rebadged 9361) | 8 int | 2 ГБ | BBU / CacheVault | 3.0 ×8 | При покупке готового Dell R730/R740 — проверенная связка |
+
+#### Допустимые модели (если основные недоступны)
+
+| Модель | Кэш | Защита | Ограничение |
+|--------|-----|--------|-------------|
+| Broadcom MegaRAID 9560-16i | 8 ГБ | CacheVault CVPM05 | Избыточен для 4 дисков, но допустим |
+| Broadcom MegaRAID 9480-8i8e | 4 ГБ | CacheVault CVPM05 | 8 int + 8 ext — если нужен внешний корз |
+| LSI MegaRAID 9271-8i | 1 ГБ | BBU | Устаревшее поколение 6 Gb/s, только SAS2/SATA |
+
+#### Не рекомендуется
+
+| Модель / тип | Причина |
+|--------------|---------|
+| MegaRAID **9440-8i**, **9540-8i** | Нет кэша и CacheVault — write-back невозможен |
+| FakeRAID (Intel RST, AMD RAID) | Нестабильная работа с Linux/Proxmox |
+| HBA 9400-8i (IT mode) | Нет аппаратного RAID — только для ZFS |
+| MegaRAID без BBU/CacheVault | Риск потери данных в кэше при сбое питания |
+
+### Рекомендуемые конфигурации массивов
+
+#### Конфигурация «оптимум» (рекомендуется)
+
+| Параметр | Значение |
+|----------|----------|
+| Контроллер | MegaRAID 9560-8i или 9460-8i + CVPM05 |
+| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ |
+| RAID | **RAID10** |
+| Полезный объём | ~1,9 – 3,8 ТБ |
+| VD | 1 виртуальный диск → весь объём в LVM-thin |
+| Политика кэша | Write-Back (Enabled with BBU/CacheVault) |
+| Инициализация | Fast Init + фоновый Patrol Read |
+
+#### Конфигурация «минимум» (бюджет)
+
+| Параметр | Значение |
+|----------|----------|
+| Контроллер | MegaRAID 9361-8i + CVPM02 |
+| Диски | 2× SATA SSD 1–2 ТБ |
+| RAID | **RAID1** |
+| Полезный объём | ~1 – 2 ТБ |
+| VD | 1 виртуальный диск → LVM-thin |
+
+### Установка Proxmox на RAID
+
+При установке Proxmox VE:
+
+1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1).
+2. В инсталляторе Proxmox выбрать созданный VD.
+3. Filesystem: **ext4**.
+4. Storage: **LVM-thin** (стандартный `local-lvm` для дисков ВМ).
+5. **Не выбирать ZFS** при аппаратном RAID.
+
+### Мониторинг RAID
+
+```bash
+# Установить утилиты (на хосте Proxmox)
+apt install storcli64   # или megacli / perccli для Dell
+
+# Проверка состояния массива
+storcli64 /c0 show
+storcli64 /c0/vall show
+storcli64 /c0/eall/sall show
+```
+
+Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low.
+
+### Альтернатива (бюджетная tower-сборка без RAID-контроллера)
+
+Если сервер собирается как **настольный ПК** без серверной корзины и RAID-контроллера:
+
+- 2× NVMe в режиме **AHCI** (не FakeRAID);
+- **ZFS mirror** при установке Proxmox;
+- без аппаратного RAID.
+
+Этот вариант допустим для Варианта А (комната диспетчеров), но **для серверной (Вариант Б) предпочтителен MegaRAID + RAID10**.
 
 ---
 
@@ -99,7 +243,8 @@
 | Материнская плата | ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) | Хорошие IOMMU groups по отзывам сообщества Proxmox |
 | Альтернатива (3 GPU) | ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i | Нужно 3 физических PCIe ×16 и проверка IOMMU groups |
 | RAM | 64 ГБ DDR4/DDR5 | ECC — желательно на серверных платах |
-| Диски | 2× NVMe 1–2 ТБ (Samsung 990 Pro, Kingston KC3000) | ZFS mirror на хосте |
+| RAID-контроллер | Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 | RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1) |
+| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ (RAID10) | Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет) |
 | GPU ×3 | AMD RX 550 4GB Low Profile (**предпочтительно**) | Стабильнее NVIDIA; возможен AMD reset-bug → модуль `vendor-reset` |
 | GPU (альтернатива) | NVIDIA GT 1030 Low Profile ×3 | Часто Code 43 → патч VBIOS, `hidden=1`, `cpu: host` |
 | GPU хоста | Встроенная iGPU или отдельная служебная | Proxmox не должен использовать passthrough-GPU |
@@ -115,7 +260,8 @@
 | CPU | AMD Ryzen 9 5900X |
 | MB | ASUS ProArt X570-CREATOR WIFI |
 | RAM | 64 ГБ DDR4-3200 (2×32) |
-| SSD | 2× Samsung 990 Pro 1TB |
+| RAID | Broadcom MegaRAID 9460-8i + CVPM05 |
+| SSD | 4× Samsung PM893 960GB (RAID10) |
 | GPU ×3 | Sapphire RX 550 4GB LP |
 | БП | be quiet! Straight Power 11 850W |
 | UPS | APC Smart-UPS 1500VA |
@@ -170,9 +316,10 @@
 | Компонент | Рекомендация |
 |-----------|-------------|
 | CPU | AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер) |
-| MB | Любая с VT-d/IOMMU |
+| MB | Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro |
 | RAM | 64 ГБ |
-| SSD | 2× NVMe 1TB, ZFS mirror |
+| RAID-контроллер | Broadcom MegaRAID 9560-8i + CacheVault CVPM05 | RAID10, LVM-thin (раздел 3.1) |
+| SSD | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ | Enterprise, RAID10 |
 | GPU | 1× GT 1030 или iGPU — только для консоли хоста |
 | NIC | 2× Gigabit (Intel I210/I225 предпочтительнее Realtek) |
 | UPS | Обязателен |
@@ -225,6 +372,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
 | Надёжность отображения | Не зависит от сети | Зависит от LAN |
 | Изоляция систем | Полная | Полная |
 | USB-ключ «Меркурия» | Passthrough | Passthrough |
+| Хранилище | RAID10 + LVM-thin или ZFS mirror (бюджет) | RAID10 + LVM-thin (раздел 3.1) |
 | **Рекомендация** | Сервер рядом с мониторами | Сервер в серверной |
 
 ---
@@ -234,7 +382,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
 | Фаза | Содержание | Срок |
 |------|-----------|------|
 | 0 | Инвентаризация, бэкапы, выбор варианта | 3–5 дней |
-| 1 | Закупка и сборка железа, проверка IOMMU (Вариант А) | 3–7 дней |
+| 1 | Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) | 3–7 дней |
 | 2 | Установка Proxmox VE | 1 день |
 | 3 | Создание 3 ВМ, установка Windows 10 | 1–2 дня |
 | 4 | Миграция СКАДА, «Меркурия», ЛЭРС, лифтов | 2–5 дней |
@@ -272,6 +420,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
 | AMD GPU reset-bug | Средняя | Модуль `vendor-reset` |
 | Единая точка отказа (сервер) | Высокая | UPS + vzdump + процедура restore ≤4 ч |
 | Обрыв сети (Вариант Б) | Средняя | Выделенный VLAN, резервный клиент |
+| Сбой RAID-массива (degraded) | Средняя | Hot-spare; мониторинг storcli; UPS |
 | Windows Update перезагрузка | Средняя | Отложенные обновления, maintenance window |
 
 ---