From d76958f651401d1610f50b7f87ab26a0d6d79b88 Mon Sep 17 00:00:00 2001 From: PTah Date: Thu, 9 Jul 2026 10:55:38 +1000 Subject: [PATCH] =?UTF-8?q?docs(TZ):=20=D1=80=D0=B5=D0=BA=D0=BE=D0=BC?= =?UTF-8?q?=D0=B5=D0=BD=D0=B4=D0=B0=D1=86=D0=B8=D1=8F=20MegaRAID=20RAID10?= =?UTF-8?q?=20+=20LVM-thin,=20=D0=BF=D0=BE=D0=B4=D0=B1=D0=BE=D1=80=20?= =?UTF-8?q?=D0=BA=D0=BE=D0=BD=D1=82=D1=80=D0=BE=D0=BB=D0=BB=D0=B5=D1=80?= =?UTF-8?q?=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit Добавлен раздел 3.1 о подсистеме хранения: Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10/RAID1, ext4+LVM-thin. Таблица моделей контроллеров (9560-8i, 9460-8i, 9361-8i, PERC H730p). Co-authored-by: Cursor --- README.md | 4 + docs/TZ-proxmox-konsolidaciya.md | 163 +++++++++++++++++++++++++++++-- 2 files changed, 160 insertions(+), 7 deletions(-) diff --git a/README.md b/README.md index b2fe182..3c75211 100644 --- a/README.md +++ b/README.md @@ -14,6 +14,10 @@ - **Вариант А** — сервер в комнате диспетчеров, 3 GPU passthrough, 3 монитора - **Вариант Б** — сервер в серверной, доступ к 3 VM по RDP с клиентского ПК +## Хранилище + +Рекомендуется **Broadcom/LSI MegaRAID** с BBU/CacheVault, **RAID10** (или RAID1), поверх — **LVM-thin / ext4**. Подробности — раздел 3.1 в ТЗ. + ## Состав виртуальных машин | VM | Системы | diff --git a/docs/TZ-proxmox-konsolidaciya.md b/docs/TZ-proxmox-konsolidaciya.md index 93166a7..9325322 100644 --- a/docs/TZ-proxmox-konsolidaciya.md +++ b/docs/TZ-proxmox-konsolidaciya.md @@ -4,7 +4,7 @@ | Параметр | Значение | |----------|----------| -| Версия | 1.0 | +| Версия | 1.1 | | Дата | 09.07.2026 | | Статус | Проектная документация | | Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) | @@ -55,7 +55,151 @@ **Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ). -**Хранилище:** ZFS mirror из 2× NVMe SSD на хосте. +**Хранилище:** enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — **LVM-thin / ext4** (см. раздел 3.1). + +--- + +## 3.1. Подсистема хранения (общая для обоих вариантов) + +### Рекомендуемая схема + +Для промышленного сервера с одновременной работой баз данных СКАДА, ЛЭРС и «Меркурия» **рекомендуется** использовать **аппаратный RAID** на базе enterprise-контроллера **Broadcom/LSI MegaRAID** с обязательной защитой write-back кэша (**BBU** или **CacheVault**), а не ZFS mirror на «голых» дисках. + +``` +Физические SSD/SAS-диски + ↓ +Broadcom/LSI MegaRAID (RAID10 или RAID1, Write-Back + BBU/CacheVault) + ↓ +Один виртуальный диск (VD) / несколько VD + ↓ +Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ +``` + +### Почему RAID10 + LVM-thin, а не ZFS поверх MegaRAID + +| Критерий | RAID10 + LVM-thin/ext4 | ZFS mirror на raw-дисках | +|----------|------------------------|--------------------------| +| Защита write-cache при сбое питания | BBU / CacheVault на контроллере | Нет аппаратного кэша | +| IOPS при записи в БД | RAID10 — лучший random write | Хорошо, но без HW-кэша | +| Hot-swap / predictive fail | Штатно через MegaRAID | Зависит от корзины | +| Совместимость с Proxmox | Нативная (LVM-thin по умолчанию) | Требует ZFS на root | +| ZFS поверх HW RAID | **Не использовать** — двойная абстракция, нет смысла | — | + +> **Важно.** При использовании MegaRAID Proxmox устанавливается на **ext4 + LVM-thin**, а не на ZFS. ZFS поверх аппаратного RAID **не применяется**. + +### Уровни RAID + +| Уровень | Минимум дисков | Ёмкость | Отказоустойчивость | Рекомендация | +|---------|---------------|---------|-------------------|--------------| +| **RAID1** | 2 | 50% | 1 диск | Минимальная конфигурация, бюджет | +| **RAID10** | 4 | 50% | 1 диск в каждой паре | **Предпочтительно** для СКАДА/ЛЭРС | + +**RAID10 предпочтительнее RAID1** при нагрузке от четырёх одновременных баз данных: выше random write IOPS, быстрее rebuild, ниже риск деградации при активной записи архивов. + +### Диски + +| Параметр | Рекомендация | +|----------|-------------| +| Тип | Enterprise SAS SSD или SATA SSD (Samsung PM893, Micron 5400, Kingston DC600M) | +| Объём | 4× 960 ГБ – 1,92 ТБ (RAID10) или 2× 1–2 ТБ (RAID1) | +| Интерфейс | SAS 12G или SATA через SFF-8643/SFF-8087 кабели/бэкплейн | +| NVMe | Только через Tri-Mode контроллеры (см. таблицу ниже); для tower-сборки проще SAS/SATA SSD | + +### RAID-контроллеры (подбор моделей) + +Обязательные требования к контроллеру: + +- чип **Broadcom/LSI MegaRAID** (не FakeRAID материнской платы); +- **кэш DDR** на плате контроллера (≥1 ГБ); +- **BBU** (Battery Backup Unit) **или CacheVault** (CVPM02 / CVPM05) — **обязательно**; +- режим **Write-Back** (Write-Back with BBU/CacheVault); +- поддержка **RAID10**; +- драйвер `megaraid_sas` в Linux (штатно в Proxmox). + +#### Рекомендуемые модели (по приоритету) + +| Приоритет | Модель | Порты | Кэш | Защита кэша | PCIe | Комментарий | +|-----------|--------|-------|-----|-------------|------|-------------| +| **1** | **Broadcom MegaRAID 9560-8i** | 8 int | 4 ГБ | CacheVault CVPM05 | 4.0 ×8 | Актуальное поколение, PCIe 4.0, оптимален для 4–8 SSD в RAID10 | +| **2** | **Broadcom MegaRAID 9460-8i** | 8 int | 2 ГБ | CacheVault CVPM05 | 3.0 ×8 | Tri-Mode (SAS/SATA/NVMe), проверен в Proxmox, хорошее соотношение цена/надёжность | +| **3** | **Broadcom MegaRAID 9460-16i** | 16 int | 4 ГБ | CacheVault CVPM05 | 3.0 ×8 | Если нужно ≥8 дисков или отдельный RAID1 (boot) + RAID10 (data) | +| **4** | **LSI/Broadcom MegaRAID 9361-8i** | 8 int | 1–2 ГБ | CVPM02 / BBU | 3.0 ×8 | Предыдущее поколение, широко доступен б/у, полностью совместим | +| **5** | **Dell PERC H730p** (rebadged 9361) | 8 int | 2 ГБ | BBU / CacheVault | 3.0 ×8 | При покупке готового Dell R730/R740 — проверенная связка | + +#### Допустимые модели (если основные недоступны) + +| Модель | Кэш | Защита | Ограничение | +|--------|-----|--------|-------------| +| Broadcom MegaRAID 9560-16i | 8 ГБ | CacheVault CVPM05 | Избыточен для 4 дисков, но допустим | +| Broadcom MegaRAID 9480-8i8e | 4 ГБ | CacheVault CVPM05 | 8 int + 8 ext — если нужен внешний корз | +| LSI MegaRAID 9271-8i | 1 ГБ | BBU | Устаревшее поколение 6 Gb/s, только SAS2/SATA | + +#### Не рекомендуется + +| Модель / тип | Причина | +|--------------|---------| +| MegaRAID **9440-8i**, **9540-8i** | Нет кэша и CacheVault — write-back невозможен | +| FakeRAID (Intel RST, AMD RAID) | Нестабильная работа с Linux/Proxmox | +| HBA 9400-8i (IT mode) | Нет аппаратного RAID — только для ZFS | +| MegaRAID без BBU/CacheVault | Риск потери данных в кэше при сбое питания | + +### Рекомендуемые конфигурации массивов + +#### Конфигурация «оптимум» (рекомендуется) + +| Параметр | Значение | +|----------|----------| +| Контроллер | MegaRAID 9560-8i или 9460-8i + CVPM05 | +| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ | +| RAID | **RAID10** | +| Полезный объём | ~1,9 – 3,8 ТБ | +| VD | 1 виртуальный диск → весь объём в LVM-thin | +| Политика кэша | Write-Back (Enabled with BBU/CacheVault) | +| Инициализация | Fast Init + фоновый Patrol Read | + +#### Конфигурация «минимум» (бюджет) + +| Параметр | Значение | +|----------|----------| +| Контроллер | MegaRAID 9361-8i + CVPM02 | +| Диски | 2× SATA SSD 1–2 ТБ | +| RAID | **RAID1** | +| Полезный объём | ~1 – 2 ТБ | +| VD | 1 виртуальный диск → LVM-thin | + +### Установка Proxmox на RAID + +При установке Proxmox VE: + +1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1). +2. В инсталляторе Proxmox выбрать созданный VD. +3. Filesystem: **ext4**. +4. Storage: **LVM-thin** (стандартный `local-lvm` для дисков ВМ). +5. **Не выбирать ZFS** при аппаратном RAID. + +### Мониторинг RAID + +```bash +# Установить утилиты (на хосте Proxmox) +apt install storcli64 # или megacli / perccli для Dell + +# Проверка состояния массива +storcli64 /c0 show +storcli64 /c0/vall show +storcli64 /c0/eall/sall show +``` + +Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low. + +### Альтернатива (бюджетная tower-сборка без RAID-контроллера) + +Если сервер собирается как **настольный ПК** без серверной корзины и RAID-контроллера: + +- 2× NVMe в режиме **AHCI** (не FakeRAID); +- **ZFS mirror** при установке Proxmox; +- без аппаратного RAID. + +Этот вариант допустим для Варианта А (комната диспетчеров), но **для серверной (Вариант Б) предпочтителен MegaRAID + RAID10**. --- @@ -99,7 +243,8 @@ | Материнская плата | ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) | Хорошие IOMMU groups по отзывам сообщества Proxmox | | Альтернатива (3 GPU) | ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i | Нужно 3 физических PCIe ×16 и проверка IOMMU groups | | RAM | 64 ГБ DDR4/DDR5 | ECC — желательно на серверных платах | -| Диски | 2× NVMe 1–2 ТБ (Samsung 990 Pro, Kingston KC3000) | ZFS mirror на хосте | +| RAID-контроллер | Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 | RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1) | +| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ (RAID10) | Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет) | | GPU ×3 | AMD RX 550 4GB Low Profile (**предпочтительно**) | Стабильнее NVIDIA; возможен AMD reset-bug → модуль `vendor-reset` | | GPU (альтернатива) | NVIDIA GT 1030 Low Profile ×3 | Часто Code 43 → патч VBIOS, `hidden=1`, `cpu: host` | | GPU хоста | Встроенная iGPU или отдельная служебная | Proxmox не должен использовать passthrough-GPU | @@ -115,7 +260,8 @@ | CPU | AMD Ryzen 9 5900X | | MB | ASUS ProArt X570-CREATOR WIFI | | RAM | 64 ГБ DDR4-3200 (2×32) | -| SSD | 2× Samsung 990 Pro 1TB | +| RAID | Broadcom MegaRAID 9460-8i + CVPM05 | +| SSD | 4× Samsung PM893 960GB (RAID10) | | GPU ×3 | Sapphire RX 550 4GB LP | | БП | be quiet! Straight Power 11 850W | | UPS | APC Smart-UPS 1500VA | @@ -170,9 +316,10 @@ | Компонент | Рекомендация | |-----------|-------------| | CPU | AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер) | -| MB | Любая с VT-d/IOMMU | +| MB | Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro | | RAM | 64 ГБ | -| SSD | 2× NVMe 1TB, ZFS mirror | +| RAID-контроллер | Broadcom MegaRAID 9560-8i + CacheVault CVPM05 | RAID10, LVM-thin (раздел 3.1) | +| SSD | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ | Enterprise, RAID10 | | GPU | 1× GT 1030 или iGPU — только для консоли хоста | | NIC | 2× Gigabit (Intel I210/I225 предпочтительнее Realtek) | | UPS | Обязателен | @@ -225,6 +372,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси | Надёжность отображения | Не зависит от сети | Зависит от LAN | | Изоляция систем | Полная | Полная | | USB-ключ «Меркурия» | Passthrough | Passthrough | +| Хранилище | RAID10 + LVM-thin или ZFS mirror (бюджет) | RAID10 + LVM-thin (раздел 3.1) | | **Рекомендация** | Сервер рядом с мониторами | Сервер в серверной | --- @@ -234,7 +382,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси | Фаза | Содержание | Срок | |------|-----------|------| | 0 | Инвентаризация, бэкапы, выбор варианта | 3–5 дней | -| 1 | Закупка и сборка железа, проверка IOMMU (Вариант А) | 3–7 дней | +| 1 | Закупка и сборка железа, RAID-контроллер, проверка IOMMU (Вариант А) | 3–7 дней | | 2 | Установка Proxmox VE | 1 день | | 3 | Создание 3 ВМ, установка Windows 10 | 1–2 дня | | 4 | Миграция СКАДА, «Меркурия», ЛЭРС, лифтов | 2–5 дней | @@ -272,6 +420,7 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси | AMD GPU reset-bug | Средняя | Модуль `vendor-reset` | | Единая точка отказа (сервер) | Высокая | UPS + vzdump + процедура restore ≤4 ч | | Обрыв сети (Вариант Б) | Средняя | Выделенный VLAN, резервный клиент | +| Сбой RAID-массива (degraded) | Средняя | Hot-spare; мониторинг storcli; UPS | | Windows Update перезагрузка | Средняя | Отложенные обновления, maintenance window | ---