docs: профили Dispatch Tower / Server Room, мониторинг RAID в инструкции
ТЗ: разделение железа под варианты А и Б. Установка Proxmox и мониторинг RAID перенесены в razvertyvanie-proxmox.md §3.5–3.6. Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -11,17 +11,20 @@
|
||||
|
||||
## Варианты реализации
|
||||
|
||||
- **Вариант А** — сервер в комнате диспетчеров, 3 GPU passthrough, 3 монитора
|
||||
- **Вариант Б** — сервер в серверной, доступ к 3 VM по RDP с клиентского ПК
|
||||
| Вариант | Где сервер | Профиль железа | Доступ оператора |
|
||||
|---------|-----------|----------------|-----------------|
|
||||
| **А** | Комната диспетчеров | **Dispatch Tower** (desktop/workstation, 3 GPU) | 3 монитора, passthrough |
|
||||
| **Б** | Серверная | **Server Room** (Dell/HPE/Supermicro, ECC, IPMI) | RDP с клиентского ПК |
|
||||
|
||||
## Хранилище
|
||||
|
||||
Рекомендуется **Broadcom/LSI MegaRAID** с BBU/CacheVault, **ext4 + LVM-thin**.
|
||||
| Профиль | Схема |
|
||||
|---------|-------|
|
||||
| **Server Room** (Вариант Б) | MegaRAID/PERC, RAID10 + Hot Spare, **ext4 + LVM-thin** |
|
||||
| **Dispatch Tower** (Вариант А) | 2× NVMe **ZFS mirror** или MegaRAID RAID10 |
|
||||
|
||||
**По умолчанию:** 4 диска **RAID10** (Proxmox + ВМ + БД) + **Hot Spare** на остальных дисках.
|
||||
**Альтернатива:** RAID1 (система) + RAID10 (только БД) — при тяжёлой нагрузке на базы.
|
||||
|
||||
Подробности — [ТЗ §3.1](docs/TZ-proxmox-konsolidaciya.md), [инструкция §3.2](docs/razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков).
|
||||
Установка Proxmox и мониторинг RAID — [инструкция §3.5–3.6](docs/razvertyvanie-proxmox.md#35-установка-proxmox-ve).
|
||||
Схемы разбивки дисков — [§3.2](docs/razvertyvanie-proxmox.md#32-выбор-схемы-разбивки-дисков), [ТЗ §3.1](docs/TZ-proxmox-konsolidaciya.md).
|
||||
|
||||
## Состав виртуальных машин
|
||||
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Версия | 1.2 |
|
||||
| Версия | 1.3 |
|
||||
| Дата | 09.07.2026 |
|
||||
| Статус | Проектная документация |
|
||||
| Связанный документ | [Развёртывание и настройка](razvertyvanie-proxmox.md) |
|
||||
@@ -55,7 +55,21 @@
|
||||
|
||||
**Ресурсы хоста Proxmox:** 4–6 vCPU, 8–12 ГБ RAM (остаток от 64 ГБ ОЗУ).
|
||||
|
||||
**Хранилище:** enterprise RAID-контроллер Broadcom/LSI MegaRAID с BBU/CacheVault, RAID10 (предпочтительно) или RAID1, поверх — **LVM-thin / ext4** (см. раздел 3.1).
|
||||
**Хранилище:** см. раздел 3.1. Процедуры установки Proxmox на RAID и мониторинга — в [Развёртывание §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
|
||||
|
||||
### 3.0. Выбор аппаратной платформы
|
||||
|
||||
Варианты А и Б **не просто отличаются способом вывода на монитор** — под них логично закладываются **разные классы железа**.
|
||||
|
||||
| | **Вариант А — GPU passthrough** | **Вариант Б — RDP** |
|
||||
|---|--------------------------------|---------------------|
|
||||
| **Профиль** | Dispatch Tower (рабочая станция / tower) | Server Room (серверное железо) |
|
||||
| **Где стоит** | Комната диспетчеров | Серверная / стойка |
|
||||
| **Ключевое железо** | 3 GPU, 3× PCIe ×16, IOMMU | RAID, ECC, IPMI, hot-swap, dual PSU |
|
||||
| **Удалённое управление** | Не критично | **iDRAC / iLO / IPMI** — обязательно |
|
||||
| **Типичный бюджет** | 150–250 тыс. ₽ | 250–600+ тыс. ₽ (б/у server — дешевле) |
|
||||
|
||||
> **Рекомендация:** если есть серверная и бюджет — **Вариант Б на серверном железе** предпочтительнее для промышленной эксплуатации 24/7. **Вариант А на tower** — когда сервер обязан стоять у оператора и нужен опыт «три отдельных ПК».
|
||||
|
||||
---
|
||||
|
||||
@@ -183,44 +197,24 @@ Proxmox VE: ext4 + LVM-thin (local-lvm) — диски ВМ
|
||||
| Полезный объём | ~1 – 2 ТБ |
|
||||
| VD | 1 виртуальный диск → LVM-thin |
|
||||
|
||||
### Установка Proxmox на RAID
|
||||
### Альтернатива хранения для профиля «Dispatch Tower» (Вариант А)
|
||||
|
||||
При установке Proxmox VE:
|
||||
|
||||
1. В BIOS контроллера MegaRAID создать VD (RAID10/RAID1).
|
||||
2. В инсталляторе Proxmox выбрать созданный VD.
|
||||
3. Filesystem: **ext4**.
|
||||
4. Storage: **LVM-thin** (стандартный `local-lvm` для дисков ВМ).
|
||||
5. **Не выбирать ZFS** при аппаратном RAID.
|
||||
|
||||
### Мониторинг RAID
|
||||
|
||||
```bash
|
||||
# Установить утилиты (на хосте Proxmox)
|
||||
apt install storcli64 # или megacli / perccli для Dell
|
||||
|
||||
# Проверка состояния массива
|
||||
storcli64 /c0 show
|
||||
storcli64 /c0/vall show
|
||||
storcli64 /c0/eall/sall show
|
||||
```
|
||||
|
||||
Настроить оповещения: degraded array, predictive failure, BBU/CacheVault charge low.
|
||||
|
||||
### Альтернатива (бюджетная tower-сборка без RAID-контроллера)
|
||||
|
||||
Если сервер собирается как **настольный ПК** без серверной корзины и RAID-контроллера:
|
||||
Если tower-сборка **без серверной корзины** и отдельного RAID-контроллера:
|
||||
|
||||
- 2× NVMe в режиме **AHCI** (не FakeRAID);
|
||||
- **ZFS mirror** при установке Proxmox;
|
||||
- без аппаратного RAID.
|
||||
- без аппаратного MegaRAID.
|
||||
|
||||
Этот вариант допустим для Варианта А (комната диспетчеров), но **для серверной (Вариант Б) предпочтителен MegaRAID + RAID10**.
|
||||
Допустимо для Варианта А при ограниченном бюджете. Для **Варианта Б (серверная)** — только **MegaRAID/PERC + RAID10** (раздел 3.1).
|
||||
|
||||
Процедуры установки Proxmox на аппаратный RAID и мониторинг массивов — в документе [Развёртывание и настройка, §3.5–3.6](razvertyvanie-proxmox.md#35-установка-proxmox-ve).
|
||||
|
||||
---
|
||||
|
||||
## 4. Вариант А — GPU Passthrough (сервер в комнате диспетчеров)
|
||||
|
||||
> **Профиль железа: Dispatch Tower** — мощный настольный ПК / workstation. Серверное rack-железо для этого варианта **не рекомендуется** (нет места под 3 GPU, нет нужных PCIe-слотов в 1U/2U).
|
||||
|
||||
### 4.1. Описание
|
||||
|
||||
Сервер располагается **рядом с рабочим местом оператора** (расстояние до мониторов 1–2 м). К каждой ВМ пробрасываются:
|
||||
@@ -249,40 +243,40 @@ storcli64 /c0/eall/sall show
|
||||
USB-ключ + MOXA (VM-01)
|
||||
```
|
||||
|
||||
### 4.3. Требования к оборудованию
|
||||
### 4.3. Требования к оборудованию (профиль Dispatch Tower)
|
||||
|
||||
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и обсуждения на [форуме Proxmox](https://forum.proxmox.com/).
|
||||
> **Важно.** Абсолютной гарантии совместимости passthrough не существует — результат зависит от связки CPU + материнская плата + BIOS + GPU. Перед закупкой проверять IOMMU groups на [iommu.info](https://iommu.info/) и [форуме Proxmox](https://forum.proxmox.com/).
|
||||
|
||||
| Компонент | Рекомендация | Комментарий |
|
||||
|-----------|-------------|-------------|
|
||||
| CPU | AMD Ryzen 9 5900X (12C/24T) или Ryzen 9 7900 | IOMMU из коробки; Intel — только с VT-d |
|
||||
| Материнская плата | ASUS ProArt X570-CREATOR WIFI (AM4) или ASUS ProArt X870E-CREATOR WIFI (AM5) | Хорошие IOMMU groups по отзывам сообщества Proxmox |
|
||||
| Альтернатива (3 GPU) | ASRock X570 Taichi, ASUS WS X570-ACE, Supermicro H12SSL-i | Нужно 3 физических PCIe ×16 и проверка IOMMU groups |
|
||||
| RAM | 64 ГБ DDR4/DDR5 | ECC — желательно на серверных платах |
|
||||
| RAID-контроллер | Broadcom MegaRAID 9460-8i или 9560-8i + CacheVault CVPM05 | RAID10 из 4× SSD, LVM-thin/ext4 (раздел 3.1) |
|
||||
| Диски | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ (RAID10) | Enterprise SSD; альтернатива: 2× NVMe ZFS mirror (бюджет) |
|
||||
| GPU ×3 | AMD RX 550 4GB Low Profile (**предпочтительно**) | Стабильнее NVIDIA; возможен AMD reset-bug → модуль `vendor-reset` |
|
||||
| GPU (альтернатива) | NVIDIA GT 1030 Low Profile ×3 | Часто Code 43 → патч VBIOS, `hidden=1`, `cpu: host` |
|
||||
| GPU хоста | Встроенная iGPU или отдельная служебная | Proxmox не должен использовать passthrough-GPU |
|
||||
| БП | 750–850 Вт, 80+ Gold | |
|
||||
| UPS | 1000–1500 ВА, line-interactive | Сервер + мониторы |
|
||||
| Сеть | 2× Gigabit | Отделение технологической сети (VLAN) |
|
||||
| USB | 3+ независимых USB-контроллера или PCIe USB-карты | Надёжный passthrough КМ и USB-ключа |
|
||||
| **Форм-фактор** | Tower (Midi / Full) | Сервер в комнате диспетчеров; нужны 3 GPU и USB |
|
||||
| CPU | AMD Ryzen 9 5900X / 7900 или Intel Core i7-13700 | VT-d / IOMMU обязательно |
|
||||
| Материнская плата | ASUS ProArt X570-CREATOR, ASRock X570 Taichi | **3 физических PCIe ×16**, хорошие IOMMU groups |
|
||||
| RAM | 64 ГБ DDR4/DDR5 | ECC — опционально (Ryzen Pro / WS) |
|
||||
| **Хранилище (основное)** | 2× NVMe 1–2 ТБ, ZFS mirror | Проще в tower без серверной корзины |
|
||||
| **Хранилище (альтернатива)** | MegaRAID + 4× SSD RAID10 | Если есть PCIe-слот под RAID и корзина |
|
||||
| GPU ×3 | AMD RX 550 4GB LP (**предпочтительно**) | Passthrough; модуль `vendor-reset` при необходимости |
|
||||
| GPU (альтернатива) | NVIDIA GT 1030 LP ×3 | Code 43 → патч VBIOS |
|
||||
| GPU хоста | iGPU материнской платы | Proxmox не использует passthrough-GPU |
|
||||
| БП | 750–850 Вт, 80+ Gold | 3 GPU + CPU |
|
||||
| UPS | 1000–1500 ВА | Сервер + мониторы в диспетчерской |
|
||||
| Сеть | 2× Gigabit onboard | VLAN для технологической сети |
|
||||
| USB | 3+ USB-контроллера (встроенных или PCIe) | Passthrough КМ и USB-ключа |
|
||||
| IPMI / iDRAC | **Не требуется** | Сервер рядом с оператором |
|
||||
|
||||
#### Рекомендуемая конфигурация
|
||||
#### Рекомендуемая конфигурация (Dispatch Tower)
|
||||
|
||||
| Позиция | Модель |
|
||||
|---------|--------|
|
||||
| CPU | AMD Ryzen 9 5900X |
|
||||
| MB | ASUS ProArt X570-CREATOR WIFI |
|
||||
| RAM | 64 ГБ DDR4-3200 (2×32) |
|
||||
| RAID | Broadcom MegaRAID 9460-8i + CVPM05 |
|
||||
| SSD | 4× Samsung PM893 960GB (RAID10) |
|
||||
| SSD | 2× Samsung 990 Pro 1TB (ZFS mirror) **или** 4× PM893 + MegaRAID 9460-8i |
|
||||
| GPU ×3 | Sapphire RX 550 4GB LP |
|
||||
| БП | be quiet! Straight Power 11 850W |
|
||||
| UPS | APC Smart-UPS 1500VA |
|
||||
|
||||
**Ориентир стоимости:** 150–220 тыс. ₽ (без мониторов и периферии).
|
||||
**Ориентир стоимости:** 150–250 тыс. ₽ (без мониторов и периферии).
|
||||
|
||||
#### Настройки BIOS (обязательно)
|
||||
|
||||
@@ -308,6 +302,8 @@ storcli64 /c0/eall/sall show
|
||||
|
||||
## 5. Вариант Б — RDP (сервер в серверной)
|
||||
|
||||
> **Профиль железа: Server Room** — готовый rack/tower **сервер** или сборка на базе Supermicro / Dell / HPE. Потребительские desktop-платы для этого варианта **не рекомендуются** — нет ECC, IPMI, hot-swap, dual PSU.
|
||||
|
||||
### 5.1. Описание
|
||||
|
||||
Сервер располагается в **серверной / шкафу**. На рабочем месте диспетчеров — **клиентский ПК** с 3 мониторами. Оператор подключается к каждой ВМ по **RDP** в полноэкранном режиме на свой монитор.
|
||||
@@ -325,22 +321,49 @@ storcli64 /c0/eall/sall show
|
||||
└──────────────────────┘
|
||||
```
|
||||
|
||||
### 5.3. Требования к оборудованию
|
||||
### 5.3. Требования к оборудованию (профиль Server Room)
|
||||
|
||||
#### Сервер (серверная)
|
||||
|
||||
| Компонент | Рекомендация |
|
||||
|-----------|-------------|
|
||||
| CPU | AMD Ryzen 9 5900X / Intel Core i7-13700 (12+ ядер) |
|
||||
| MB | Серверная плата с PCIe ×8/×16 для RAID-контроллера или Supermicro |
|
||||
| RAM | 64 ГБ |
|
||||
| RAID-контроллер | Broadcom MegaRAID 9560-8i + CacheVault CVPM05 | RAID10, LVM-thin (раздел 3.1) |
|
||||
| SSD | 4× SAS/SATA SSD 960 ГБ – 1,92 ТБ | Enterprise, RAID10 |
|
||||
| GPU | 1× GT 1030 или iGPU — только для консоли хоста |
|
||||
| NIC | 2× Gigabit (Intel I210/I225 предпочтительнее Realtek) |
|
||||
| UPS | Обязателен |
|
||||
| Компонент | Рекомендация | Комментарий |
|
||||
|-----------|-------------|-------------|
|
||||
| **Платформа** | **Dell PowerEdge R740 / R750**, **T640**; **HPE DL380 Gen10**; **Supermicro SuperServer** | Hot-swap, IPMI, проверенная связка с Proxmox |
|
||||
| CPU | Intel Xeon Silver/Gold 4214+ (16+ ядер) или AMD EPYC 7313/7443 | VT-d / AMD-Vi |
|
||||
| RAM | **64–128 ГБ ECC** RDIMM | Обязательно для 24/7 |
|
||||
| RAID | **PERC H730p/H755** (Dell) или **MegaRAID 9560-8i** + CVPM05 | RAID10 + Hot Spare (раздел 3.1, схема B) |
|
||||
| SSD | 4× enterprise SAS/SATA SSD (PM893, DC4800, DC600M) | 6–8 дисков: 4 RAID10 + spare |
|
||||
| GPU | **Не требуется** / ASPEED BMC | Доступ через iDRAC/iLO и RDP |
|
||||
| NIC | **Intel X710 / I350** dual port | Предпочтительнее onboard Realtek |
|
||||
| PSU | **Dual redundant** | Штатно на серверных платформах |
|
||||
| Управление | **iDRAC** (Dell) / **iLO** (HPE) / **IPMI** (Supermicro) | Удалённое вкл./выкл., ISO, мониторинг |
|
||||
| UPS | В стойке / серверной | Обязателен |
|
||||
|
||||
#### Клиентское рабочее место
|
||||
#### Рекомендуемые конфигурации (Server Room)
|
||||
|
||||
**Вариант «готовый сервер» (проще закупка):**
|
||||
|
||||
| Позиция | Модель |
|
||||
|---------|--------|
|
||||
| Сервер | Dell PowerEdge R740 (б/у) |
|
||||
| CPU | 2× Xeon Silver 4214 (24 ядра) |
|
||||
| RAM | 64–128 ГБ ECC RDIMM |
|
||||
| RAID | PERC H730p + CacheVault |
|
||||
| SSD | 4× Samsung PM893 960GB RAID10 + 2 Hot Spare |
|
||||
| UPS | APC Smart-UPS RT 3000VA (стойка) |
|
||||
|
||||
**Вариант «сборка Supermicro»:**
|
||||
|
||||
| Позиция | Модель |
|
||||
|---------|--------|
|
||||
| Платформа | Supermicro SuperServer 6029P / 5019A |
|
||||
| CPU | Intel Xeon Silver 4310 или AMD EPYC 7313 |
|
||||
| RAM | 64 ГБ ECC RDIMM |
|
||||
| RAID | Broadcom MegaRAID 9560-8i + CVPM05 |
|
||||
| SSD | 4× enterprise SSD RAID10 + Hot Spare |
|
||||
|
||||
**Ориентир стоимости:** 250–600 тыс. ₽ (б/у Dell R740 — от ~200 тыс. ₽ + SSD).
|
||||
|
||||
#### Клиентское рабочее место (комната диспетчеров)
|
||||
|
||||
| Компонент | Рекомендация |
|
||||
|-----------|-------------|
|
||||
@@ -371,10 +394,11 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
|
||||
|
||||
| Плюсы | Минусы |
|
||||
|-------|--------|
|
||||
| Сервер в серверной (тише, безопаснее) | Зависимость от сети |
|
||||
| Не нужны 3 GPU и сложный passthrough | Клиентский ПК — дополнительная точка отказа |
|
||||
| Проще железо и поддержка | Задержка ввода (обычно незаметна в LAN) |
|
||||
| Дешевле | При обрыве сети — нет доступа к системам |
|
||||
| Серверное железо: ECC, IPMI, hot-swap, dual PSU | Выше стоимость |
|
||||
| Сервер в серверной (тише, безопаснее) | Зависимость от сети (RDP) |
|
||||
| Не нужны GPU и passthrough — проще внедрение | Клиентский ПК — доп. точка отказа |
|
||||
| RAID10 + Hot Spare из коробки | При обрыве сети — нет доступа к системам |
|
||||
| Удалённое обслуживание через iDRAC/iLO | Оператор работает через RDP, не «как три ПК» |
|
||||
|
||||
---
|
||||
|
||||
@@ -382,14 +406,18 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
|
||||
|
||||
| Критерий | Вариант А (GPU) | Вариант Б (RDP) |
|
||||
|----------|----------------|-----------------|
|
||||
| **Профиль железа** | Dispatch Tower (desktop/workstation) | Server Room (Dell/HPE/Supermicro) |
|
||||
| Расположение сервера | Комната диспетчеров | Серверная |
|
||||
| Сложность внедрения | Высокая | Средняя |
|
||||
| Стоимость железа | Выше (+3 GPU) | Ниже |
|
||||
| Сложность внедрения | **Высокая** (passthrough) | **Средняя** |
|
||||
| Стоимость железа | 150–250 тыс. ₽ (+ 3 GPU) | 250–600+ тыс. ₽ |
|
||||
| Надёжность 24/7 | Средняя (нет ECC/IPMI) | **Высокая** (ECC, dual PSU, hot-swap) |
|
||||
| Удалённое управление | Локально | **iDRAC / iLO / IPMI** |
|
||||
| Надёжность отображения | Не зависит от сети | Зависит от LAN |
|
||||
| Изоляция систем | Полная | Полная |
|
||||
| Опыт оператора | Как 3 отдельных ПК | 3 окна RDP |
|
||||
| Изоляция систем (ВМ) | Полная | Полная |
|
||||
| USB-ключ «Меркурия» | Passthrough | Passthrough |
|
||||
| Хранилище | RAID10 + LVM-thin или ZFS mirror (бюджет) | RAID10 + LVM-thin (раздел 3.1) |
|
||||
| **Рекомендация** | Сервер рядом с мониторами | Сервер в серверной |
|
||||
| Хранилище | ZFS mirror (tower) или MegaRAID | **MegaRAID/PERC RAID10** (раздел 3.1) |
|
||||
| **Рекомендация** | Сервер **рядом** с мониторами | Сервер **в серверной**, бюджет на enterprise-железо |
|
||||
|
||||
---
|
||||
|
||||
@@ -459,13 +487,17 @@ Windows 10 Pro допускает **1 одновременную RDP-сесси
|
||||
|
||||
## 11. Рекомендация по выбору варианта
|
||||
|
||||
| Условие | Вариант |
|
||||
|---------|---------|
|
||||
| Сервер может стоять в комнате диспетчеров | **А** (GPU passthrough) |
|
||||
| Сервер только в серверной | **Б** (RDP) |
|
||||
| Нет опыта с passthrough / ограничен бюджет | **Б** |
|
||||
| Критична минимальная задержка и автономность | **А** |
|
||||
| Не уверены в совместимости железа | Начать с **Б** |
|
||||
| Условие | Вариант | Профиль железа |
|
||||
|---------|---------|----------------|
|
||||
| Сервер **обязан** стоять в комнате диспетчеров | **А** (GPU passthrough) | Dispatch Tower |
|
||||
| Сервер **только** в серверной | **Б** (RDP) | Server Room (Dell / Supermicro) |
|
||||
| Есть бюджет на **enterprise-железо** и серверная | **Б** | Server Room |
|
||||
| Оператору критичен опыт «три отдельных ПК» | **А** | Dispatch Tower |
|
||||
| Нет опыта с GPU passthrough | **Б** | Server Room |
|
||||
| Критична минимальная задержка ввода | **А** | Dispatch Tower |
|
||||
| Нужна эксплуатация 24/7 с ECC и IPMI | **Б** | Server Room |
|
||||
|
||||
> Не рекомендуется: 3 GPU в 1U/2U сервере (Вариант А) или consumer tower в серверной без IPMI (Вариант Б).
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -4,7 +4,7 @@
|
||||
|
||||
| Параметр | Значение |
|
||||
|----------|----------|
|
||||
| Версия | 1.2 |
|
||||
| Версия | 1.3 |
|
||||
| Дата | 09.07.2026 |
|
||||
| Связанный документ | [Техническое задание](TZ-proxmox-konsolidaciya.md) |
|
||||
|
||||
@@ -20,6 +20,7 @@
|
||||
- [3.3. Схема «A» — RAID1 + RAID10 (раздельно)](#33-схема-a--raid1--raid10-раздельно)
|
||||
- [3.4. Схема «B» — один RAID10 на всё (рекомендуется)](#34-схема-b--один-raid10-на-всё-рекомендуется)
|
||||
- [3.5. Установка Proxmox VE](#35-установка-proxmox-ve)
|
||||
- [3.6. Мониторинг RAID](#36-мониторинг-raid)
|
||||
4. [Фаза 2 — Настройка IOMMU и VFIO (Вариант А)](#4-фаза-2--настройка-iommu-и-vfio-вариант-а)
|
||||
5. [Фаза 3 — Создание виртуальных машин](#5-фаза-3--создание-виртуальных-машин)
|
||||
6. [Фаза 4 — Установка Windows 10](#6-фаза-4--установка-windows-10)
|
||||
@@ -328,17 +329,32 @@ storcli64 /c0 add vd r10 drives=0:0,0:1,0:2,0:3,0:4,0:5,0:6,0:7 writepolicy=wb r
|
||||
|
||||
### 3.5. Установка Proxmox VE
|
||||
|
||||
#### Общие шаги (обе схемы)
|
||||
#### Предварительно: создание VD в MegaRAID
|
||||
|
||||
Перед установкой Proxmox создайте виртуальный диск (VD) в BIOS/UEFI контроллера MegaRAID или PERC (см. §3.2–3.4). Политики Write Back и Read Ahead — в §3.1.
|
||||
|
||||
#### Установка на аппаратный RAID (профиль Server Room, Вариант Б)
|
||||
|
||||
1. Загрузиться с ISO Proxmox VE 8.x.
|
||||
2. На экране выбора диска выбрать **VD0** (единственный или первый виртуальный диск MegaRAID).
|
||||
3. **Тип файловой системы:** **ext4** (или **xfs**).
|
||||
4. **Не выбирать ZFS** при аппаратном RAID.
|
||||
5. Proxmox автоматически создаст **LVM-thin** (`local-lvm`) для дисков виртуальных машин.
|
||||
2. В инсталляторе выбрать созданный **VD** (MegaRAID/PERC).
|
||||
3. **Filesystem:** **ext4** (или **xfs** — допустимая альтернатива).
|
||||
4. **Storage:** **LVM-thin** — Proxmox автоматически создаст `local-lvm` для дисков ВМ.
|
||||
5. **Не выбирать ZFS** при аппаратном RAID.
|
||||
6. Задать hostname `pve-scada`, IP `192.168.10.10/24`, gateway, DNS.
|
||||
7. Завершить установку, перезагрузить.
|
||||
|
||||
#### Дополнительно для схемы A: подключение VD1 (RAID10) под БД
|
||||
#### Установка на ZFS mirror (профиль Dispatch Tower, Вариант А)
|
||||
|
||||
Если tower-сборка **без MegaRAID** (2× NVMe в AHCI):
|
||||
|
||||
1. Загрузиться с ISO Proxmox VE 8.x.
|
||||
2. Target disk: **ZFS (RAID1)** — выбрать 2 NVMe.
|
||||
3. Задать hostname, IP, gateway, DNS.
|
||||
4. Завершить установку.
|
||||
|
||||
> ZFS — только для tower без аппаратного RAID. На Dell PERC / MegaRAID — **ext4 + LVM-thin**.
|
||||
|
||||
#### Дополнительно для схемы разбивки A: подключение VD1 (RAID10) под БД
|
||||
|
||||
Выполнить **после** установки Proxmox, если выбрана схема A:
|
||||
|
||||
@@ -404,6 +420,109 @@ fio --name=db-test --directory=/mnt/pve/data-db --rw=randwrite --bs=4k \
|
||||
|
||||
---
|
||||
|
||||
### 3.6. Мониторинг RAID
|
||||
|
||||
> Применимо для **аппаратного RAID** (MegaRAID / PERC). Для ZFS mirror на tower — `zpool status`, `zpool scrub`.
|
||||
|
||||
#### Установка утилит управления
|
||||
|
||||
**Broadcom / LSI MegaRAID (Supermicro, большинство сборок):**
|
||||
|
||||
```bash
|
||||
# StorCLI — скачать с сайта Broadcom, установить .deb
|
||||
# https://www.broadcom.com/support/download-search
|
||||
dpkg -i storcli_*.deb
|
||||
|
||||
# Проверка
|
||||
storcli64 show
|
||||
```
|
||||
|
||||
**Dell PERC:**
|
||||
|
||||
```bash
|
||||
# perccli — аналог storcli для Dell
|
||||
# https://www.dell.com/support — PERC H730/H755 CLI Tools
|
||||
dpkg -i perccli_*.deb
|
||||
perccli64 /c0 show
|
||||
```
|
||||
|
||||
**Устаревшие контроллеры:**
|
||||
|
||||
```bash
|
||||
apt install megaclisas-status # MegaCLI, LSI 9271 и старше
|
||||
```
|
||||
|
||||
#### Ежедневная проверка состояния
|
||||
|
||||
```bash
|
||||
# Общий статус контроллера
|
||||
storcli64 /c0 show
|
||||
|
||||
# Виртуальные диски (массивы)
|
||||
storcli64 /c0/vall show
|
||||
|
||||
# Физические диски
|
||||
storcli64 /c0/eall/sall show
|
||||
|
||||
# CacheVault / BBU
|
||||
storcli64 /c0/cv show
|
||||
storcli64 /c0/bbu show
|
||||
```
|
||||
|
||||
**Ожидаемые значения:**
|
||||
|
||||
| Параметр | Норма |
|
||||
|----------|-------|
|
||||
| Controller Status | Optimal |
|
||||
| VD State | Optimal |
|
||||
| PD State | Online |
|
||||
| CacheVault / BBU | Optimal, Charged |
|
||||
| Write Policy | WriteBack (WB) |
|
||||
|
||||
#### События, требующие реакции
|
||||
|
||||
| Событие | Действие |
|
||||
|---------|----------|
|
||||
| **Degraded** | Проверить hot spare / rebuild; не выключать сервер |
|
||||
| **Rebuild in progress** | Снизить нагрузку; дождаться завершения |
|
||||
| **Predictive Failure** | Заменить диск; hot spare подхватит автоматически |
|
||||
| **CacheVault Failed / BBU Failed** | **Срочно:** Write Policy → Write Through; заменить CVPM/BBU |
|
||||
| **Foreign Config** | Импортировать или очистить конфигурацию в MegaRAID BIOS |
|
||||
|
||||
#### Оповещения (рекомендуется настроить)
|
||||
|
||||
- degraded array;
|
||||
- predictive failure диска;
|
||||
- CacheVault / BBU charge low или failed;
|
||||
- rebuild completed / failed.
|
||||
|
||||
**Варианты реализации:**
|
||||
|
||||
1. **Cron + email** — скрипт проверки `storcli64 /c0 show` и парсинг статуса.
|
||||
2. **Zabbix / Prometheus** — SNMP или script check для MegaRAID.
|
||||
3. **iDRAC / iLO** (Dell/HPE) — встроенные алерты по дискам и RAID.
|
||||
|
||||
Пример cron-скрипта (`/etc/cron.daily/raid-check`):
|
||||
|
||||
```bash
|
||||
#!/bin/bash
|
||||
STATUS=$(storcli64 /c0 show | grep -i "Status")
|
||||
if echo "$STATUS" | grep -ivq "Optimal"; then
|
||||
echo "RAID ALERT on $(hostname): $STATUS" | mail -s "RAID degraded" admin@example.com
|
||||
fi
|
||||
```
|
||||
|
||||
#### Dell PERC — эквивалентные команды
|
||||
|
||||
```bash
|
||||
perccli64 /c0 show
|
||||
perccli64 /c0/vall show
|
||||
perccli64 /c0/eall/sall show
|
||||
perccli64 /c0/cv show
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 4. Фаза 2 — Настройка IOMMU и VFIO (Вариант А)
|
||||
|
||||
> Для **Варианта Б (RDP)** этот раздел можно пропустить, достаточно базовой установки Proxmox.
|
||||
|
||||
Reference in New Issue
Block a user