Avago megaraid sas 9460 8i настройка bios

Для настройки BIOS контроллера Avago MegaRAID SAS 9460-8i необходимо подключить сервер и войти в BIOS во время загрузки системы. Обычно это можно сделать нажав клавишу «Ctrl+R» после инициализации системы, что откроет интерфейс конфигурации MegaRAID.

В меню вы сможете выбрать необходимые параметры, такие как создание массивов и настройка RAID. Обратите внимание на правильный выбор уровня RAID в зависимости от ваших требований к производительности и надежности, а также на настройку кеширования и других опций, которые могут оптимизировать работу дисковой подсистемы.

Avago MegaRAID 9460-8i — 12Gb/s SAS/SATA/NVMe контроллер

Мы долго ждали и, наконец, получили один из первых NVMe RAID контроллеров на аппаратной основе. Технология Tri-Mode SerDes от Broadcom позволяет использовать устройства NVMe, SAS и SATA в одном слоте.

Дополнительно можно подключить CacheVault CVPM05 для защиты данных в случае неожиданных отключений питания.

MegaRAID 9460-8i
Руководство по быстрой установке
Низкопрофильная планка — LP bracket

Стоит отметить, что производитель гарантирует наработку на отказ более 3 миллионов часов при температуре 40 °C.

В описании заявлена поддержка 24 устройства NVMe. Давайте развеем этот миф, прямое подключение возможно только двух NVMe дисков.

Ссылки

Ключевые функции

Возможность подключения до 240 устройств SAS/SATA или 24 NVMe устройства. (Максимально поддерживаемые устройства PCIe (NVMe) DirectAttach – два x4 или четыре x2)
Идеально подходит для серверов в стойках с низким профилем и боковыми SAS-разъёмами.
Обеспечивает поддержку критически важных приложений с высокой пропускной способностью через интерфейс PCIe 3.1.
Поддержка RAID уровней 0, 1, 5, 6, 10, 50 и 60.
Предоставляется опция CacheVault CVPM05.

Характеристики

Общие сведения
Модель: MegaRAID 9460-8i
Артикул производителя: 05-50011-02
Опция: CacheVault CVPM05 05-50039-00 (Модуль питания CacheVault (CVPM05) с 24-дюймовым удаленным удлинителем)
Кэш-память: 2 ГБ 2133 МГц DDR4 SDRAM
Защита кэша: CacheVault CVPM05
Совместимые устройства: SAS/SATA: 240, NVMe: 24
Максимальное количество устройств PCIe (NVMe) с прямым подключением: два x4, четыре x2
Тип шины хоста: x8 lane PCI Express 3.1
Процессор ввода-вывода / Контроллер SAS: SAS3508 с двумя ядрами RAID-on-Chip (ROC)
Внутренние разъемы: 2 Mini-SAS HD x4 SFF-8643
Внутренние порты: 8
Программное обеспечение управления: LSI Storage Authority (LSA), StorCLI (интерфейс командной строки), HII (инфраструктура интерфейса человека UEFI)
Температурный диапазон работы: от 0 °C до 55 °C
Рабочая влажность: от 20 до 80 %
Воздушный поток: 250 LFM при 55°C
Энергопотребление: 14,16 Вт
Операционные системы: Microsoft Windows, VMware vSphere/ESXi, Red Hat Enterprise Linux, SuSE Linux, Ubuntu Linux, Citrix XenServer, CentOS Linux, Debian Linux, Oracle Enterprise Linux, Fedora, FreeBSD
Габариты: Низкопрофильный формат 155,65 x 68,90 мм
Гарантия: 3 года
Наработка на отказ (MTBF): более 3000000 часов при 40°C
Уровни RAID: 0, 1, 5 и 6
RAID массивы: 10, 50 и 60
Режим JBOD
Онлайн расширение ёмкости (OCE)
Онлайн миграция уровней RAID (RLM)
Автоматическое восстановление после потери питания системы во время перестройки массива (RLM)
Многопутевое управление с одним контроллером
Балансировка нагрузки
Настраиваемый размер полоски до 1 МБ (64 КБ только для 9440-8i)
Быстрая инициализация для оперативной настройки массива
Проверка на согласованность для обеспечения целостности данных в фоновом режиме
Поддержка SSD с технологией SSD Guard™
Патрульное чтение для сканирования и восстановления медиа
Поддержка виртуальных дисков (32 для 9440)
Конфигурация, соответствующая DDF, на диске (COD)
Поддержка S.M.A.R.T
Глобальный и выделенный резервный горячий диск с возможностью возврата резервного горячего диска
Автоматическое восстановление
Привязанность к корпусу
Аварийный SATA резервный горячий диск для массивов SAS
SES (внутри канала)
SGPIO (внешний канал)

Настройка RAID массива

Я обладаю сервером Supermicro SYS-1029P-WTRT:

Утилита управления RAID контроллером находится в BIOS в разделе Advanced.

При запуске утилиты открываются текущие параметры, возможные действия и статус RAID контроллера. Статус контроллера — Optimal, батарея установлена, подключено два жестких диска и существует один массив. Опция RAID6 активна, однако операции с виртуальными и физическими дисками не выполняются.

В этом разделе доступны настройки контроллера, а Виртуальных и физических накопителей, аккумуляторов.

Имеющиеся в наличии физические накопители.

Обозначения жестких дисков выглядят необычно. Я так и не разобрался, почему один диск подключен к задней панели, а другой — нет.

Из двух NVMe дисков создан RAID1 массив. Состояние Optimal.

Есть возможность узнать состояние, ёмкость и температуру аккумулятора.

Доступны дополнительные возможности. Например, существует опция вручную инициировать процесс зарядки аккумулятора.

Если покопаться в настройках, то можно найти всё необходимое для управления массивами.

RAID-массивы на NVMe

В этой статье мы рассмотрим различные подходы к созданию RAID-массивов и продемонстрируем один из первых аппаратных RAID-контроллеров, совместимых с NVMe.

Все разнообразие применений технологии RAID встречается в серверном сегменте. В клиентском сегменте чаще всего используется исключительно программный RAID0 или RAID1 на два диска.

Данная статья представляет собой сжатое изучение технологии RAID, а Включает в себя пошаговое руководство по формированию RAID-массивов с применением трех различных инструментов, наряду с сопоставлением эффективности работы виртуальных дисков при использовании каждого из этих методов.

Что такое RAID?

Википедия предоставляет подробное описание технологии RAID:

RAID (от англ. Redundant Array of Independent Disks — избыточный массив независимых дисков) представляет собой метод виртуализации данных, позволяющий комбинировать несколько физических жестких дисков в единую логическую единицу с целью улучшения надежности и производительности системы.

Конфигурация дисковых массивов и используемые при этом технологии зависят от выбранного уровня RAID (RAID level). Уровни RAID стандартизированы в спецификации Common RAID Disk Data Format. Она описывает множество уровней RAID, однако самыми распространенными принято считать RAID0, RAID1, RAID5 и RAID6.

RAID0, известный также как Stripes, представляет собой уровень RAID, который соединяет два или больше физических жестких дисков, создавая один логический диск. Вместимость этого логического диска соответствует суммарной емкости всех физических дисков в массиве. На данном уровне RAID нет запасных копий, и если один из дисков выйдет из строя, это может повлечь за собой утрату всех данных на виртуальном диске.

Уровень RAID1, или Mirror, создает идентичные копии данных на двух и более дисках. Объем виртуального диска при этом не превышает объема минимального из физических дисков. Данные на виртуальном диске RAID1 будут доступны, пока хотя бы один физический диск из массива работает. Использование RAID1 добавляет избыточности, но является достаточно дорогим решением, так как в массивах из двух и более дисков доступен объем только одного.

RAID5 представляет собой решение для проблемы высокой стоимости хранения данных. Для формирования массива данного уровня требуется минимум три жестких диска, что обеспечивает его устойчивость к неисправностям одного из них. Данные в RAID5 организуются в блоки, сопровождаемые контрольными суммами. При этом нет четкого разграничения между дисками, на которых расположены данные, и дисками, выполняющими функцию хранения контрольных сумм. Контрольные суммы в RAID5 создаются с помощью операции XOR, выполненной на N-1 блоках, каждый из которых берется с отдельного диска.

Хотя системы RAID обеспечивают избыточность и резервирование данных, они не являются оптимальным решением для хранения резервных копий.

Изучив различные типы RAID-массивов, можно перейти к устройствам и программному обеспечению, которые позволяют формировать и использовать дисковые массивы.

Виды RAID-контроллеров

Существует два способа создать и использовать RAID-массивы: аппаратный и программный. Мы рассмотрим следующие решения:

Программный RAID на базе Linux.
Виртуальный RAID Intel® на процессоре.
LSI MegaRAID 9460-8i.

Linux Software RAID

Программные RAID-массивы в рамках операционной системы Linux являются довольно популярным вариантом как для рабочих станций, так и для серверов. Для организации такого массива потребуется лишь программа mdadm и несколько блочных накопителей. Главное условие, которое выдвигает программный RAID на Linux для дисков — они должны быть блочными устройствами, доступными для системы.

Отсутствие затрат на оборудование и программное обеспечение — очевидное преимущество данного способа. Linux Software RAID организует дисковые массивы ценой процессорного времени. Список поддерживаемых уровней RAID и состояние текущих дисковых массивов можно посмотреть в файле mdstat, который находится в корне procfs:

Подключение соответствующего модуля ядра позволяет добавлять поддержку различных уровней RAID, например:

Все действия с RAID-массивами выполняются с помощью утилиты командной строки mdadm. Создание дискового массива осуществляется одной командой:

mdadm —create —verbose /dev/md0 —level=1 —raid-devices=2 /dev/nvme1n1 /dev/nvme2n1

После выполнения этой команды в системе появится блочное устройство /dev/md0, которое представляет из тебя виртуальный диск.

Intel® Virtual RAID On CPU

Стандартный аппаратный ключ Intel® VROC представляет собой технологию Intel® Virtual RAID On CPU (VROC), позволяющую формировать RAID-массивы с использованием чипсетов Intel®. Эта технология, как правило, доступна для материнских плат, совместимых с процессорами Intel® Xeon® Scalable. По умолчанию функционал VROC отключен. Для его активации требуется установка специального аппаратного лицензионного ключа VROC.

Стандартная лицензия VROC позволяет создавать дисковые массивы с 0, 1 и 10 уровнями RAID. Премиальная версия расширяет этот список поддержкой RAID5.

Современные материнские платы используют технологию Intel® VROC в связке с Intel® Volume Management Device (VMD), что позволяет производить горячую замену NVMe накопителей.

Стандартная лицензия Intel® VROC позволяет настраивать массивы через программу настройки, запускаемую при загрузке сервера. В разделе Advanced добавляется опция Intel® Virtual RAID on CPU, где пользователи могут произвести настройку дисковых массивов.

Создание массива RAID1 на двух накопителях Технология Intel® VROC имеет свои «козыри в рукаве». Дисковые массивы, собранные с помощью VROC, совместимы с Linux Software RAID. Это означает, что состояние массивов можно отслеживать в /proc/mdstat, а администрировать — через mdadm. Эта «особенность» официально поддерживается Intel. После сборки RAID1 в Setup Utility можно наблюдать синхронизацию накопителей в ОС:

Следует отметить, что с помощью mdadm невозможно создавать массивы на VROC (такие массивы будут являться программным RAID для Linux), однако в них можно заменять диски и dismantle массивы.

LSI MegaRAID 9460-8i

Контроллер LSI MegaRAID 9460-8i представляет собой самостоятельное аппаратное решение для организации RAID. Он функционирует исключительно с накопителями, которые подключены непосредственно к нему. Этот RAID-контроллер может поддерживать до 24 накопителей с интерфейсом NVMe. Поддержка NVMe делает этот контроллер особенно выдающимся на фоне множества других аналогичных устройств.

Главное меню аппаратного контроллера При использовании режима UEFI настройки контроллера интегрируются в Setup Utility. В сравнении с VROC меню аппаратного контроллера выглядит значительно сложнее.

Настройка RAID1 на двух жестких дисках Объяснение процесса конфигурации дисковых массивов на аппаратном контроллере является сложной задачей и может стать основой для отдельного материала. В данном случае мы сосредоточимся исключительно на создании RAID0 и RAID1 с настройками по умолчанию.

Жесткие диски, подключенные к аппаратному контроллеру, не отображаются в операционной системе. Вместо этого контроллер «скрывает» все RAID-массивы, представляя их как SAS-накопители. Накопители, которые подключены к контроллеру, но не включены в RAID-массив, будут недоступны для ОС.

Несмотря на маскировку под SAS-накопители, массивы с NVMe будут работать на скорости PCIe. Однако такая особенность позволяет загружаться с NVMe в Legacy.

Тестовый стенд

Каждый метод создания дисковых массивов обладает своими достоинствами и недостатками. Однако существует ли различие в производительности при использовании дисковых массивов?

Для достижения максимальной справедливости все тесты будут проведены на одном и том же сервере. Его конфигурация:

Процессор Intel® Xeon® 6240;
Память DDR4-2666 объемом 12x 16 ГБ;
Контроллер LSI MegaRAID 9460-8i;
Аппаратный ключ Intel® VROC Standard;
SSD Intel® DC P4510 U.2 на 2 ТБ;
Накопитель Samsung 970 EVO Plus M.2 на 500 ГБ.

Тестирование

Сначала проверим задержки при взаимодействии с диском. Тест будет выполняться в одном потоке с размером блока 4 КБ. Продолжительность каждого теста составляет 5 минут. Перед началом для выбранного блочного устройства устанавливается параметр none в качестве планировщика I/O. Команда fio будет выглядеть следующим образом:

fio —name=test —blocksize=4k —direct=1 —buffered=0 —ioengine=libaio —iodepth=1 —loops=1000 —runtime=300 —rw= —filename=

Из полученных данных fio мы берем clat 99.00%. Результаты представлены в таблице ниже.

Случайное чтение, мкс Случайная запись, мкс

Диск	112	78
Linux SW RAID, RAID0	113	45
VROC, RAID0	112	46
LSI, RAID0	122	63
Linux SW RAID, RAID1	113	48
VROC, RAID1	113	45
LSI, RAID1	128	89

Кроме задержек при получении доступа к данным, важно проанализировать эффективность виртуальных накопителей и сопоставить их с производительностью физического диска. Команда для запуска fio:

fio —name=test —blocksize=4k —direct=1 —buffered=0 —ioengine=libaio —loops=1000 —runtime=300 —iodepth= —rw= —filename=

Производительность измеряется в количестве операций ввода-вывода. Результаты представлены в таблице ниже.

Чтение в случайном порядке 1 поток, IOPS Запись в случайном порядке 1 поток, IOPS Чтение в случайном порядке 128 потоков, IOPS Запись в случайном порядке 128 потоков, IOPS

Диск	11300	40700	453000	105000
Linux SW RAID, RAID0	11200	52000	429000	232000
VROC, RAID0	11200	52300	441000	162000
LSI, RAID0	10900	44200	311000	160000
Linux SW RAID, RAID1	10000	48600	395000	147000
VROC, RAID1	10000	54400	378000	244000
LSI, RAID1	11000	34300	229000	248000

Очевидно, что применение аппаратного контроллера приводит к увеличению задержек и снижению производительности по сравнению с программными альтернативами.

RAID-массивы на NVMe

В этой статье мы обсудим различные методы создания RAID-массивов, а также представим один из ранних аппаратных RAID-контроллеров с поддержкой NVMe. Технология RAID находит широкое применение в серверном сегменте. В клиентских системах наиболее распространены программные RAID0 и RAID1, обычно на двух дисках. В материале будет представлен краткий обзор технологии RAID, а также небольшая инструкция о […]

В данной статье мы расскажем про разные способы организации RAID-массивов, а также покажем один из первых аппаратных RAID-контроллеров с поддержкой NVMe.

Технология RAID находит свое широкое применение в сфере серверов. В отличие от этого, в клиентских системах обычно применяется только программный RAID0 или RAID1 на двух дисках.

Данная статья представляет собой краткий обзор технологии RAID, а также пошаговую инструкцию по созданию RAID-массивов с использованием трех различных инструментов и анализ производительности виртуальных дисков при каждом из методов.

Что такое RAID?

Википедия дает исчерпывающее определение технологии RAID:

RAID (от англ. Redundant Array of Independent Disks — избыточный массив независимых дисков) представляет собой технологию виртуализации данных, позволяющую объединять несколько физических жестких дисков в единый логический модуль, что способствует увеличению как отказоустойчивости, так и производительности.

RAID0, также известный как Stripes, представляет собой уровень RAID, который объединяет два или более физических диска в единый логический диск. Объем логического диска равен сумме объемов всех физических дисков в массиве. На данном уровне RAID отсутствует избыточность, и выход из строя одного из дисков может привести к потере всех данных на виртуальном диске.

RAID1, или Mirror, создает дублированные копии данных на двух или более дисках. Объем виртуального диска не может превышать объем наименее емкого физического диска. Данные на виртуальном диске RAID1 останутся доступными, пока хотя бы один из физических дисков в массиве функционирует. Использование RAID1 обеспечивает избыточность, но представляет собой дорогостоящее решение, так как в массивах из двух и более дисков доступный объем будет равен объему только одного из них.

Уровень RAID5 решает проблему дороговизны. Для создания массива с уровнем RAID5 необходимо как минимум 3 диска, при этом массив устойчив к выходу из строя одного диска. Данные в RAID5 хранятся блоками с контрольными суммами. Нет строгого деления на диски с данными и диски с контрольными суммами. Контрольные суммы в RAID5 — это результат операции XOR, примененной к N-1 блокам, каждый из которых взят со своего диска.

Несмотря на то что RAID-массивы обеспечивают избыточность и возможность резервирования, они не являются наиболее подходящими для хранения резервных копий.

После краткого экскурса по видам RAID-массивов можно переходить к устройствам и программам, которые позволяют собирать и использовать дисковые массивы.

Виды RAID-контроллеров

Существует два метода для создания и эксплуатации RAID-массивов: аппаратный и программный. Мы изучим следующие варианты:

Linux Software RAID.
Intel® Virtual RAID On CPU.
LSI MegaRAID 9460-8i.

Стоит отметить, что решение Intel® функционирует на базе чипсета, что порождает вопрос о его классификации: является ли оно аппаратным или программным. Например, гипервизор VMWare ESXi считает VROC программным и не предоставляет официальной поддержки.