Знакомство с сервером Hiper Server R3 — Advanced

Бренд Hiper был представлен на локальном рынке в 2010 году с разнообразным ассортиментом ИТ-оборудования, включая ноутбуки, компактные ПК, моноблоки и периферию. Недавно компания расширила свой ассортимент, добавив в него серверы под тем же брендом. На момент подготовки статьи на официальном сайте было представлено пятнадцать моделей серверов для установки в стойку и одна модель в напольном исполнении. Компания предлагает как готовые серверные решения, созданные по требованию заказчика, так и возможность формирования продукта на базе платформы Hiper через дистрибьюторов и партнеров.

В этой статье мы рассмотрим Hiper Server R3 — Advanced. За этим названием скрываются три устройства формата 2U, отличающиеся только конфигурацией системы хранения данных. На тестирование была представлена модель R3-T223225-13 с возможностью установки 25+2 накопителей формата 2,5".

Сервер был доставлен в прочной картонной коробке больших размеров — около 70×30×110 см. Упаковка была обеспечена толстыми вставками из вспененного пенопропилена для надежной защиты устройства. В комплекте также были кабели питания, винты для крепления дисков и крепления для установки в стойку. Не было документации, что типично для тестовых образцов.

Установка в стойку была проста благодаря особым креплениям с защелками и специальным замкам. Рельсы оснащены блоками подшипников для плавного движения. Сервер можно полностью выдвинуть для обслуживания. Дополнительные защелки-блокираторы обеспечивают фиксацию конструкции.

На сайте производителя доступны технические характеристики, основные драйверы для ОС Windows и краткая документация на русском языке. Производитель не ограничивает использование стандартных комплектующих.

Стандартная гарантия на оборудование составляет три года, но предусмотрены сервисные опции, включая расширение гарантии и оперативную замену компонентов.

Сервер обладает стандартными размерами формата 2U для установки в 19-дюймовую серверную стойку. Его глубина составляет 82 см, что требует использования шкафа или стойки с глубиной не менее 90-100 см.

Оборудованию для установки в стойку нет смысла выделяться визуальным дизайном. Здесь более важны надежность, удобство обслуживания и другие более практические критерии.

Лицевая панель сервера включает 25 отсеков для накопителей формата 2,5 дюйма. Эта конфигурация пользуется наибольшей популярностью среди пользователей, нуждающихся в компактном формате с высокой емкостью и скоростью локального хранилища данных.

Для размещения фронтальных кнопок, светодиодов и портов используются выступающие слева и справа «ушки». На левом ушке расположены порт VGA и два порта USB 3.0, а на правом — кнопки питания и ID (используется для перезапуска BMC), четыре светодиодных индикатора (общее состояние, состояние памяти, состояние вентиляторов, активность и статус сетевого интерфейса OCP) и Mini-USB, подписанный «LCD для подключения системы мониторинга» (производитель не предоставил о нем информацию). Здесь также находятся отверстия для винтов крепления сервера к стойке, скрытые подпружиненными крышками.

Справа внизу под дисками предусмотрен выдвижной ярлык для размещения информации о сервере, но информацию на него наносить придется покупателю.

Накопители в основные отсеки устанавливаются через специальные салазки, изготовленные из металла и пластика. Диск на них закрепляется четырьмя винтами. На салазках предусмотрен вывод двух светодиодных индикаторов состояния дисков. Стоит отметить отсутствие дополнительной защиты от случайного открытия — для этой операции достаточно просто нажать кнопку в нижней части слота.

На задней панели расположены горизонтальные слоты для плат расширения: шесть полной высоты и два половинной. Подробности об их использовании будут приведены ниже.

Справа внизу находится слот OCP, занятый в нашем случае сетевой картой с двумя портами SFP28, поддерживающими скорости 10/25 Гбит/с. Здесь же расположены сетевой порт IPMI, выход VGA, последовательный порт и два порта USB 3.0. Также присутствуют кнопка-индикатор ID и скрытая кнопка сброса BMC/NMI.

Слева вверху установлены два дополнительных отсека для накопителей формата 2,5″ с интерфейсом SATA. Под ними расположены два блока питания с поддержкой резервирования и горячей замены.

Для доступа к внутренностям сервера на верхней крышке предусмотрен специальный замок с дополнительной защелкой. На обратной стороне крышки расположены наклейки с кратким описанием элементов системы и последовательности различных операций обслуживания, таких как замена вентиляторов. Однако вся информация представлена только на китайском языке. Также стоит отметить наличие датчика вскрытия корпуса. Для доступа к портам на фронтальном бекплейне можно снять вторую часть верхней панели.

Сама конструкция сервера традиционна. После дисковых отсеков идет блок охлаждения из четырех вентиляторов и материнская плата с картами расширения и блоки питания.

Из 25 фронтальных отсеков последние восемь поддерживают интерфейсы SATA/SAS/NVMe, тогда как остальные — только SATA/SAS. Подключение U.2/NVMe осуществляется индивидуальными кабелями для обеспечения максимальной производительности, что требует 4×8=32 линии PCIe от процессоров или контроллеров. Остальные конфигурации работают через мультиплексор и подключаются к контроллеру через три стандартных порта Mini SAS HD (SFF-8643).

Система охлаждения продумана очень хорошо: четыре вентилятора размером 80×38 мм обеспечивают циркуляцию воздуха через весь корпус, блокируя все крупные щели для оптимальной вентиляции. Вентиляторы модели DYTB0838B2GP311 от известного бренда AVC подключаются к материнской плате через 4-проводной интерфейс, при этом максимальный ток составляет 4,5 А.

На процессорах установлены лишь радиаторы, и хотя они относительно небольшие, специальные направляющие воздушных потоков обеспечивают оптимальный температурный режим.

Для подключения плат расширения предусмотрены три отсека. В первых двух можно установить по три полноразмерные карты, а в третьем — две карты половинной высоты. Конструкция корпуса позволяет размещать видеокарты длиной до 30 см.

В целом конструкция впечатляет качеством изготовления, продуманностью и широкими возможностями конфигурации.

По информации из IPMI, сервер собран на базе платформы TTY TU628V2 и оснащен материнской платой T2DM. Версии BIOS и BMC датируются 2022 годом, обновлений в сети найти не удалось. Материнская плата и корпус разрабатывались совместно, поэтому их стоит рассматривать как единое целое, а технические характеристики описывать вместе.

Сервер оснащен двумя сокетами FCLGA4189 для процессоров и поддерживает процессоры Intel Xeon Scalable третьего поколения с TDP до 270 Вт. В нашем случае были установлены два процессора Intel Xeon Gold 6348: 28 ядер, 56 потоков, базовая частота 2,6 ГГц, максимальная Turbo-частота 3,5 ГГц, TDP 235 Вт.

На материнской плате предусмотрено 32 слота для оперативной памяти DDR4-3200 с поддержкой ECC, что позволяет установить до 8 ТБ ОЗУ. В тестируемой конфигурации было установлено восемь модулей оперативной памяти Samsung M393A2K43DB3-CWE по 16 ГБ каждый, что дало общий объем 128 ГБ.

Базовая платформа сервера не оснащена сетевыми контроллерами, кроме BMC. В нашем случае для подключения к сети в слот OCP 3.0 был установлен контроллер Mellanox Technologies ConnectX-4 Lx (PCIe 3.0 x8) с двумя портами SFP28. Эти порты позволяют при установке соответствующих трансиверов использовать скорости 1/10/25 Гбит/с.

На материнской плате установлены два слота M.2 2280, в которые вставлены NVMe-накопители Kimtigo HNSW22B044Z емкостью 512 ГБ каждый. Эти слоты работают в режиме PCIe 3.0 x2 и подключены к чипсету, что может немного ограничить производительность. Однако, если рассматривать эти накопители как системные диски, то данное ограничение не будет играть существенной роли.

Во фронтальных отсеках размещены два U.2-диска Intel D5-P5530 SSDPF2KX960HZ емкостью 960 ГБ каждый. Они подключены по PCIe 4.0 x4 к первому процессору, что обеспечивает максимальную скорость передачи данных.

Для тестирования был установлен один SATA SSD в отсек на задней панели сервера с целью установки операционной системы. Кроме того, в качестве альтернативы для системного диска можно использовать внутренний порт USB 3.0.

Для питания сервера используются два блока Great Wall GW-CRPS1300D с мощностью 1300 Вт каждый, что явно указано в их названии. Возможно также приобретение моделей с другой мощностью до 2000 Вт для данной конфигурации сервера.

В тестовом сервере были дополнительно установлены два контроллера, которые, однако, не использовались в процессе тестирования. Это сетевой контроллер GRT F902T-V4.0 с двумя гигабитными портами для медных кабелей, основанный на чипе Intel i350, а также RAID-контроллер Broadcom/LSI MegaRAID 9361-8i с модулем защиты кеша, предназначенный для SAS/SATA-дисков в фронтальных отсеках.

На задней панели сервера расположены три «блока ввода-вывода», предназначенные для различных конфигураций. В нашем случае мы выбрали конфигурацию, ориентированную в основном на использование плат расширения. Однако есть возможность опционально заменить эти блоки на модули для накопителей. В первом и втором блоке предусмотрено использование плат расширения полной высоты.

В каждом блоке имеется один слот формата x16 и два слота формата x8. Каждый из этих блоков подключен к своему процессору. Благодаря особенностям конструкции корпуса, возможно использование даже профессиональных видеокарт. Однако для этого потребуется докупить специальные кабели питания, так как производитель не поставляет их даже как опцию, что кажется странным.

В нашем случае третий блок оставался неиспользованным, однако возможно приобретение райзера для него, что позволит добавить еще две карты расширения половинной высоты. Однако информацию о том, насколько гибко и оперативно можно выбирать конфигурацию заказываемого сервера у поставщика, выяснить не удалось.

Установка сервера в стойку прошла без проблем. Важно учитывать лишь его относительно большую глубину корпуса. После этого подключаем сетевые интерфейсы и питание, и приступаем к настройке. Для этой цели обычно используются встроенные инструменты IPMI.

Веб-интерфейс IPMI доступен на английском и китайском языках. Производитель материнской платы просто воспользовался готовым решением от American Megatrends Inc, которое нам уже встречалось в других продуктах.

На главной странице, Dashboard, содержится информация о сервере, включая версии прошивок, MAC- и IP-адреса, общий статус датчиков и журнал событий. Также доступны быстрые ссылки на консоль.

В разделе инвентаризации можно получить подробности о процессорах, модулях оперативной памяти, накопителях, платах расширения, вентиляторах и блоках питания. В случае, когда накопители U.2 подключены к шине процессора, выводится информация о них и о бекплейне. Для плат расширения также доступны многочисленные данные, включая параметры шины подключения, производителя, MAC-адреса и тип портов для сетевых карт. На Full HD-мониторе может потребоваться горизонтальная прокрутка, чтобы увидеть всю информацию. Далее предоставляется доступ к разделу FRU Information, где указываются данные о платформе.

Кроме того, предусмотрен традиционный раздел с сенсорами, в котором отображаются статус присутствия, температуры, вентиляторы, напряжения, токи и т. д. Для контроля работы сервера также доступны журналы событий, в которых записываются системные события и обращения к IPMI.

Среди настроек BMC наиболее часто используемыми могут быть управление аккаунтами пользователей, параметры сетевого подключения и сервисов, настройка даты и времени, отправка уведомлений и управление виртуальными носителями. Также может быть интересен доступ к RAID/HBA-контроллерам, включая внешние, для настройки дисковой подсистемы.

В разделе Remote Control находятся ссылки для управления питанием, включения индикации ID и доступа к удаленному управлению через рабочий стол сервера или консоль. Для KVM доступны варианты работы через HTML5 в браузере и клиент на Java. Оба варианта обеспечивают широкий спектр возможностей, включая управление клавиатурой и мышью, запись с экрана, монтирование образа и другие.

В разделе обслуживания доступны функции для работы с BMC, включая обновление прошивки, управление конфигурацией, сброс настроек BIOS и просмотр кода POST. Также здесь предоставлена возможность скачивания информации об аппаратной конфигурации сервера одним файлом. Однако нет возможности обновления BIOS.

BIOS материнской платы сервера, как и ожидалось, разработан на базе AMI, что представляет собой стандартное и знакомое решение. В основном, для большинства пользователей потребуется лишь настройка BMC и загрузочного устройства, поскольку остальные параметры уже оптимально настроены для сервера. Есть доступ к настройкам дисковых контроллеров, включая встроенный Intel VROC и внешнюю модель Broadcom/LSI, что значительно облегчает настройку дисковых массивов. Кроме того, поддерживаются современные функции, такие как виртуализация, SR-IOV, UEFI и загрузка по сети. В целом, платформа по функциональным возможностям встроенного программного обеспечения соответствует стандартам индустрии.

Сервер был успешно установлен в стойку и подключен к сети питания через ИБП, обеспечивая надежное электропитание. Система охлаждения продемонстрировала высокую эффективность, поддерживая оптимальные температурные показатели даже при максимальной нагрузке. Мониторинг проводился с помощью Zabbix, позволяя следить за состоянием сервера как через агента в операционной системе, так и через IPMI.

Максимальное энергопотребление системы при нагрузке составило около 750 Вт, при этом температура процессоров не превышала 80°C. Скорость вращения корпусных вентиляторов оставалась на уровне до 6000 оборотов в минуту. Температура накопителей U.2 под нагрузкой достигала 39°C, при этом остальные компоненты системы оставались на уровне не более 47°C.

Система показала высокую стабильность работы, что говорит о качественной конструкции и эффективной системе охлаждения. Однако стоит учитывать, что тестирование проводилось в базовой конфигурации, и добавление дополнительного оборудования, такого как видеокарты или дополнительные накопители, может повлиять на общую картину. Тем не менее, мы не ожидаем серьезных проблем с охлаждением при расширении конфигурации.

Тестирование сервера позволило оценить его работу в реальных условиях и выявить потенциал для оптимизации и дальнейшего развития. Комбинация производительного оборудования и гибкой настройки программного обеспечения делает этот сервер привлекательным решением для решения различных задач заказчика.

На последовательных операциях отдельный накопитель U.2 превзошел заявленные характеристики, демонстрируя скорость чтения более 6000 МБ/с и записи более 1700 МБ/с. Однако использование его в составе RAID-массивов не оправдало ожиданий. Хотя том с чередованием показал рост производительности в смешанном режиме, скорость чтения и записи в простых режимах существенно снизилась. В случае зеркального RAID даже не стоит говорить о какой-либо прибавке в производительности. Возможно, стоит искать способ протестировать Intel VROC, чтобы не потерять в производительности. 

Ситуация с накопителями формата М.2 существенно отличается: здесь мы видим практически двукратный рост производительности в режиме RAID0 и лишь незначительные потери в режиме RAID1.

В случайных операциях оба типа накопителей проявили себя интересным образом: наблюдается рост производительности во всех трех шаблонах на массиве с чередованием. Однако массив в зеркальном режиме показывает увеличение скорости при чтении и в смешанном режиме, но заметно снижает скорость записи, особенно в случае накопителей M.2.

Результаты тестов различных конфигураций блочных устройств оказались достаточно интересными и не всегда соответствующими ожиданиям. Это подталкивает к дальнейшему исследованию в данной области.

Хотя скорость работы с блочными устройствами дает некоторые представления о их производительности, наибольший интерес представляет их работа в реальных приложениях. Для этого мы провели тест баз данных с использованием утилиты sysbench. Конфигурация и условия тестирования были следующими: 100 баз данных по 10 миллионов записей, общий объем около 256 ГБ, использовался скрипт oltp_read_write из комплекта поставки, тестирование проводилось в 32 потока, продолжительность теста — один час.

Для хранения базы данных использовались различные конфигурации дисковых томов: одиночный диск, два диска в RAID0 и два в RAID1 для накопителей M.2 и U.2. Файловая система — xfs. Полученные результаты представлены в операциях в секунду из последней строки журнала теста. Интересно отметить, что накопители M.2 оказались заметно медленнее, чем U.2, что привело к решению представить их результаты на разных диаграммах.

Для устройств U.2 мы видим, что, в этот раз уже ожидаемо, в лидеры выходит массив с чередованием. Однако и зеркало имеет преимущество перед одиночным накопителем. Так что если ваша задача — иметь отказоустойчивую и быструю конфигурацию для базы данных с высокой нагрузкой, то программная реализация mdadm в Linux вас не разочарует.

Совсем иначе показали себя накопители M.2. Здесь в лидеры выходит одиночный диск, а программные массивы заметно ему проигрывают. Что касается абсолютных результатов, то данные диски оказались в разы медленнее накопителей U.2.

Вторая пара диаграмм была получена с установкой параметра innodb_buffer_pool_size в файле /etc/mysql/mariadb.conf.d/50-server.cnf на 96 ГБ (напомним, что всего в сервере было установлено 128 ГБ оперативной памяти).

Для конфигураций с накопителями U.2 общий прирост скорости составил 3-4 раза. При этом немного изменилось и взаимное расположение участников: в лидерах снова массив с чередованием, а вот второе место занимает уже одиночный диск, незначительно обогнав зеркальный том.

При хранении базы данных на накопителях M.2 мы видим, что для одиночного диска рост составил два раза, для массива с чередованием — полтора, а зеркальный том работал даже медленнее. Конечно, мы уже в начале статьи говорили, что слоты M.2 на материнской плате, скорее всего, будут использоваться для установки операционной системы (если в требованиях нет обязательной поддержки горячей замены накопителей), а не для интенсивной работы с пользовательскими данными. Представленная конфигурация без проблем справится с этой задачей, но все-таки немного обидно за NVMe.

Без сомнения, появление еще одного поставщика серверного оборудования можно только приветствовать. Все-таки при всех условиях удобнее иметь локального партнера, чем самостоятельно привозить оборудование такого класса издалека. Предоставленный на тестирование сервер Hiper Server R3 — Advanced производит хорошее впечатление своей продуманной конструкцией, гибкой конфигурацией, наличием всех востребованных интерфейсов и функций управления.

Это решение в формате 2U оснащено двумя сокетами для процессоров Intel Xeon, обладает большим максимальным объемом оперативной памяти, эффективной системой охлаждения, возможностью установки полноразмерных плат расширения, включая видеокарты, а также мощными блоками питания. Поддержка накопителей с интерфейсами SATA, SAS и U.2 делает его универсальным в использовании.

С точки зрения программного обеспечения, данная платформа мало отличается от других решений данного класса. В ней реализованы стандартные стандарты удаленного управления и мониторинга, и мы не встретились с проблемами совместимости с операционными системами.