Квантор - системный интегратор. IPMI, KVM-over-LAN, virtual media в серверах Supermicro - удаленное управление и мониторинг Ipmi описание

Часто задаваемые вопросы о IPMI в материнских платах Supermicro: зачем он нужен, особенности, наглядная демонстрация, подводные камни.

1) Самый популярный миф о KVM-over-LAN - это то, что он "не нужен" . Почему-то многие путают его с обычным удаленным доступом к текстовой/графической консоли ОС, т.е. "зачем нам KVM-over-LAN, если есть SSH, VNC, RDP и Radmin?"
Разница принципиальная: KVM-over-LAN - это не просто доступ к консоли ОС, он никак от ОС не зависит, это доступ к консоли непосредственно самого сервера (и не только к консоли, подробности будут ниже), т.е. мы можем, например: зайти в BIOS системной платы или доп. контроллера, установить ОС, настроить мониторинг сенсоров (что, опять-таки, очень важно - независимый от ОС) через SNMP и т.д.
2) Как это работает? Работает достаточно просто, вот структурная схема (Supermicro последнее время использует, как правило Winbond или Nuvoton WPCM450:

Всю работу выполняет процессор BMC (Baseboard management controller) - он имеет собственную память и специализированную ОС (обычно на базе Linux). BMC использует USB шину для подключения виртуальных клавиатуры, мыши и приводов CD/DVD/FDD. Через другие шины осуществляется сбор показаний датчиков вращения вентиляторов, температуры, управление питанием, доступ к COM-порту (для удаленного доступа к последовательной консоли). BMC также занимается захватом и перенаправлением содержимого видеобуфера - в современных BMC уже интегрировано видеоядро, когда-то, в первых реализациях, BMC занимался оцифровкой аналогового сигнала с отдельного VGA-контроллера. Обмен данными с "внешним миром" происходит через ethernet (выделенный порт или один из портов размещенного на системной плате контроллера ethernet).
Собственно, WPCM450 в продуктах Supermicro представляет собой систему на базе процессора ARM 926EJ-S, работающей под управлением ОС Linux на ядре 2.6.

В целях диагностики можно зайти через SSH, где вас будет ждать busybox.

3) Сколько это стоит?
В настоящее время Supermicro интегрирует IPMI BMC непосредственно на системные платы. Раньше использовались дополнительные модули (например - AOC-SIMSO+). Наличие IPMI BMC на плате Supermicro обозначает буквой F, например: X8DTi и X8DTi-F, и разница в цене не превышает $50, что уже является очевидным ответом на вопрос "нужно или нет", ведь внешний IP-KVM обойдется вам гораздо дороже. Ставить обычный KVM и каждый раз при необходимости что-нибудь переустановить или перепрошить идти в серверную - тоже не выход, это потеря времени, ведь ваш сервер может находится за десятки и сотни километров, да и, в конце концов - это просто неудобно.
4) Как это выглядит на практике?
Доступ к IPMI можно получить либо через IPMIView (специализированная утилита на Java, есть сборки под Windows и Linux) или через обычный браузер (при подключении к графической консоли запустится дополнительное java-приложение).
Рассмотрим IPMIView. Для начала в BIOS можно настроить ethernet-порт IPMI: по умолчанию стоит DHCP, но можно вручную выставить нужные IP/маску/шлюз, тэг VLAN (весь ужаленный менеджмент лучше выделить в отдельную подсеть из соображений безопасности и удобства).
Запускаем IPMIView и находим нужный сервер (можно просканировать диапазон адресов на предмет наличия IPMI), логин/пароль по умолчанию - ADMIN/ADMIN.

Graceful shutdown - имитируется быстрое нажатие кнопки Power, для того чтобы ОС могла корректно выключить питание самостоятельно.
Power Cycle - это Graceful shutdown с последующим включением питания
Reset и Power Up говорят сами за себя
Power Down - жесткое выключение, с длительным нажатием кнопки Power

За здоровьем сервера можно наблюдать на вкладке Sensors (показания температурных и вентиляторных датчиков вы увидите только при включенном сервере):

Сетевые настройки можно поменять при необходимости на вкладке BMC Setting (помните, что можно по ошибке потерять удаленный доступ к серверу). Кстати, об удаленном доступе: используются следующие порты (их нужно будет пробросить через NAT или обеспечить способ доступа в менеджмент-сеть, например, через VPN):
TCP:

HTTP: 80
HTTPS: 443
5901 - нужен для графической консоли
5900 - HID, трафик виртуальной клавиатуры/мыши
5120 - трафик виртуального привода CD/DVD
5123 - трафик виртуального FDD

UDP:

IPMI: 623

На вкладке KVM Console можно увидеть самую полезную вещь - графическую консоль сервера. Там же находятся кнопки снятия скриншота, управления виртуальными носителями (Virtual Media), перехода в полноэкранный режим и дополнительная софт-клавиатура. Зачем она нужна, если есть аппаратная? Для различных комбинаций клавиш, которые по каким-то причинам не удается отправить на сервер с аппаратной клавиатуры, например классический Ctrl+Alt+Delete.

Вот несколько особенностей:

Если у вас есть контроллер от LSI, то вам знаком ориентированный на использование мыши интерфейс LSI Webbios. Так вот: мышь в Webbios через IPMI в современных платах Supermicro не работает, связано это с тем, что Webbios расчитан на мышь PS/2, а IPMI эмулирует мышь USB. В FAQ разделе технической поддержки Supermicro этот вопрос рассматривается , но рекомендации не помогают. Приходится пользоваться исключительно клавиатурой, что не совсем удобно, т.к. не через все пункты можно перемещаться при помощи Tab - нужны комбинации с Alt, которые отрабатываются только через Soft Keyboard.
Переключение раскладки в WinPE 3.0 не работает. Так что собирайте WinPE с английской раскладкой, для этого нужно добавить в скрипт сборки после монтирования Wim-образа следующую команду:
Dism /image:C:\winpe64\mount /Set-InputLocale:1033:00000409 "C:\winpe64\mount" - точка монтирования образа.
При желании можно заодно сменить локаль и язык интерфейса - смотрите документацию к WinPE.
Для не Windows ОС измените режим синхронизации курсора с абсолютного на относительный.

И заключительный абзац - использование виртуальных носителей.

Можно либо перенаправить локальный привод, либо подключить образ, что гораздо удобнее. Для появления соответствующего устройства в загрузочном меню BIOS может потребоваться перезагрузка.
P.S. Как сбросить пароль IPMI? Только при помощи консольной утилиты ipmicfg . Существует в версиях под DOS, Windows и Linux. Запуск ipmicfg -fd обнуляет все настройки и устанавливает логин/пароль пользователя с администраторскими правами в стандартные ADMIN/ADMIN.
Обновление от 18.04.2010 . В какой-то момент, после очередного обновления Java, попытка смонтировать iso образ в IPMIView начала приводить к его падению (Windows 7 64бит с последними обновлениями).Вышел новый релиз IPMIView (build 110412 от 12 апреля). Пока еще не проверял, исправлен ли там этот баг, так как можно пользоваться запуском консоли через web-интерфейс.

Переходим на вкладку Remote Control , жмем Launch Console и получаем в отдельном окне Redirection Viewer , аналогичный по функционалу консоли в IPMIView. Стоит добавить, что web-интерфейс не облегчает задачу доступа к консоли из внешней сети - Redirection Viewer - это не Java-апплет, а отдельное Java приложение и использует те же порты для трафика видео, HID и виртуальных приводов: 5900, 5901, 5120, 5123.
P.S. от 01.12.2011 . Дополнительная статья: FreeIPMI .
P.S. от 06.10.2013. Похожая .
P.S. от 10.11.2013.
P.S. от 20.06.2014. Опять .

В целях диагностики можно зайти через SSH, где вас будет ждать busybox.

Graceful shutdown - имитируется быстрое нажатие кнопки Power, для того чтобы ОС могла корректно выключить питание самостоятельно.
Power Cycle - это Graceful shutdown с последующим включением питания
Reset и Power Up говорят сами за себя
Power Down - жесткое выключение, с длительным нажатием кнопки Power

HTTP: 80
HTTPS: 443
5901 - нужен для графической консоли
5900 - HID, трафик виртуальной клавиатуры/мыши
5120 - трафик виртуального привода CD/DVD
5123 - трафик виртуального FDD

UDP:

IPMI: 623

Вот несколько особенностей:

Если у вас есть контроллер от LSI, то вам знаком ориентированный на использование мыши интерфейс LSI Webbios. Так вот: мышь в Webbios через IPMI в современных платах Supermicro не работает, связано это с тем, что Webbios расчитан на мышь PS/2, а IPMI эмулирует мышь USB. В FAQ разделе технической поддержки Supermicro этот вопрос рассматривается , но рекомендации не помогают. Приходится пользоваться исключительно клавиатурой, что не совсем удобно, т.к. не через все пункты можно перемещаться при помощи Tab - нужны комбинации с Alt, которые отрабатываются только через Soft Keyboard.
Переключение раскладки в WinPE 3.0 не работает. Так что собирайте WinPE с английской раскладкой, для этого нужно добавить в скрипт сборки после монтирования Wim-образа следующую команду:
Dism /image:C:\winpe64\mount /Set-InputLocale:1033:00000409 "C:\winpe64\mount" - точка монтирования образа.
При желании можно заодно сменить локаль и язык интерфейса - смотрите документацию к WinPE.
Для не Windows ОС измените режим синхронизации курсора с абсолютного на относительный.

И заключительный абзац - использование виртуальных носителей.

Переходим на вкладку Remote Control , жмем Launch Console и получаем в отдельном окне Redirection Viewer , аналогичный по функционалу консоли в IPMIView. Стоит добавить, что web-интерфейс не облегчает задачу доступа к консоли из внешней сети - Redirection Viewer - это не Java-апплет, а отдельное Java приложение и использует те же порты для трафика видео, HID и виртуальных приводов: 5900, 5901, 5120, 5123.
P.S. от 01.12.2011 . Дополнительная статья: .
P.S. от 06.10.2013. Похожая .
P.S. от 10.11.2013. IPMI и безопасность.
P.S. от 20.06.2014. Опять

Введение

Большая часть серверов Firstdedic оборудована модулем IPMI, но многие пользователи не обращают на эту опцию внимания.

IPMI это аббревиатура, которая расшифровывается как Intelligent Platform Management Interface и переводится на русский язык как “интеллектуальный интерфейс управления платформой”.

Что представляет из себя данное устройство. Это модуль, который находится непосредственно внутри сервера и наружу доступен дополнительный Ethernet-разъем.

В случае потери управления над сервером, есть возможность зайти по указанному адресу и, авторизовавшись, выполнить действия для устранения проблем или получения информации о возникшей неполадки.

В основном, этот модуль используется для мониторинга и управления некоторыми функциям, встроенными в серверное аппаратное обеспечение, как то: слежение на температурными датчиками, датчиками напряжения, состояние блока питания, скорость вращение вентиляторов, журналирование, подключение образов и т.п. Следует обратить внимание, что эти функции доступны независимо от процессора, операционной системы или BIOS. Управление доступно даже при выключенном сервере.

К сожалению, автоматизировать предоставление доступа к IPMI на данный момент не удалось, поэтому доступ можно получить по запросу в техническую поддержку.

По запросу выдается IP-адрес, где располагается интерфейс, а так же авторизационные данные. Доступ предоставляется не полный, ограниченный учетной записью уровня Operator.

Доступ к IPMI может быть осуществлен как через браузер, так и с помощью приложения IPMIView. В первом случае потребуется предустановленная Java и плагин к браузеру, во втором — ОС Windows или MacOS, или предостановленная Java для мультиплатформенной версии IPMI View.

Доступ с помощью браузера

После авторизации открывается основная страница, где вы можете получить доступ к IP-KVM (своего рода виртуальный монитор, передающий видео-изображение с сервера к подключенному клиенту. Бывает очень полезным при ошибке в настройке сети, установке ОС, либо при блокировке IP-адресов на уровне дата-центра), а так же увидеть текущее состояние сервера, включить, выключить и аппаратно перезагрузить сервер (кнопки Power On, Power Down и Reset соответственно в области Power Control via IPMI).

При нажатии на кнопку “Refresh Preview Image” будет обновляться предварительный просмотр виртуального монитора. А при нажатии на сам черный экран будет открыт JAVA-клиент IP-KVM и вы получите доступ к интерфейсу вашей операционной системы уже непосредственно с помощью клавиатуры и мыши. Но для его работы потребуется установленная JAVA и плагин к браузеру

Во вкладке Server Health основного меню есть возможность посмотреть состояние сервера, получить информацию о скорости вращения вентиляторов, температуре и напряжении

Доступ с помощью десктопного приложения

Помимо браузерной версии существует и десктопная — IPMI View, которая существует в версиях для Windows, MacOS и Java. Последняя является мультиплатформенной.

Все последние версии IPMI View, а так же документация, доступны на официальном ftp-сервере производителя — ftp://ftp.supermicro.com/utility/IPMIView/ .

В отличие от браузерной версии, которая скачивается и запускается только по факту использования, IPMI View устанавливается на ПК и при работе просто подключается к требуемому серверу.

Первоначально требуется добавить в настройки приложения все ваши серверы с помощью кнопки “Add a new system” (File → New → System)

Где в поле IPMI address: требуется добавить тот IP, который вы получили при запросе доступа к IPMI у технической поддержки.

Для подключения к интерфейсу IPMI, после его добавления в IPMI Domain, следует просто выполнить двойное нажатие по сохраненной системе.

После нажатия на кнопку “Login” и успешной авторизации окно входа в интерфейс управления платформой несколько изменится: Появится информация о версии используемого IPMI, и в самом низу вкладки с доступными операциями.

При переходе на некоторые вкладки будет заметно, как приложение запрашивает информацию с IPMI и выводит в более доступном для восприятия виде.

К примеру, вкладка Sensors выведет данные в графическом виде, что несколько более наглядно, чем просто цифры, как в браузерном варианте.

Вкладка IPM Device предоставит доступ к получению информации о состоянии сервера, и управление ею: выключение, включение, перезагрузка и сброс (Power Down, Power Up, Power Cycle, Reset соответственно).

Для закрытия текущей сессии и отключения от IPMI следует выбрать пункт меню Session → Close .

Publisher: сайтworks , January 05,2015

Internet servers are the “backbone” of any company’s online presence. Making sure that they remain fully operational is crucial to maintaining website uptime and functionality. The current industry standard for monitoring and managing a server installation is known as Intelligent Platform Management Interface and commonly referred to as IPMI.

What Is IPMI?

Generally speaking, IPMI is a standardized set of specifications for a hardware system, which allows a web host or data center to centrally monitor and control all of the servers it is managing. It was originally developed by Intel with support from Hewlett Packard, Dell, and NEC, and is now supported by most of the industry.

IPMI works in tandem with two other standard specification sets, IPMB (Intelligent Platform Management Bus) and ICMB (Intelligent Chassis Management Bus), which handle the management functions within a computer and between the machines being managed. Communication is usually handled through a direct out-of-band LAN, but it’s also possible to use a sideband LAN through a NIC card which is a less expensive approach.

Most of the key factors in a server’s hardware operation can be monitored via IPMI, including the health of the power supply, chassis security, and fans. It also tracks power levels, temperature and other important environmental factors. Additionally, the interface can check each machine’s hardware logs, can receive pre-defined alerts, and can send messages to a server to reboot or power down. It even allows remote adjustment of BIOS settings.

The front-end of an IPMI system is extremely user-friendly. Keyboard, mouse and video access to individual servers functions in the same way they would for an engineer or technician working directly on the machine. In the event a server is inaccessible, the error is clearly displayed on the monitoring console and the user may login directly from IPMI to modify specific network configurations.

A modified and simplified variant on IPMI, known as DCMI (Data Center Management Interface), is often used by data centers because it includes some functions important for their systems (such as capping power to a server) while eliminating others which aren’t needed for their purposes.

Benefits Of IPMI

There are a number of reasons IPMI is superior to more traditional software used for server system diagnosis. Most of them are based on the facts that IPMI is able to manage machines in multiple physical locations, and that it is able to monitor machines “from without” rather than “from within”; that is, it is firmware running on a machine’s motherboard and is not dependent on a machine’s operating system. The major benefits:

“Agentless” management with remote functionality: no management agents are needed for a server’s OS, and machines can be rebooted and managed off-site.
Recovery independent of computer state: IPMI can issue commands to managed machines whether or not they’re powered on, as long as they are plugged in.
Functionality before booting or after operating system failure: IPMI is able to facilitate adjustment to BIOS or other settings regardless of OS status, as opposed to traditional methods which require OS access or SSH login.
Predictive monitoring: server health is constantly monitored, to provide advance warning of possible system failures.
Advance diagnosis: IPMI often allows diagnosis of system issues before repairs are initiated, saving time and money particularly if a machine is off-site.
Simple use: control is centralized so that system configuration changes or power up/power down can be handled with a monitor, keyboard, and mouse.
Universally supported: IPMI is supported by almost all hardware vendors, and is often included in the price of server purchase.

Drawbacks Of IPMI

There are only a few major drawbacks to IPMI, and in almost all cases, they are far outweighed by the benefits.

Initial configuration can sometimes require several attempts, although clearing network configurations through the BIOS can usually solve the problem.
Networking may fail after switching ports on the motherboard or after installing IPMI patches. These issues are usually easily solvable by rebooting; occasionally, reconfiguration is necessary.
Some analysts claim that IPMI isn’t as secure a system as it could be. They believe that design weaknesses in protocols and configuration make IPMI installations vulnerable to attack or compromise despite patches.

Despite these few issues, IPMI has been almost universally adopted by data centers and web hosts as the most efficient and economical way to monitor and manage their networks.

Всем привет сегодня расскажу что такое IPMI порт управления, как его системный инженер может использовать у себя на работе в повседневные будни, упрощая себе жизнь просто до безобразия.

IPMI ( Intelligent Platform Management Interface) – это интерфейс для удаленного мониторинга и управления физическим состоянием сервера. IPMI является аналогом известных разработок IP-KVM, iLo ,.

Возможности IPMI

удаленное включение, выключение и перезагрузка сервера;
мониторинг температуры, напряжения и системы охлаждения;
удаленное подключение к серверу носителя информации (например, для установки ОС и ПО);
управление аккаунтами и правами пользователей (имеется поддержка LDAP и );
управление портами доступа и защита доступа SSL - сертификатом;
настройка уведомлений о работе сервера.

Как работает контроллер BMC

Давайте посмотрим схему работы BMC контроллера. И так Baseboard Management Controller это интерфейс для удаленного управления и мониторинга состояния сервера. По сути Baseboard Management Controller это однокристальная система, как ее правильно называть System-on-a-Chip, SoC. У BMC есть встроенное графическое ядро, которое обращается и взаимодействует с основными компонентами материнской платы серверного железа, через всевозможные интерфейсы, нужные для работы стандарта IPMI. Чем хорош IPMI, так это, то что он не зависит от операционной системы хостового сервера. Лично я использую IPMI, для прошивки BIOS у серверов и установки серверной операционной системы.

Так же IPMI может работать за NAT, например в цодах, людям дают возможность управлять так своим сервером, полезно если он завис. Для NAT потребуется открыть вот такие порты:

TCP 80: HTTP
TCP 443: HTTPS
TCP 5900, 5901: графическая консоль
TCP 5120, 5123 - трафик Virtual Media
UDP 623: IPMI

Как выглядит на серверах IPMI-порт

Приведу пример того, как на физическом сервере SuperMicro выглядит данный порт управления . Я выделил его стрелкой, чаще всего он располагается над портами USB.

Далее вам необходимо все сконфигурировать, как настроить IPMI на серверах Supermicro в BIOS или через утилиту ipmicfg , я уже рассказывал, на этом я не останавливаюсь.

Пароль по умолчанию на IPMI

Стандартным логином и паролем для IPMI будет ADMIN / ADMIN, именно большими буквами.

Перед вами появится страница со сводной информации о системе, которую вы можете себе лицезреть на картинке, она дает вам обзор системы, IP-адреса, номера версии прошивки, версии BIOS, а также предварительного просмотра удаленной консоли. Тут же вы вообще можете включить сервер, если он не работает. Я много раз пользовался IPMI интерфейсом, чтобы включить сервер, после того, как его случайно погасили.

На экране информации об оборудовании вы можете просмотреть различные компоненты оборудования, чтобы увидеть спецификации и т. д.

С помощью раздела Configuration вы можете выполнить целый ряд задач, включая оповещения, аутентификацию RADIUS, сетевую конфигурацию (для самого IPMI), настройку SMTP для предупреждений, контроль доступа по IP, системные журналы и т. д.

Раздел удаленного управления (Remote ControL) является одной из наиболее интересных вещей, так как, скорее всего, вам будет интересно иметь удаленный доступ к серверу, если вы в первую очередь заходите на IPMI.

В разделе дистанционного управления (Remote Control), меню управления питанием позволяет:

выполнить сброс
немедленное отключение питания
постепенное отключение питания
включение или отключение питания и все это очень удобно, если вы пытаетесь удаленно устранить неполадки или отключить или снова включить сервер.

Меню Launch SOL позволяет запустить консоль SOL.

Virtual Media - это тоже потрясающая функция. Вы можете подключить виртуальный носитель через общий ресурс Windows и представить его, как если бы он был воткнут непосредственно в сервер. Единственным у IPMI есть и недостаток, ограничение в 4,7 ГБ, что может быть недостаточно для некоторых новых серверных ОС. VL-копия Windows Server 2012 R2 весит 5,1 ГБ, но кажется это решается обновлением прошивки.

Для запуска консоли удаленного управления в IPMI (Remote Console), кликните по превью изображению, у вас должен скачаться java файл. Браузер может на него ругаться, нажмите "Keep", чтобы подтвердить загрузку.