Для организации серверной Linux®-среды высокой готовности с помощью blade-серверов корпорации IBM® вам прежде всего необходимо обеспечить отказоустойчивость между blade-сервером и любым внешним хранилищем. Это позволит обеспечить избыточность и организовать многопутевой ввод/вывод (multipathing). Из этой статьи вы узнаете, как интегрировать 32-разрядный сервер IBM BladeCenter® и внешнее SAS-хранилище IBM BladeCenter Boot Disk System (DS3200), выполнив, таким образом, первоочередные необходимые условия для построения надежной среды на основе blade-серверов под Linux. Также в этой статье рассматриваются некоторые функции менеджера логических томов Linux, относящиеся к "горячей" установке и разработанные с учетом растущих требований, предъявляемых к системам хранения.

В этой статье показано, как выполнять загрузку с внешнего SAS-хранилища (в нашем случае это хранилище IBM System Storage DS3200), используя для этого серверное шасси IBM BladeCenter-H, а также 32-разрядные серверы BladeCenter HS21 и LS21 (если вы используете шасси BladeCenter-E, проверьте поддержку вашего оборудования по матрице совместимости, ссылка на которую приведена в разделе Ресурсы). Также будет показано, как включить технологию multipathing в Linux. Multipathing, или многопутевой ввод/вывод – это отказоустойчивая технология, которая повышает производительность, позволяя организовывать несколько физических каналов передачи данных между центральным процессором и устройствами хранения данных. Простым примером является SCSI-диск, подключенный к двум SCSI-контроллерам одного и того же компьютера, или диск, подключенный к двум портам Fibre Channel.

Главным преимуществом использования исключительно внешних систем хранения данных является повышенная готовность серверов. Несмотря на то, что вы можете настроить несколько RAID-массивов различных уровней на дисках, установленных в одном blade-сервере, в случае выхода диска из строя вы должны будете остановить систему для его замены. Используя внешнее хранилище и диски с "горячей" заменой, вы можете заменять вышедшие из строя диски, не прерывая работу служб. Недавно IBM анонсировала blade-серверы BladeCenter HS12 и JS12, поддерживающие использование SAS-дисков с "горячей" заменой, однако оба этих сервера являются однопроцессорными.

Ниже перечислены шесть шагов этого руководства по интеграции сервера и внешней системы хранения данных (СХД):

1. Подготовка шасси BladeCenter и сбор информации о SAS-модулях и системе DS3200. 2. Подготовка подсистемы хранения. 3. Конфигурация BIOS SAS-контроллера. 4. Установка операционной системы. 5. Включение многопутевого ввода/вывода. 6. Расширение файловой системы дополнительными номерами LUN.

Шаг 1. Подготовка шасси BladeCenter и сбор информации

Убедитесь, что SAS-коммутаторы правильно установлены и подключены к обоим контроллерам системы хранения DS3200. Будем предполагать, контроллер A (он расположен слева, если смотреть на DS3200 сзади) подключен к SAS-коммутатору в отсеке 3, а контроллер B – к SAS-коммутатору в отсеке 4. До тех пор, пока вы не меняете зонирование по умолчанию в модуле BladeCenter Management Module, неважно, к какому порту подключены кабели – каждый blade-сервер имеет доступ ко всем внешним портам.

По умолчанию все внешние порты отключены. Их можно включить двумя способами – через Web-интерфейс или через интерфейс командной строки.

Включение через Web-интерфейс. Подключитесь к Web-интерфейсу модуля Management Module и выберите ссылку Admin/Power/Restart в разделе I/O Module, расположенном слева. Выберите устройство I/O module с номером 3, включите внешние порты и нажмите кнопку Save, расположенную справа.

Включение через командную строку. Подключитесь к модулю Management Module с помощью telnet или SSH. Выполните следующие команды для включения внешних портов отсеков 3 и 4, в которые установлены два SAS-коммутатора:

Листинг 1. Включение внешних портов коммутаторов

system> ifconfig -ep enabled -T switch[3] system> ifconfig -ep enabled -T switch[4]

Для сопоставления раздела дискового хранилища с blade-сервером вам потребуется использовать WWN-имя (world wide name) дочерней платы SAS. Это имя однозначно идентифицирует интерфейс в SAS-домене. Узнайте имя WWN, используя Web-интерфейс или командную строку.

Использование Web-интерфейса. В Web-интерфейсе модуля Management Module щелкните ссылку Hardware VPD, расположенную в левой панели.

Использование командной строки. Подключитесь к модулю Management Module с помощью telnet или SSH. Вы можете получить список доступных blade-устройств с помощью команды list -l 2. Чтобы включить в список установленные дочерние платы, выполните следующую команду:

Листинг 2. Получение подробной информации об оборудовании

system> list -l 3

Узнайте WWN-имя с помощью команды info, указав слот дочерней платы вашего blade-устройства (в данном примере слот 4).

Листинг 3. Получение WWN-имени SAS-коммутатора

system> info -T blade[4]:exp[1]

Manufacturer: LSI (Not Available) Manufacturer ID: 20301 Product ID: 118 Mach type/model: SAS Expansion Option Mach serial number: Not Available Manuf date: 02/08 Hardware rev: 3 Part no.: 39Y9187 FRU no.: 39Y9188 FRU serial no.: YK105481E006 CLEI: Not Available SAS ID 1: 50:00:62:b0:00:0b:26:24 SAS ID 2: 50:00:62:b0:00:0b:26:25 SAS ID 3: Not Available SAS ID 4: Not Available SAS ID 5: Not Available SAS ID 6: Not Available SAS ID 7: Not Available SAS ID 8: Not Available MAC Address 1: Not Available MAC Address 2: Not Available MAC Address 3: Not Available MAC Address 4: Not Available MAC Address 5: Not Available MAC Address 6: Not Available MAC Address 7: Not Available MAC Address 8: Not Available

Значение SAS ID 1 – это WWN-имя порта 1, сопоставленное отсеку 3 коммутатора, а значение SAS ID 2 – WWN-имя порта 2, сопоставленное отсеку 4.

Шаг 2. Подготовка подсистемы хранения

Определите запоминающие устройства и сопоставьте их с blade-сервером в качестве номеров LUN (номер логического устройства LUN является просто номером, назначенным логическому устройству; логическое устройство является единственным объектом SCSI-протокола, к которому могут фактически выполняться обращения со стороны операций ввода/вывода). В качестве программного обеспечения можно использовать как DS3000 Storage Manager, так и DS4000 Storage Manager. Первоначальная конфигурация выполняется на вкладке Configure, изменения – на вкладке Modify.

Ссылка Configure Host Access (Manual) в менеджере Storage Manager позволяет выбрать blade-сервер и назначить ему два WWN-имени дочерней платы SAS. Убедитесь, что выбран тип хоста LNXCLVMWARE. Это отключает функцию автоматического переноса томов (AVT, Automatic Volume Transfer) и является необходимым при использовании драйвера RDAC в операционной системе Linux.

Теперь создайте область хранения данных для вашего blade-сервера с помощью меню Create Logical Drives. После этого сопоставьте логический диск с blade-сервером с помощью меню Create Host-to-Logical Drive Mappings. Убедитесь, что при сопоставлении используется номер LUN 0 (и в нумерации не возникают пробелы - некоторые системы прекращают сканирование при обнаружении неиспользуемого номера).

Шаг 3. Конфигурирование BIOS SAS-контроллера

Чтобы выполнить чистую установку и загрузку с внешнего SAS-хранилища, вам необходимо правильно настроить BIOS blade-сервера, а также BIOS дочерней платы SAS. Blade-серверы, выпускаемые с середины 2008 года, работают корректно без каких-либо дополнительных настроек; для серверов, выпущенных ранее этой даты, может потребоваться внесение изменений в настройки BIOS.

Проверьте, что дочерняя плата включена и присутствует в списке загрузки утилиты конфигурации LSI, предпочтительно в качестве первого загрузочного устройства. SAS1064 – это дочерняя плата, а SAS1064E – это встроенный контроллер нашего blade-сервера.

Далее убедитесь, что параметр Boot Support в свойствах дочерней платы имеет значение Enabled BIOS & OS, а BIOS производит сканирование всех номеров LUN. Это можно проверить, выбрав пункт Advanced Adapter Properties, а затем пункт Advanced Device Properties. Если вы не уверены, восстановите значения по умолчанию.

Проверьте, что слот дочерней платы не отключен в BIOS blade-сервера.

В зависимости от предпочитаемого пути вашего логического устройства (контроллер A или B) вы можете указать в качестве первого загрузочного устройства blade-сервера или hd0, или hd1. Если вы назначаете его в модуле управления (как показано в листинге 4) и получаете ошибку I9990301 Disk failure or disk reset failed, значит, вам необходимо изменить последовательность загрузки и указать в качестве первого загрузочного устройства hd1. В наших настройках контроллер A подключен к третьему отсеку ввода/вывода, который сопоставляет его с устройством hd0. Контроллер B подключен к отсеку 4 и сопоставлен с устройством hd1.

Листинг 4. Установка последовательности загрузки для blade-сервера, расположенного в слоте X

system> bootseq hd0 hd1 -T blade[X]

Об авторе

Мартин Бахмайер (Martin Bachmaier) работает ИТ-специалистом в лаборатории разработки IBM Cell/B.E. Blade в городе Бёблинген, Германия. Являясь участником команды Open Systems Design and Development, он отвечает за архитектуру и управление инфраструктурами на основе Linux, а также за их первоначальную поддержку у заказчиков и разработчиков по всему миру. Мартин всегда рад оказать содействие современным центрам обработки данных в разработке крупных open-source решений. Он участвовал в программе подготовки руководств Redbooks, сосредоточенной на системе IBM iDataPlex, результатом которой стали документы Redpaper, Redbook, а также руководство по продукту.