FlexPod

FlexPod — набор конфигураций серверного и сетевого оборудования и программного обеспечения для центров обработки данных, предлагаемый компаниями Cisco и NetApp, сформированный на основе серверов Cisco UCS, коммутаторов Cisco Nexus (FlexPod Datacenter и FlexPod Express), систем хранения данных NetApp FAS, SolidFire или NetApp E-Series. Цель конфигураций — предоставление готовых, унифицированных и проверенных комбинаций оборудования, обеспечивающих все необходимые средства для работы в сети, вычислительные средства и средства хранения данных, организацию облачных вычислений, функционирование какого-либо стандартного набора технологического или прикладного программного обеспечения.

Решения на основе FlexPod распространяются среди заказчиков через каналы компании NetApp (дистрибьюторами, VAR) и системными интеграторами.

Решение анонсировано 10 октября 2010 года, через два года Cisco заявила об установке FlexPod в 1300 организациях из 35 стран, NetApp утверждает о том, что ежедневно продаётся в среднем по два FlexPod^[1].

В начале 2013 года сообщалось об около 700 фирмах-распространителей продукции FlexPod, 900 распространителей FlexPod и 6 тыс. распространителях FlexPod Express по состоянию на начало 2014 года, на июнь 2014 года заявляется о суммарной выручке $3 млрд и 4,1 тыс. организаций-клиентов, использующих оборудование FlexPod и^[2] (на начало 2014 года — 3,2 тыс. клиентов, на начало 2013 года — около 2,1 тыс., в ноябре 2012 года — 1,5 тыс., в июле 2012 года, — 1,3 тыс., в ноябре 2011 года — 400^[3]). Компанией-провайдером Datalink к списку купивших решение FlexPod было добавлено около 440 новых заказчиков в 2013 году^[4].

В июле 2013 представлено решение FlexPod Select использующее системы хранения NetApp E-Series с прямым включением в серверы Cisco UCS C-series, и ориентированная на решение задач класса «больших данных» с использованием средств экосистемы Hadoop (с поддержкой дистрибутивов от Cloudera и Hortonworks^[англ.]).

В августе 2013 года проведена ревизия линейки, и системы разделены на серии по целевым применениям: «классический» FlexPod, появившийся в 2010 году, переименован во FlexPod Datacenter и позиционирован для центров обработки данных, решение для среднего бизнеса получило название FlexPod Express (до этого называлось ExpressPod).

В соответствии отчётом IDC от 2013 года группа Cisco — Netapp с решениями FlexPod занимает второе место на мировом рынке предынтегрированных инфраструктурных и платформенных аппаратных комплексов с долей 15,4 % при суммарном объёме рынка $1,3 млрд в квартал, уступая лишь Oracle, обладающей долей 23,3 %^[5].

2 марта 2017 NetApp совместно с Cisco и Docker объявили о запуске платформы контейнеризации Docker Enterprise Edition (EE) with Docker Datacenter на архитектуре FlexPod Datacenter. 3 ноября 2017 NetApp совместно с Cisco и Red Hat объявили о запуске FlexPod SF with Red Hat OpenStack Platform. 22 июня 2017 NetApp совместно с Cisco объявила о выпуске новой линейки FlexPod SF с системой хранения NetApp SolidFire^[англ.].

FlexPod Datacenter, FlexPod Select и FlexPod SF поставляется как предварительно собранный телекоммуникационный шкаф размером 42 юнита, наполненный устройствами хранения данных, серверным и сетевым оборудованием (в FlexPod Select может применяться прямое включение без сети). Также существуют открытые спецификации, в соответствии с которыми можно собрать одну из таких конфигураций самостоятельно из уже существующих компонентов решения. FlexPod Express (ранее ExpressPod) представляет собой уменьшенную, упрощённую и удешевлённую версию FlexPod Datacenter, и размещается в боксе размером 24 юнита или собирается в имеющимся у заказчика телекоммуникационном шкафу.

Конфигурации FlexPod состоят из следующих компонентов:

• сетевая часть обязательная для FlexPod Express, FlexPod Datacenter FlexPod SF: Cisco Nexus^[англ.],
• сетевая часть может не использоваться в FlexPod Select, в такой схеме системы хранения подключаются напрямую в сервера, хотя в FlexPod Select также можно использовать коммутаторы Nexus как прослойку для подключения систем хранения и серверов,
• сетевая часть может не использоваться в конфигурации FlexPod Express UCS-managed, где выполняется прямое включением системы хранения в Fabric Interconnect, но в этой архитектуре FlexPod коммутаторы всё равно являются обязательной частью, которые выполняют роль отказоустойчивого сетевого ядра для подключения к серверам трафика идущего от конечных пользователей, такие коммутаторы должны поддерживать технологию подобную Multi Chassis Etherchannel,
• вычислительная часть: серверы и управляющее программное обеспечение Cisco UCS^[англ.],
• система хранения данных: NetApp FAS^[англ.], NetApp E-Series и NetApp SolidFire.

Сетевая часть состоит из коммутаторов серии Cisco Nexus. Каждая конфигурация FlexPod включает дублированные коммутаторы Nexus 3000 или коммутаторов серии Nexus 5000, или коммутаторов серии Nexus 7000^[англ.], или Nexus 9000. Для увеличения количества портов коммутатора могут использоваться устройства серии Nexus 2000. На базе конвергентных коммутаторов Nexus 5000 и Nexus 7000^[англ.] возможно настроить сеть хранения данных (SAN) для протоколов iSCSI, FC и FCoE, а для систем хранения FAS также и сетевое хранилище (NAS) для CIFS и NFS, одновременно на одном оборудовании этой серии. Таким образом универсальные конвергентные коммутаторы позволяют сохранять инвестиции и предоставляя большую гибкость в случае необходимости изменить конфигурацию. В решениях на базе Nexus 3000 и Nexus 9000 доступен только Ethernet протокол канального уровня сетевой модели OSI, что предоставляет возможность использования только протоколов iSCSI, а также CIFS и NFS. В зависимости от задач может немного варьироваться схема подключения. В случае FlexPod Select устройства хранения могут подключаться к серверам напрямую без коммутаторов при помощи SAS-подключений или использовать коммутаторы Cisco Catalyst, Nexus или MDS. Для систем хранения E-Series при использовании протокола iSCSI, доступно только подключение по Ethernet пропускной способностью 10 Гбит/с и выше. В решении FlexPod Datacenter могут также применяться сетевые коммутаторы серии Nexus 1000 или Nexus 1000V^[англ.]. В решении FlexPod SF используется коммутаторы Nexus 9000, 7000 и 5000, которые позволяет подключить систему хранения NetApp SolidFire по протоколу iSCSI. Хотя архитектура системы хранения позволяет также выполнять подключения по протоколу FC, он не используется в архитектуре FlexPod SF. Архитектура систем хранения SolidFire не требует наличия выделенных кластерных коммутаторов в случае использования протокола iSCSI, так как для этих целей используются коммутаторы сети хранения, а в случае протокола FC, дополнительно необходимы два дополнительных выделенных узла-шлюза, которые выполнены в виде серверов. Коммутаторы сети хранения обязательно необходимы для архитектуры системы хранения данных SolidFire, прямое подключение этих систем хранения не поддерживается.

Серверы Cisco UCS архитектуры x86 управляют ресурсами программного уровня, виртуализируя серверное оборудование, сетевую инфраструктуру, а также доступ к сети хранения или хранилищу посредством использования виртуальных MAC- и WWN-адресов. В случае выхода из строя сервера его роль будет передана другому серверу безо всякой перенастройки виртуальных локальных сетей или коммутаторов.

В FlexPod могут применяться как шасси Cisco с блейд-серверами, серверы Cisco со стандартным горизонтальным монтажом в стойку, так и их комбинация. Обязательным компонентом для FlexPod Datacenter являются модули Cisco Fabric Interconnect (FI) — специализированное оборудование для коммутации и управления Cisco серверами. Для подключения к FI используются специальные FEX-адаптеры — две платы, вставляющиеся в заднюю панель каждого шасси, а в случае с серверами со стандартным горизонтальным монтажом в стойку C-серии роль FEX-адаптера выполняет Cisco Nexus 2232PP. На один FI-модуль серии 6200 можно подключить до 20 шасси. В каждом шасси вмещается 8 половинчатых или 4 полных серверов-лезвий. Начиная с версии UCS Manager 2.1 поддерживается технология Single-Wire Integration^[6], позволяющая по одному кабелю реализовать как обмен данными, так и управление для серверов с горизонтальным монтажом. В версии 2.2 прошивки Fabric Interconnect добавлена поддержка прямого подключения серверов Cisco без необходимости использования Cisco FEX (в том числе и Nexus 2232PP). В решении UCS-Mini вместо FEX-адаптеров для шасси с блейд-серверами устанавливаются уменьшенные варианты Fabric Interconnect 6300 с максимальным числом поддерживаемых серверов 15 штук (8 блейд-серверов и 7 напрямую подключённых серверов с горизонтальным монтажом), что удешевляет такое решение для среднего и малого бизнеса. Оборудование серии Nexus 2000 часто также называют FEX-адаптерами, так как функционально они выполняют одинаковые задачи.

В случае использования NetApp E-Series или NetApp FAS, система хранения данных обязательно должна быть в двухконтроллерном исполнении — для отказоустойчивости. Для системы хранения данных NetApp FAS может быть использовано оба типа операционных систем Netapp: DataOntap 7-Mode и DataOntap Cluster-Mode (в кластерном режиме). Для систем хранения данных NetApp FAS использующих операционную систему DataOntap Cluster-Mode поддерживают прямое включение кластерного интерконнекта начиная с версии 8.2. В случае когда кластер системы хранения FAS состоит более чем из двух узлов, необходимы два выделенных кластерных коммутатора использующихся исключительно под нужды СХД, которые не могут быть задействованы под другие нужды. Существуют различные варианты подключения к системам хранения данных по протоколам: CIFS, NFS, iSCSI, FC или FCoE. В конфигурации FlexPod Select с NetApp E-Series, используется прямое подключение при помощи протоколов FC, iSCSI (10GB Ethernet) или SAS-подключений.

В архитектуре системы хранения NetApp SolidFire коммутаторы для передачи данных одновременно обеспечивают и кластерное соединение, и подключение по протоколу iSCSI. Подключение по протоколу FC требует двух выделенных узлов-шлюзов, и не используется в архитектуре FlexPod SF. Минимальное необходимое количество узлов для функционирования системы хранения SolidFire — 4. В решении FlexPod SF система хранения SolidFire построена на базе серверов Cisco UCS C220.

Первым представленным решением на рынке было FlexPod для платформы виртуализации VMware vSphere. Наряду с данным решением доступны также решения под Microsoft Hyper-V, под платформу виртуализации рабочих мест XenDesktop компании Citrix (на основе гипервизора Xen), под SharePoint и Exchange Server, под облачное развёртывание приложений SAP, под кластерную конфигурацию Oracle Database — Oracle RAC и Red Hat OpenStack Platform. Для FlexPod Express доступны два варианта операционных систем-гипервизоров устанавливаемых на серверы — Microsoft Hyper-V или VMware ESXi. FlexPod Datacenter также имеет референсный дизайн для платформы контейнеризации Docker Enterprise Edition (EE). FlexPod Select разрабатывался для применения средств Hadoop с дистрибутивами от Cloudera и Hortonworks^[англ.].

Ранее известный как Cloupia Unified Infrastructure Controller, был переименован в Cisco UCS Director (UCSD), после покупки этого стартапа в 2012 году Cisco Systems^[англ.]. UCSD поставляется в вде образов виртуальной машины и состоит из нескольких частей, выполняет роль оркестратора и предоставления ресурсов FlexPod как услуги в виде приватного облака PaaS или IaaS и поддерживает Multitenancy. UCSD имеет API интеграцию с системами хранения NetApp, Cisco UCS, Cisco Nexus и различных гипервизоров, в том числе Vmware vSphere, Microsoft Hyper-V, Citrix Xen. UCSD позволяет записывать и воспроизводить повторяющиеся действия посредством API в виде так называемых Workflows используя заренее подготовленные пулы ресурсов такие как номера доступных VLAN, профили UCS-серверов, ресурсы систем хранения данных и так далее. После создания, готовые потоки операций могут быть предоставлены в виде сервисов через веб-портал самообслуживания, через который они могут быть заказаны потребителями ресурсов. UCSD также включает биллинг для подсчёта потреблённых ресурсов и bare-metal-агент для установки на новые серверы операционных систем. Необязательный компонент FlexPod-архитектуры и поставляется отдельно.

Каждый блок FlexPod (юнит) может варьироваться в зависимости от изначальной конфигурации. Когда FlexPod-юнит построен, он может быть изменён в размере в зависимости от потребностей. Архитектура может быть наращена (добавлением ресурсов) или сокращена (удалением ресурсов, к примеру, для добавления ещё одного юнита).

Решение FlexPod может масштабироваться как вертикально — для увеличения производительности и дискового пространства, так и горизонтально — для обеспечения нескольких согласованных развертываний.

Конфигурация FlexPod не является фиксированной. Эталонная конфигурация используется как стартовая точка для последующего масштабирования ресурсов (вычислительных, сетевых, системы хранения) при усложнении требований. Основные составляющие элементы FlexPod разработаны с учетом необходимости масштабирования путём добавления полок с дисками, серверов и сетевых компонент.

Серверную инфраструктуру можно масштабировать, добавляя блейд-серверы UCS-B, горизонтально монтируемые в стойку серверы UCS-C, или и те и другие вместе. Дополнительные серверы становятся частью одного домена управления UCS.

При горизонтальном масштабировании несколько систем хранения могут быть объединены в один NetApp FAS или NetApp SolidFire кластер.

В решении FlexPod SF используется система хранения NetApp SolidFire, которая должна иметь минимально 4 узла для функционирования со встроенными флэш-накопителями равной ёмкости (использование жёстких дисков не поддерживается — применяются только SSD; выделенные полки для накопителей не предусмотрены). Масштабирование осуществляется добавлением узлов с предустановленными накопителями, поштучное добавление устройств не предусмотрено. Существуют несколько моделей узлов, которые отличаются друг от друга ёмкостью и скоростью работы, разные модели могут сосуществовать в рамках одного кластера.

Для расширения изначально установленной системы хранения в решении FlexPod Select, FlexPod Express или FlexPod Datacenter по ёмкости или вводу-выводу, возможно несколько вариантов.

• Подключение дополнительных полок к системе хранения, при этом ёмкость может быть расширена без останова системы.
• Модернизация «на месте» при изначальном использовании FAS2240 или FAS255x, шасси которых преобразуется в стандартную дисковую полку. После добавления контроллера NetApp FAS все сервисы будут работать в прежнем режиме. Нет необходимости полностью заменять систему или переносить или конвертировать данные, что устраняет необходимость серьёзных усилий и значительных временных затрат.
• В используемую конфигурацию можно добавить ещё одну систему хранения NetApp.

Рассчитан для среднего и крупного бизнеса, использует сетевые коммутаторы Nexus 5000, Nexus Nexus 7000^[англ.] или Nexus 9000, могут применяться как дополнение FEX расширители серии Nexus 2000^[англ.] для вертикального масштабирования сети. Применяются все системы хранения семейства NetApp FAS, кроме NextApp FAS 2220 и FAS 2520. В вычислительной части как правило применяются блейд-серверы Cisco UCS B-серии, но могут применяться и серверы Cisco UCS C-серии, обязательным компонентом в этом решении является Cisco Fabric Interconnect. Для решений использующих виртуализацию Micrososft Hyper-V или VMware vSphere могут применяться коммутаторы серии Nexus 1000 или виртуальные коммутаторы серии Nexus 1000v. Обе серии коммутаторов Nexus 1000 и Nexus 1000V^[англ.], как правило, применяются в решениях VDI. Для виртуализации серверов применяется виртуальный распределённый коммутатор (Virtual Distributed Switch) использующий технологию VM-FEX и расположен на FabricInterconnect, что позволяет использовать физические возможности оборудования и быстрее осуществлять коммутацию фреймов, по сравнению с Nexus 1000v. Вместо гипервизоров архитектура FlexPod Datacenter также поддерживает платформу контейнеризации приложений Docker Enterprise Edition (EE). В архитектуре FlexPod Datacenter присутствуют конфигурации с прямым подключением системы хранения в Cisco Fabric Interconnect, при этом коммутаторы серии Cisco Nexus являются обязательной и неотъемлемой частью архитектуры FlexPod Datacenter: вместо того чтобы коммутировать систему хранения с серверами, коммутаторы используются для подключения серверов с ядром сети для предоставления высокоотказоустойчивого сетевого подключения пользователей.

Для среднего и малого бизнеса была создана отдельная архитектура (изначально называлась ExpressPod), ориентированная, прежде всего, на задачи серверной виртуализации и виртуальной инфраструктуры рабочих мест. Существуют несколько конфигураций FlexPod Express: Small, Medium, Large и UCS-managed, в каждой может применяться один из гипервизоров Hyper-V или VMWare ESXi и системы хранения NetApp FAS2220 или FAS2240.

Конфигурации FlexPod Express Small, Medium и Large включают серверы Cisco UCS C-серии и требуют наличия коммутаторов Cisco Nexus 3048, 3594 или 9396. В конфигурациях Small, Medium и Large отсутствуют Cisco Fabric Interconnect.

Конфигурация FlexPod Express UCS-managed включает Cisco UCS-mini с блейд-серверами B-серии и Fabric Interconnect, а также может включать до 4-х серверов UCS C-серии при помощи 40Gb Fan-Out-кабеля. Эта конфигурация требует наличия коммутаторов Cisco Nexus 3048, 3524 или 9396. UCS-managed-конфигурация поддерживает прямое подключение сети хранения в Cisco Fabric Interconnect, в этом случае возможно использовать любой коммутатор поддерживающий отказоустойчивость, наподобие Multi Chassis Etherchannel.

FlexPod Select применяется для системы распределённых вычислений класса «больших данных» с использованием средств Hadoop, поддерживаются дистрибутивы от Cloudera и Hortonworks^[англ.]. Включает серверы серий UCS-C (с использованием Fabric Interconnect, FEX-адаптеров) и системы хранения NetApp FAS, E-Series используя одно из типов подключений: прямое включение, коммутаторы Cisco Catalist, Nexus или MDS. Предусматривает только «блочное» подключение по SAN или DAS для систем E-Series.

FlexPod SF наряду с FlexPod Datacenter рассчитаны на большую масштабируемость и производительность. Этот дизайн использует сетевые коммутаторы Nexus 9000, 7000 и 5000. В вычислительной части применяются блейд-серверы Cisco UCS B-серии, обязательным компонентом в этом решении является Cisco Fabric Interconnect. На данный момент поддерживается только гипервизор VMware.

Компании Cisco и NetApp создали единый центр поддержки для решений FlexPod, где специалисты могут воспроизвести ту или иную среду и диагностировать проблемы. Центр поддержки FlexPod c VMware был создан первым. Также были созданы центры кооперативной поддержки совместно с SAP, Microsoft, Oracle и Citrix посредством технического альянса TSANet. Каждое из этих направлений имеет выделенную кооперативную команду специалистов занимающихся поддержкой решений FlexPod. Для получения «совместной поддержки» как для единого решения, необходимо приобретать соответствующие сервисы от обеих компаний Cisco и NetApp. Без приобретения таких сервисов поддержка будет осуществляться как для отдельных компонент инфраструктуры.

Заказчики могут использовать подтверждённое («валидированное», англ. validated) решение или изменить конфигурацию (и получить неподтверждённое, «невалидированное» решение). Поддержка оказывается в обоих случаях, но для подтверждённых решений возможно воспроизведение ситуации в лаборатории совместной поддержки, тогда как для неподтверждённых такое воспроизведение не всегда возможно.

• netapp.com/ru/solutions/cloud/flexpod/ — официальный сайт FlexPod на сайте NetApp
• cisco.com/en/US/netsol/ns1137/index.html — официальный сайт FlexPod на сайте Cisco