Сеть хранения данных

Сеть хранения данных (англ. Storage Area Network, SAN) — представляет собой архитектурное решение для подключения внешних устройств хранения данных, таких как дисковые массивы, ленточные библиотеки, оптические приводы к серверам таким образом, чтобы операционная система распознала подключённые ресурсы как локальные^[].

SAN характеризуются предоставлением так называемых сетевых блочных устройств (обычно посредством протоколов Fibre Channel, iSCSI или AoE), в то время как сетевые хранилища данных (англ. Network Attached Storage, NAS) нацелены на предоставление доступа к хранящимся на их файловой системе данным при помощи сетевой файловой системы (такой как NFS, SMB/CIFS, или Apple Filing Protocol). При этом категоричное разделение SAN и NAS является искусственным: с появлением iSCSI началось взаимное проникновение технологий с целью повышения гибкости и удобства их применения (например, в 2003 году NetApp уже предоставляли iSCSI на своих NAS, а EMC и HDS — наоборот, предлагали NAS-шлюзы для своих SAN-массивов^[1]).

Большинство сетей хранения данных использует протокол SCSI для связи между серверами и устройствами хранения данных на уровне шинной топологии. Так как протокол SCSI не предназначен для формирования сетевых пакетов, в сетях хранения данных используются низкоуровневые протоколы:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол. Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s, 10 Gbit/s, 16 Gbit/s, 20 Gbit/s.
• iSCSI, транспорт SCSI через TCP/IP.
• iSER^[англ.], транспорт iSCSI через InfiniBand / RDMA.
• SRP^[англ.], транспорт SCSI через InfiniBand / RDMA.
• FCoE, транспортировка FCP/SCSI поверх «чистого» Ethernet.
• FCIP и iFCP, инкапсуляция и передача FCP/SCSI в пакетах IP.
• HyperSCSI, транспорт SCSI через Ethernet.
• FICON, транспорт через Fibre Channel (используется только мейнфреймами).
• ATA over Ethernet, транспорт ATA через Ethernet.

Также используется протокол NVMe over Fabrics, обеспечивающий доступ по сетевому расширению протокола NVMe.

Толчком для развития сетей хранения данных стал взрывной рост объёма деловой информации (такой как электронная почта, базы данных и высоконагруженные файловые серверы), требующая высокоскоростной доступ к дисковым устройствам на блочном уровне. Ранее на предприятии возникали «острова» высокопроизводительных дисковых массивов SCSI. Каждый такой массив был выделен для конкретного приложения и виден ему как некоторое количество томов (LUN).

Сеть хранения данных позволяет объединить эти «острова» средствами высокоскоростной сети. Также без использования технологий SCSI транспорта невозможно организовать отказоустойчивые кластеры, в которых один сервер подключается к двум и более дисковым массивам, находящимся на большом расстоянии друг от друга на случай стихийных бедствий^[].

Сети хранения помогают повысить эффективность использования ресурсов систем хранения, поскольку дают возможность выделить любой ресурс любому узлу сети.

Не стоит забывать и об устройствах резервного копирования, которые также подключаются к SAN. В данный момент^[] существуют как промышленные ленточные библиотеки (на несколько тысяч лент) от ведущих брендов^[], так и решения для малого бизнеса. Сети хранения данных позволяют подключить к одному хосту несколько приводов таких библиотек, обеспечив таким образом хранилище данных для резервного копирования от сотен терабайт до нескольких петабайт.

Совместное использование систем хранения, как правило, упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.

Другим преимуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный сервер, переконфигурировав SAN таким образом, что сервер-замена будет загружаться с LUN'а сбойного сервера. Эта процедура может занять, например, полчаса^[2]. Идея относительно новая, но уже используется в новейших датацентрах.

Дополнительным преимуществом является возможность на хосте собрать RAID-зеркало из LUNов, которые презентованы хосту с двух разных дисковых массивов. В таком случае полный отказ одного из массивов не навредит хосту.

Также сети хранения помогают более эффективно восстанавливать работоспособность после сбоя. В SAN может входить удаленный участок со вторичным устройством хранения. В таком случае можно использовать репликацию, реализованную на уровне контроллеров массивов, либо при помощи специальных аппаратных устройств. Поскольку каналы WAN на основе протокола IP встречаются часто, были разработаны протоколы Fibre Channel over IP (FCIP) и iSCSI с целью расширить единую SAN средствами сетей на основе протокола IP. Спрос на такие решения значительно возрос после событий 11 сентября 2001 года в США^[].

Порой сравнивают SAN и NAS, говоря на самом деле о разнице между сетевым диском и сетевой ФС, которая состоит в том, кто обслуживает файловую систему, хранящую данные.

В случае сетевого диска (также «блочного устройства», англ. block device):

• обмен данными с ним по сети осуществляется блоками подобно тому, как и с локальным SCSI- или SATA-диском;
• файловая система, если нужна, создаётся и управляется клиентом и, как правило, используется им одним.

В случае сетевой файловой системы («ресурс с совместным/разделяемым доступом» — не хранит, а только передаёт данные):

• обмен данными по сети происходит с применением более высокоуровневых понятий «файл» и «каталог», соответствующих объектам подлежащей «настоящей» ФС на физических дисках (либо логических поверх них в случае применения RAID, LVM);
• эта файловая система создаётся и обслуживается в рамках удалённой системы, при этом может одновременно использоваться на чтение и запись множеством клиентов.

Однокоммутаторная структура (англ. single-switch fabric) состоит из одного коммутатора Fibre Channel, сервера и системы хранения данных. Обычно эта топология является базовой для всех стандартных решений: другие топологии создаются объединением однокоммутаторных ячеек^[3].

Каскадная структура (англ. cascaded fabric) — набор ячеек, коммутаторы которых соединены в дерево с помощью межкоммутаторных соединений (англ. Inter-Switch link, ISL). Во время инициализации сети коммутаторы выбирают «верхушку дерева» (англ. principal switch, главный коммутатор) и присваивают ISL’ам статус «upstream» (вверх) или «downstream» (вниз) в зависимости от того, ведет этот линк в сторону главного свитча или на периферию.

Решётка (англ. meshed fabric) — набор ячеек, коммутатор каждой из которых соединен со всеми другими. При отказе одного (а в ряде сочетаний — и более) ISL-соединения связность сети не нарушается. Недостаток — большая избыточность соединений.

Кольцо (англ. ring fabric) практически повторяет схему топологии решётки. Среди преимуществ — использование меньшего количества ISL-соединений.

Центрально-распределённая топология (англ. core-edge fabric) практически повторяет схему топологии решётки. Среди преимуществ — меньшая избыточность соединений и высокая степень отказоустойчивости.

• Сети хранения в ретроспективе и перспективе / Статья