Распределенная файловая система OneFS - OneFS distributed file system

OneFS
Разработчики)Системы Isilon
Полное имяOneFS
Введено2003; 17 лет назад (2003) с OneFS 1.0 - на основе FreeBSD
Структуры
Содержимое каталогаB + деревья
Размещение файловB + деревья
Пределы
Максимум. размер тома66PB + (144+ узла по 470TB + каждый);[1] 65535 узлов теоретический предел
Максимум. размер файла16 ТБ
Максимум. количество файловЗависит от размера кластера
Максимум. длина имени файла255 байты
Максимум. глубина каталога509 (рекомендуется, чтобы соответствовать PATH_MAX из 1023)[1]
Допустимые символы в именах файловМногие (UTF-8, EUC-JP, CP932, CP1252, ISO-8859- *, EUC-KR, CP949). Кодировка - это запись для каталога, а не для файловой системы. Таким образом, в одном томе можно использовать несколько кодировок. UTF-8 рекомендуется как нормативный. NUL и / не допускаются в отдельных записях каталога в любой кодировке.
Функции
Даты записаныСоздайте время, переименуйте время, mtime, ctime, atime
Диапазон дат1970 к 2038 году
Разрешение датыНаносекунда
ВилкиДа (расширенные атрибуты и Альтернативные потоки данных )
Разрешения файловой системыДа (POSIX разрешения и NTFS ACL )
Прозрачное сжатиеда[2]
Прозрачное шифрованиеИнтегрирован с дисками с самошифрованием для шифрования "данные в состоянии покоя"[3]
Дедупликация данныхТолько офлайн
Копирование при записиДа (для снимков)
Другой
Поддерживается операционные системыOneFS

В Файловая система OneFS это параллельная распределенная сетевая файловая система разработано Системы Isilon и является основой для Масштабируемая платформа хранения Isilon.[3] Файловая система OneFS контролируется и управляется Операционная система OneFS, а FreeBSD вариант.[3]

Структура на диске

Все структуры данных в файловой системе OneFS поддерживают собственную информацию о защите. Это означает, что в той же файловой системе один файл может быть защищен на уровне +1 (базовая защита четности), в то время как другой может быть защищен на уровне +4 (устойчивость к четырем сбоям), в то время как еще один файл может быть защищен на уровне 2х (зеркальное отображение ); эта функция называется FlexProtect.[4] FlexProtect также отвечает за автоматическое восстановление данных в случае сбоя. Доступные уровни защиты зависят от количества узлов в кластере и соответствуют Алгоритм Рида-Соломона. Блоки для отдельного файла распределены по узлам. Это позволяет целым узлам выходить из строя без потери доступа к каким-либо данным. Файл метаданные, каталоги, снимок конструкции, квоты структуры и логический индекс структура отображения основана на зеркальном отображении B + деревья. Адреса блоков являются обобщенными 64-битными указатели эта ссылка (узел, диск, блкнум) кортежи. Собственный размер блока составляет 8192 байта; inodes - это 512 байт на диске (для дисков с 512-байтовыми секторами) или 8 КБ (для дисков с секторами по 4 КБ).

Отличительной особенностью OneFS является то, что метаданные распределяются по узлам однородным образом. Нет выделенных серверов метаданных. Единственная часть метаданных, которая реплицируется на каждом узле, - это список адресов блоков корневого дерева btree структуры сопоставления inode. Все остальное можно найти с этой отправной точки, следуя обобщенным 64-битным указателям.

Кластеризация

Набор хостов компьютеров, составляющих систему OneFS, называется "кластер". Компьютерный узел, который является членом кластера OneFS, называется"узел" (множественное число "узлы").

Узлы, составляющие систему OneFS, должны быть подключены к высокопроизводительной серверной сети с малой задержкой для оптимальной производительности. OneFS 1.0-3.0 использовал Gigabit Ethernet в качестве внутренней сети. Начиная с OneFS 3.5, Isilon предлагал InfiniBand модели. Примерно с 2007 г. до середины 2018 г. все проданные узлы использовали серверную часть InfiniBand. Начиная с моделей OneFS 8.1.0 и Gen6, Isilon снова предлагает внутреннюю сеть Ethernet (10 или 40 гигабит).[5]

Данные, метаданные, блокировка, транзакция, управление группами, распределение и трафик событий передаются с использованием RPC механизм, перемещающийся по внутренней сети кластера OneFS. Все передачи данных и метаданных нулевая копия. Все операции модификации структур на диске являются транзакционными и записанный.

Протоколы

OneFS поддерживает доступ к сохраненным файлам с использованием распространенных компьютерных сетевых протоколов, включая NFS, CIFS / SMB, FTP, HTTP, и HDFS.[3] Он может использовать нелокальную аутентификацию, например Active Directory, LDAP, и Шекелей. Он может взаимодействовать с внешними устройствами резервного копирования и приложениями, которые используют Протокол NDMP.[3]

Операционная система OneFS

Файловая система OneFS - это проприетарная файловая система, которой можно управлять только с помощью На основе FreeBSD Операционная система OneFS.[3]

zsh - это оболочка входа по умолчанию в операционной системе OneFS. OneFS представляет собой специальный набор команд для администрирования файловой системы OneFS.[6] Большинство специализированных программ оболочки начинаются с букв Иси. Заметными исключениями являются расширения Isilon для FreeBSD. ls и chmod программы.[7]

Версии

  • 1.0 "Колокол", 2.0 "Халапеньо", 3.0 "Серрано", 3.5 "Табаско"
  • 4,0 "Поблано", 4,1 "Анахайм", "4,5" Тай, 4,6 "Анчо"
  • 4.7 "Чилтепин"
    • 4.7.1 - .11
  • 5.0 "Ямайский"
    • От 5.0.0 до .8
  • 5.5 "Скотч-капот" (на основе FreeBSD 6.1)[8][9]
    • 5.5.1 - .2
    • 5.5.3 - Обновления ОС с последовательной перезагрузкой отдельных узлов.
    • 5.5.4 - Добавляет iSCSI
    • 5.5.5 - .7
  • 6.0 "Habanero" - до 10,4 ПБ в одной файловой системе
    • 6.0.1 - .4
  • 6.5 "Chopu" (на основе FreeBSD 7.3)[8]
    • 6.5.1 по .5
  • 7.0 «Mavericks» - выпущен в ноябре 2012 г .;[10] (на основе FreeBSD 7.4-STABLE)[8]
    • 7.0.1 - .2
  • 7.1 "Вайкики" - выпущен в октябре 2013 г.[11]
    • 7.1.1 «Jaws» - выпущен в июле 2014 г.[12]
  • 7.2 «Moby» - выпущен в ноябре 2014 г. [13]
    • 7.2.0, 7.2.1
  • 8.0 "Riptide" (на основе FreeBSD 10) - выпущен в феврале 2016 г.[14] - iSCSI устарел
    • 8.0.1 "Halfpipe" - выпущен в октябре 2016 г.[15]
  • 8.1 «Грузовые поезда» - выпущено в июне 2017 г.[16]
    • 8.1.1 "Niijima" - выпущено в январе 2018 г.[17][18]
    • 8.1.2 «Канагава» - выпущен в августе 2018 г.[19]
    • 8.1.3 «Сейсмический» - выпущен в январе 2019 г.
  • 8.2.0 «Pipeline» (на основе FreeBSD 11) - выпущена в мае 2019 г.[20]
    • 8.2.1 «Acela» - выпущен в сентябре 2019 г.[21]
    • 8.2.2 «Beachcomber» - выпущен в январе 2020 г.[22]
  • 9.0.0.0 "Cascades" - Выпущено в июне 2020 г.
    • 9.1.0.0 - выпущена в октябре 2020 г.[23]

Смотрите также

Рекомендации

  1. ^ а б «Isilon OneFS и IsilonSD Edge: Руководство по техническим характеристикам» (PDF). Dell Inc. 1 июня 2018 г.
  2. ^ Адам Армстронг (12 февраля 2019 г.). «Dell EMC представляет All-Flash Isilon F810». Flying Pig Ventures.
  3. ^ а б c d е ж "ОПЕРАЦИОННАЯ СИСТЕМА DELL EMC ISILON ONEFS - Обеспечение масштабируемой платформы хранения Isilon" (PDF). 9.0. Dell Inc. 1 февраля 2019 г. Цитировать журнал требует | журнал = (помощь)
  4. ^ «Защита и резервное копирование данных»[мертвая ссылка ]
  5. ^ "Производительность Isilon Gen6" (PDF). Dell Inc.
  6. ^ "Справочник по командной строке OneFS"".[мертвая ссылка ]
  7. ^ Акиб Кази (1 ноября 2018 г.). «Аутентификация, управление идентификацией и авторизация Isilon OneFS - многопротокольный доступ к данным с единой моделью безопасности» (PDF). Dell EMC.
  8. ^ а б c Определяется __FreeBSD_version определение в /usr/include/sys/param.h. Видеть Справочник FreeBSD Porter для дополнительной информации.
  9. ^ Проект документации FreeBSD. «18». __FreeBSD_version значения. Справочник FreeBSD Porter. Получено 1 декабря 2011.
  10. ^ Патель, Мона (16 ноября 2012 г.). «EMC Isilon OneFS 7.0: объединение больших данных и предприятия». Блог EMC по большим данным. Получено 18 января 2013.
  11. ^ Грокотт, Сэм (30 октября 2013 г.). "Масштабируемая система хранения больших данных Isilon OneFS 7.1 наконец-то здесь!". Блог EMC Pulse. Получено 30 октября 2013.
  12. ^ Хьюз, Кэролайн (8 июля 2014 г.). ""С запуском, @EMCIsilon! 2 фантастические новые платформы, flash как кэш, новая HDFS и изобилие производительности на OneFS 7.1.1 "Jaws!" Отличная команда!"". @carolyn_hugs Twitter. Получено 2 сентября 2014.
  13. ^ Пользователь Emciso (31 октября 2014 г.). «Выпуск OneFS 7.2.x». Dell Inc.
  14. ^ Галант, Риса (1 февраля 2016 г.). «Анонс OneFS 8.0.0».
  15. ^ Ной, Дэвид (25 октября 2016 г.). «Представляем Isilon OneFS 8.0.1».
  16. ^ Джолли, Тодд (21 июня 2017 г.). «Dell EMC объявляет о выпуске платформы Isilon поколения 6 и OneFS 8.1». Dell Inc.
  17. ^ Стивенсон, Расс (29 января 2018 г.). «Поддержка OneFS 8.1.1.0 и Cloudera CDH 5.13+ для Cloudera Navigator».
  18. ^ «Примечания к выпуску Isilon OneFS версии 8.1.1» (PDF). Dell Inc. 1 января 2018 г.
  19. ^ «Документация по OneFS 8.1.2 - Isilon Info Hub». Dell Inc. 3 августа 2018 г.
  20. ^ «Примечания к выпуску OneFS 8.2.0» (PDF). Dell Inc. 3 мая 2019 г.
  21. ^ «Примечания к выпуску OneFS 8.2.1» (PDF). Dell. 6 сентября 2019.
  22. ^ «Примечания к выпуску OneFS 8.2.2» (PDF). Dell. 16 января 2020.
  23. ^ Малфорд, Хуан (08.10.2020). «Выпущен PowerScale OneFS 9.1 от Dell Technologies». Обзор хранилища.

внешняя ссылка