OrangeFS - OrangeFS

OrangeFS
Оригинальный автор (ы)Университет Клемсона, Аргоннская национальная лаборатория и другие в Сообществе.
Разработчики)Омнибонд, Университет Клемсона, Аргоннская национальная лаборатория и члены сообщества
изначальный выпуск2011
Стабильный выпуск
OrangeFS 2.9.8
Linux kernel 5.4lts / 2 сентября 2020 г. (2020-09-02)
15 августа 2020 г. (2020-08-15)
Репозиторийgithub.com/ waltligon/ orangefs
Написано вC
Операционная системаLinux
ЛицензияLGPL
Интернет сайтwww.orangefs.org

OrangeFS является Открытый исходный код параллельная файловая система, следующее поколение Параллельная виртуальная файловая система. А параллельная файловая система это тип распределенная файловая система который распределяет данные файлов между несколькими серверами и обеспечивает одновременный доступ для нескольких задач параллельного приложения. OrangeFS был разработан для использования в крупномасштабных кластерные вычисления и используется компаниями, университетами, национальными лабораториями и аналогичными сайтами по всему миру.[1][2][3][4]

Версии и особенности

2.8.5
  • Инфраструктура межсерверной коммуникации
  • Вариант SSD для хранения распределенных метаданных
  • Полная поддержка клиентов Windows
  • Репликация неизменяемых файлов
2.8.6
  • Прямой интерфейс для приложений
  • Кэширование клиента для прямого интерфейса с согласованностью нескольких процессов в одной системе
  • Первый выпуск веб-пакета с поддержкой WebDAV и S3 через модули Apache[5]
2.8.7
  • Обновления, исправления и улучшения производительности
2.8.8
  • Обновления, исправления и улучшения производительности, Native Hadoop поддержка через JNI прокладка, поддержка более новых Ядра Linux
2.9
  • Распределенные метаданные для записей каталога[6]
  • Безопасность на основе возможностей в 3 режимах
    • Стандартная безопасность
    • Безопасность на основе ключей
    • Безопасность на основе сертификатов с LDAP поддержка интерфейса
  • Расширенная документация

История

OrangeFS возникла как ветвь разработки PVFS2, поэтому большая часть ее истории связана с историей PVFS. Двадцатилетняя обширная история OrangeFS представлена ​​на временной шкале ниже.

Ветка разработки - новое направление в развитии. Ветвление OrangeFS было начато в 2007 году, когда лидеры сообщества пользователей PVFS2 определили, что:

  • Многие были удовлетворены целями разработки PVFS2 и нуждались в том, чтобы он оставался относительно неизменным для обеспечения стабильности в будущем.
  • Другие рассматривали PVFS2 как основу, на которой можно было построить совершенно новый набор проектных задач для более продвинутых приложений будущего.

Вот почему OrangeFS часто называют следующим поколением PVFS2.

1993
Параллельная виртуальная файловая система (PVFS) была разработана Уолтом Лигоном и Эриком Блюмером в рамках гранта НАСА для изучения шаблонов ввода-вывода параллельных программ. PVFS версии 0 была основана на параллельной файловой системе Vesta, разработанной в IBM. Исследовательский центр Томаса Дж. Уотсона, и его название произошло от его разработки для работы на параллельной виртуальной машине (PVM).
1994
Роб Росс переписал PVFS для использования TCP / IP, значительно отклонившись от оригинального дизайна Весты. PVFS версии 1 был нацелен на кластер рабочих станций DEC Alpha на FDDI, предшественнике сетей Fast Ethernet. PVFS значительно обогнала Vesta в области планирования дискового ввода-вывода, когда несколько клиентов обращаются к общему файлу.
Конец 1994 г.
Центр космических полетов Годдарда выбрал PVFS в качестве файловой системы для первого Beowulf (ранние реализации массовых компьютеров на базе Linux, работающих параллельно). Лигон и Росс работали с ключевыми разработчиками GSFC, включая Томаса Стерлинга, Дональда Беккера, Дэна Риджа и Эрика Хендрикса, в течение следующих нескольких лет.
1997
PVFS выпущен как пакет с открытым исходным кодом
1999
Ligon предложил разработать новую версию PVFS. Первоначально разработанный в Университете Клемсона, проект был завершен совместными усилиями участников из Клемсона, Аргоннской национальной лаборатории и Суперкомпьютерный центр Огайо, в том числе большой вклад Фил Карнса, аспиранта Клемсона.
2003
Выпущен PVFS2, включающий серверы объектов, распределенные метаданные, размещение нескольких серверов метаданных, представления файлов на основе MPI (интерфейс передачи сообщений, протокол, оптимизированный для высокопроизводительных вычислений) для нескольких типов сетей, а также гибкую архитектуру для простого экспериментирования и расширения. PVFS2 становится проектом «Открытого сообщества», в котором участвуют многие университеты и компании по всему миру.
2005
Версия PVFS 1 была удалена. PVFS2 по-прежнему поддерживается Клемсоном и Аргонном. В последние годы различные участники (многие из них - проектировщики и разработчики уставов) продолжали улучшать производительность PVFS.
2007
Аргоннские национальные лаборатории выбрали PVFS2 для своего суперкомпьютера IBM Blue Gene / P, спонсируемого Министерством энергетики США.
2008
Лигон и другие сотрудники Clemson начали изучать возможности для следующего поколения PVFS в дорожной карте, которая включала растущие потребности массовых кластерных вычислений в бизнес-секторе. Когда они начали разрабатывать расширения для поддержки больших каталогов небольших файлов, повышения безопасности и возможностей резервирования, многие из этих целей вступили в конфликт с разработкой Blue Gene. Исходный код PVFS с разными приоритетами был разделен на две ветви. Ветвь для новой дорожной карты стала «Оранжевой» в честь школьных цветов Клемсона, а ветвь для устаревших систем была названа «Синей» из-за новаторской установки клиентов в Аргонне. OrangeFS стал новым брендом открытых систем, представляющим эту виртуальную файловую систему нового поколения с упором на безопасность, избыточность и более широкий спектр приложений.
Осень 2010 г.
OrangeFS стал основным ответвлением PVFS, а Omnibond начал предлагать коммерческую поддержку OrangeFS / PVFS, при этом запросы на новые функции от заказчиков платной поддержки получили высший приоритет в разработке. Представлен первый производственный выпуск OrangeFS.
Весна 2011 г.
Выпущен OrangeFS 2.8.4
Сентябрь 2011 г.
OrangeFS добавляет клиент Windows
Февраль 2012 г.
Выпущен OrangeFS 2.8.5
Июнь 2012 г.
Выпущена OrangeFS 2.8.6 с улучшенной производительностью, веб-клиентами и библиотеками с прямым интерфейсом. Новый веб-пакет OrangeFS обеспечивает интегрированную поддержку WebDAV и S3.
Январь 2013
Выпущен OrangeFS 2.8.7
Май 2013
OrangeFS доступен на Веб-сервисы Amazon рынок. Доступна бета-версия OrangeFS 2.9, добавляющая два новых режима безопасности и позволяющая распределять записи каталога между несколькими серверами данных.
Апрель 2014 г.
Выпущена OrangeFS 2.8.8 с добавлением общего mmap поддержка, поддержка JNI для экосистемных приложений Hadoop с поддержкой прямой замены HDFS
Ноябрь 2014 г.
В OrangeFS 2.9.0 добавлена ​​поддержка распределенных метаданных для записей каталогов с использованием расширяемого алгоритма хеширования, смоделированного по образцу Giga +, POSIX, обратно совместимая, базовая безопасность, поддерживающая несколько режимов.
Январь 2015
Выпущен OrangeFS 2.9.1
Март 2015 г.
Выпущен OrangeFS 2.9.2
Июнь 2015 г.
Выпущен OrangeFS 2.9.3
Ноябрь 2015
OrangeFS включен в выпуск CloudyCluster 1.0 на AWS
Май 2016
OrangeFS поддерживается в ядре Linux 4.6[7][8][9][10]
Октябрь 2017 г.
2.9.6 Выпущено
Январь 2018
2.9.7 Выпущено, OrangeFS rpm теперь будет включен в Fedora распределение [11]
Февраль 2019 г.
CloudyCluster v2 выпущен на торговой площадке AWS с OrangeFS
Июнь 2019
CloudyCluster v2 выпущен на GCP с OrangeFS
Июль 2019
OreangeFS интегрирована с кешем страниц Linux в ядре Linux 5.2.[12]
Январь 2020
Временное исправление OrangeFS для записи после открытых проблем, объединенное с ядром Linux 5.5
Август 2020 г.
исправление ядра до 5.4lts, которое устраняет проблемы с нестандартными размерами блоков.
Сентябрь 2020
2.9.8 Выпущено

Рекомендации

  1. ^ Эндрю Савченк (16 февраля 2013 г.). «Введение в распределенные файловые системы, опыт OrangeFS» (PDF).CS1 maint: использует параметр авторов (связь)
  2. ^ Джефф Дарси (24 февраля 2011 г.). "Проверка конкурса". Архивировано из оригинал 30 сентября 2012 г.CS1 maint: использует параметр авторов (связь)
  3. ^ «Параллельная файловая система OrangeFS начинает создавать следующую». HPCwire. 18 ноября 2011 г.
  4. ^ Эрик Слэк (29 июня 2012 г.). «Альтернатива высокопроизводительной файловой системе с открытым исходным кодом».CS1 maint: использует параметр авторов (связь)
  5. ^ Майкл Мур, Дэвид Бонни, Уолт Лигон, Николас Миллс и Шуанъян Ян, Университет Клемсона; Бекки Лигон, Майк Маршалл, Элейн Куорлз, Сэм Сэмпсон и Бойд Уилсон (2011). OrangeFS: продвижение PVFS (PDF). БЫСТРО 2011.CS1 maint: использует параметр авторов (связь)
  6. ^ Шуанъян Ян. Уолтер Б. Лигон III. Элейн К. Куорлз Университет Клемсона (2011 г.), «Реализация масштабируемого распределенного каталога в файловой системе Orange», SNAPI 2011.
  7. ^ http://lkml.iu.edu/hypermail/linux/kernel/1603.3/01187.html
  8. ^ http://news.softpedia.com/news/linux-kernel-4-6-officially-released-introduces-orangefs-usb-3-1-ssp-support-504088.shtml
  9. ^ Бекки Лигон (27 октября 2016 г.). «Объявление о выпуске OrangeFS 2.9.6».CS1 maint: использует параметр авторов (связь)
  10. ^ Майк Маршалл (18 сентября 2016 г.). "Файл Readme ядра OrangeFS".CS1 maint: использует параметр авторов (связь)
  11. ^ https://www.spinics.net/lists/fedora-package-announce/msg234344.html
  12. ^ Майк Маршалл (10 мая 2019 г.). «Фиксация ядра OrangeFS 5.2».CS1 maint: использует параметр авторов (связь)

внешняя ссылка