Earth System Grid Federation запускает проект по модернизации системы данных для климатических прогнозов
Консорциум Earth System Grid Federation (ESGF), многоагентская инициатива, занимающаяся сбором и распространением данных для наиболее авторитетных прогнозов климата Земли, готовит серию обновлений. Они сделают использование данных проще и быстрее, а также улучшат курирование информации.
ESGF, возглавляемый Национальной лабораторией Ок-Ридж при Министерстве энергетики США (DOE) в сотрудничестве с Аргоннской и Ливерморской национальными лабораториями, играет ключевую роль в создании важнейших и широко признанных прогнозов будущего климата. Речь идет о проектах сравнения сопряженных климатических моделей (Coupled Model Intercomparison Projects) для Всемирной программы исследований климата. Основная миссия ESGF — поддерживать ученых, готовящих всеобъемлющие оценки Межправительственной группы экспертов по изменению климата (IPCC), публикуемые каждые 6–7 лет. Данные ESGF лежат в основе знаковых отчетов IPCC, включая недавний Шестой оценочный доклад (AR6).
«Все данные моделей земной системы, которые попадают в отчеты IPCC, и все наиболее важные климатические симуляции со всего мира хранятся в ESGF и становятся доступными благодаря нашим сервисам», — сказал Форрест Хоффман, руководитель ESGF и группы Computational Earth Sciences в ORNL. Консорциум работает как сеть крупных компьютерных узлов в США и 17 других странах, функционируя как один большой архив.
В новой фазе проекта ученые работают над улучшением обнаружения, доступа и хранения данных. Работа будет опираться на новейшие программные инструменты, облачные вычисления, мощнейшие суперкомпьютеры и сеть ESnet DOE. В настоящее время ESnet обеспечивает скорость передачи данных 100 Гбит/с между национальными лабораториями, а ожидаемое к концу года обновление увеличит скорость до 400 Гбит/с. «Мы разработаем и развернем полностью новую, модернизированную и кибербезопасную систему для распространения выходных данных моделей в научном сообществе», — заявил Хоффман.
ORNL и ANL также разместят двойную резервную копию более 10 петабайт (и растущих) совокупных данных и моделей ESGF. Многолетний проект обновления уже реплицировал существующие данные и предоставляет услуги хранения и вычислений, необходимые для динамической генерации данных для пользователей. Аргоннская лаборатория вносит в проект свои уникальные вычислительные возможности и систему управления исследовательскими данными Globus, которая будет использоваться для аутентификации, индексации, доступа и репликации данных.
«Терабайты и петабайты, генерируемые современными климатическими моделями, требуют новых подходов к управлению и анализу данных, — отметил Иэн Фостер, руководитель проекта от ANL. — Мы обеспечим не только более быструю загрузку подмножеств данных, но и ранее неосуществимый анализ данных на суперкомпьютерах ANL и ORNL». Ливерморская лаборатория привносит в ESGF свой обширный опыт в области высокопроизводительных вычислений, центра обработки данных и программных решений, а также опыт первоначального руководства консорциумом. «Обновления облегчат и ускорят пользователям доступ к данным, которые могут помочь нам лучше понять, каким будет климат в будущем», — сказала Саша Эймс, руководитель ESGF от LLNL.