Как глубокое обучение выводит автоматическое обнаружение облаков на новые высоты

Атмосферные ученые часто анализируют данные изображений в поисках облаков, что является частью исследований для понимания земных систем. Ручная разметка изображений пиксель за пикселем занимает много времени, поэтому исследователи полагаются на автоматические алгоритмы обнаружения облаков, но их точность оставляет желать лучшего.

Недавно исследователи из Тихоокеанской северо-западной национальной лаборатории Министерства энергетики США проверили, может ли глубокое обучение — отдельное подмножество машинного обучения — справиться с идентификацией облаков в данных лидара лучше, чем современные алгоритмы, основанные на физических моделях. Ответ — однозначное «да». Новая модель гораздо ближе к результатам экспертов, но занимает лишь малую часть времени. Лидар — это прибор дистанционного зондирования, излучающий лазерный импульс и собирающий обратный сигнал, рассеянный каплями облаков или аэрозолями. Такие данные являются важной частью глобального прогнозирования.

Ученый-эколог Донна Флинн заметила, что в некоторых случаях то, что алгоритмы определяли как облака на изображениях лидара, плохо совпадало с оценкой эксперта. Алгоритмы склонны переоценивать границы облаков. «Современный алгоритм идентифицирует облака широкими мазками, — говорит Флинн, со-руководитель проекта. — Нам нужно точнее определять истинную верхнюю и нижнюю границы облака и различать множественные слои облаков».

Для обучения модели требовались правильно размеченные данные («истинные данные»). Флинн потратила около 40 часов, вручную размечая пиксель за пикселем данные лидара за примерно 100 дней, собранные на южной Великой равнине — атмосферной обсерватории, входящей в пользовательский объект Atmospheric Radiation Measurement в Оклахоме. Учитывая трудоемкость этого процесса, вычислительный ученый PNNL и со-руководитель Эрол Кромвель использовал методы обучения, требующие минимального объема размеченных данных. Модель учится через самоанализ, сравнивая свои результаты с ручной разметкой и корректируя вычисления, циклично улучшаясь.

После обучения модель глубокого обучения превзошла текущие алгоритмы. Ее точность почти удвоилась и стала намного ближе к экспертной оценке, но за доли времени. Следующие шаги — оценить работу модели на данных лидара, собранных в разных местах и в разные сезоны. Первые тесты на данных обсерватории ARM на мысе Оликток на Аляске обнадеживают. «Преимущество модели глубокого обучения — в передаточном обучении, — говорит Кромвель. — Мы можем дообучить модель данными с Оликтока, чтобы повысить ее надежность».

«Снижение источников неопределенности в глобальных модельных прогнозах особенно важно для сообщества атмосферных наук, — отмечает Флинн. — Благодаря повышенной точности глубокое обучение увеличивает нашу уверенность. Плюс, оно дает нам больше времени, чтобы быть на улице и смотреть на настоящие облака!»