Статистическая техника для автоматической очистки ошибочных данных наблюдений с метеозондов

Дважды в день с 700 точек по всему миру в атмосферу запускаются метеозонды для наблюдения за условиями в верхних слоях атмосферы. С 1920-х годов были произведены десятки миллионов таких запусков радиозондов, создавших огромный архив данных, критически важных для прогноза погоды и климатического моделирования. В таком большом массиве данных неизбежные ошибки могут значительно влиять на результаты моделирования.

Ин Сунь, доцент прикладной математики и вычислительных наук в Университете науки и технологий им. Короля Абдаллы (KAUST) в Саудовской Аравии, совместно с исследователями из Колорадской горной школы и Университета Бэйлора (США) разработала метод удаления этих ошибок с помощью надежного статистического анализа данных.

Ошибок в данных «слишком много, чтобы исправлять их вручную, поэтому нам нужен автоматический метод для выявления таких случайных ошибок», — пояснила Сунь. Существуют автоматические методы удаления систематических ошибок, таких как изменения местоположения или единиц измерения. Однако не было способа удалить действительно ошибочные данные, включая опечатки при вводе, ошибки передачи или неточное отслеживание шара, не удаляя при этом экстремальные, но реальные измерения — одни из наиболее важных данных для прогнозирования.

Сосредоточившись конкретно на данных о ветре, Сунь и её коллеги разработали статистический подход, обеспечивающий надежное различение экстремальных значений и случайных ошибок. «Наш подход учитывает более реалистичное распределение вектора ветра, которое является асимметричным с длинным хвостом редких экстремальных значений, — сказала Сунь. — Это позволяет пометить наблюдения, которые с высокой вероятностью являются ошибками, как потенциальные выбросы, не удаляя экстремальные значения».

Помимо применения к новым ежедневным данным, эта схема обнаружения ошибок также может использоваться для огромных объемов архивных наблюдений радиозондов по всему миру. «Мы разрабатываем быстрый и автоматический метод обнаружения выбросов. Мы сможем использовать его для быстрой обработки миллионов записей в архиве», — отметила Сунь.