Новый метод быстрого выявления выбросов в данных мониторинга качества воздуха

Данные мониторинга атмосферного воздуха являются ключевым источником информации для общественности о качестве воздуха и широко используются во многих областях исследований, например, для улучшения прогнозирования и анализа эпизодов смога. Однако в таких данных встречаются выбросы, вызванные неисправностями приборов, влиянием суровых условий окружающей среды и ограничениями методов измерений.

На практике для выявления этих аномалий часто применяется ручная проверка. Однако с быстрым ростом объёма данных этот метод становится всё более громоздким. Для решения проблемы доктор У Хуанцзянь и доцент Тан Сяо из Института физики атмосферы Китайской академии наук предложили полностью автоматизированный метод обнаружения выбросов, основанный на вероятности остатков. Метод использует множественные регрессионные модели, а для различения выбросов применяются остатки регрессии. На основе стандартных отклонений остатков вычисляются их вероятности, и наблюдения с малой вероятностью помечаются как выбросы и удаляются компьютерной программой. Результаты опубликованы в журнале Advances in Atmospheric Sciences.

«Вводя вероятности остатков, мы можем использовать несколько правил для идентификации выбросов в рамках одной системы», — поясняет доктор У. — Например, предполагая, что остатки пространственной и временной регрессии подчиняются двумерному нормальному распределению, можно одновременно оценивать пространственную и временную согласованность для лучшего выявления аномалий».

Метод способен пометить потенциально ошибочные данные в ежечасных наблюдениях с 1436 станций Национального центра мониторинга окружающей среды Китая (CNEMC) менее чем за минуту. Фактически он уже используется в системе прогнозирования качества воздуха CNEMC и будет интегрирован в систему управления данными. Ожидается, что в ближайшем будущем выбросы в данных о качестве воздуха в реальном времени будут удаляться автоматически.