Дискриминантный анализ

Дискриминантный анализ — это аппарат математической статистики для решения задач классификации. В общем виде задача классификации ставится следующим образом. Имеется (k) совокупностей (\pi_1, \pi_2, \dots, \pi_k) с функциями распределения (F_1(x), F_2(x), \dots, F_k(x)), которые определены полностью или с точностью до значений параметров. Наблюдение (x), о котором заранее известно, что оно принадлежит к одной из этих совокупностей, должно быть отнесено к одной из совокупностей (\pi_1, \pi_2, \dots, \pi_k) с минимальной ошибкой. Обычно классификация происходит по нескольким признакам, то есть рассматривается векторная случайная величина. Функция наблюдений, которая применяется для классификации наблюдений, называется дискриминантной функцией.

Дискриминантную функцию естественно выбирать так, чтобы ошибка классификации была минимальной. Если заданы две нормальные совокупности (N(A_1, \Lambda)) и (N(A_2, \Lambda)), где (A_i) — вектор математических ожиданий ((i = 1,2)), (\Lambda) — ковариационная матрица, то линейная дискриминантная функция (Z) имеет вид:

[ Z = X^{\tau \Lambda}{-1} (A_1 - A_2). ]

Здесь (X^{\tau) — транспонированная матрица, (\Lambda}{-1}) — обратная матрица.

В случае различных ковариационных матриц ((\Lambda_1 \neq \Lambda_2)) у распределений дискриминантная функция принимает квадратичный вид:

[ Z = (X - A_1)^{\tau \Lambda_1}{-1} (X - A_1) - (X - A_2)^{\tau \Lambda_2}{-1} (X - A_2). ]

Если параметры распределений неизвестны, вместо них обычно подставляют соответствующие оценки по выборке. При классификации важно указать границу между совокупностями, называемую порогом. На практике порог часто устанавливают визуально.

Применение

Дискриминантный анализ применим во всех задачах, где необходимо разделить наблюдения на два или несколько классов. Особенно широко он распространён в петрологии, литологии и геохимии.

Современный контекст

В современной науке дискриминантный анализ активно используется в рамках статистического анализа данных и машинного обучения. С развитием вычислительных мощностей (с 2000-х годов) он дополнен методами робастного оценивания и непараметрическими подходами (ядерные функции). Для обработки геологических данных (например, при классификации магматических пород или геохимических проб) применяются также методы главных компонент (PCA) и случайного леса, что позволяет повысить точность разделения при невыполнении условий нормальности распределений.