Регрессия

Регрессия (от лат. regressio — движение назад) — в теории вероятностей и математической статистике зависимость среднего значения случайной величины η от значений другой случайной величины ξ (или нескольких величин). Точнее, регрессией называется условное математическое ожидание ( E(η|ξ) = \int_{-\infty}^{\infty} y \cdot f(y|x) dy ), где ( f(x, y) ) — плотность совместного распределения η и ξ.

Если из всех функций ( g(ξ) ) найти такую, которая даёт наилучшее (в смысле метода наименьших квадратов) представление η, то её график называется кривой регрессии. Если же класс функций ( g(ξ) ) задан заранее, то полученная кривая называется кривой средней квадратической регрессии.

  • Линейная регрессия — в случае, когда ( g(ξ) = α + βξ ), где α и β — коэффициенты регрессии:

    • ( α = m_2 - β m_1 );
    • ( β = \frac{σ_{12}}{σ_12} ), где ( m_1 = Eξ ), ( m_2 = Eη ), ( σ_12 = Dξ ), ( σ_2^2 = Dη ), ( σ_{12} = \text{cov}(ξ, η) ).

  • Множественная линейная регрессия — для n случайных величин ( ξ_1, \ldots, ξ_n ) с конечными вторыми моментами плоскость средней квадратической регрессии ( ξ_1 ) относительно ( ξ_2, \ldots, ξ_n ) имеет вид: [ ξ_1 = β_{12(3,4,\ldots,n)} ξ_2 + β_{13(2,4,\ldots,n)} ξ_3 + \ldots + β_{1n(2,3,\ldots,n-1)} ξ_n, ] где ( β_{ik(1,2,3,\ldots,n)} ) — коэффициент регрессии, равный: [ β_{ik} = -\frac{\Lambda_{ik}}{\Lambda_{ii}}, ] ( \Lambda_{ik} ) — алгебраическое дополнение элемента ( λ_{ik} ) в определителе ( \Lambda = |λ_{ik}| ), ( λ_{ik} = E(ξ_i - Eξ_i)(ξ_k - Eξ_k) ). Аналогично определяется плоскость регрессии для любой другой случайной величины ( ξ_i ) относительно остальных.

Если функция ( g(ξ) ) нелинейна относительно вектора ( ξ = (ξ_1, \ldots, ξ_n) ), то поверхность регрессии имеет более сложный вид, чем плоскость.

Применение в науках о Земле

Уравнения регрессии используются в случаях, когда по значениям одной или нескольких величин необходимо предсказать условное среднее другой величины. Например, в минералогии по оптическим константам минералов вычисляют их состав.

Одномерные регрессии, отнесённые к координатам, называют временным трендом. Двумерные регрессии от географических координат — площадным трендом (см. Тренд-анализ), который широко распространён в практике геологических работ.