Максимизация правдоподобия в логистической регрессии: пошаговый разбор

Обучение логистической регрессии не сводится к минимизации среднеквадратичной ошибки — модель ищет такие коэффициенты, при которых наблюдаемые данные становятся наиболее вероятными. Этот принцип, называемый максимизацией правдоподобия (MLE), лежит в основе всей логистической классификации: от скоринга заёмщиков до оценки вероятности роста цены квартиры. Разберём его досконально — от математического обоснования до практических нюансов.

Что такое правдоподобие и зачем оно нужно

Целевая переменная в логистической регрессии бинарна: дефолт/не дефолт, рост цены/падение, попадание объекта в инвестиционно привлекательный сегмент. Для каждого i‑го наблюдения модель вычисляет вероятность \(p_i\) принадлежности к классу 1, а затем ищет такие параметры \(\beta\), чтобы вероятность получить именно эту последовательность исходов в обучающей выборке была максимальной.

Принципиально важно разделять понятия:

Вероятность отвечает на вопрос «Какой исход наиболее вероятен при заданных коэффициентах?» и описывает поведение модели на новых данных.
Правдоподобие — это мера того, насколько хорошо фиксированная модель (с конкретными \(\beta\)) объясняет уже имеющуюся выборку. Оно не прогнозирует, а оценивает согласованность.

Именно поэтому обучение логистической регрессии — статистическое оценивание, а не произвольный подбор параметров. Мы не «угадываем» веса, а выводим их из данных с помощью вероятностной логики.

Модель логистической регрессии в одной формуле

Вероятность положительного исхода задаётся сигмоидой:

\[ p_i = P(y_i=1 \mid x_i) = \frac{1}{1 + e^{-z_i}}, \quad z_i = \beta_0 + \beta_1 x_{i1} + \dots + \beta_k x_{ik} \]

Здесь \(z_i\) — линейный индекс, взвешенная сумма признаков объекта. Именно знак и величина \(z_i\) управляют близостью \(p_i\) к 0 или 1. Если \(y_i = 1\), модель стремится сделать \(p_i \approx 1\); если \(y_i = 0\) — \(p_i \approx 0\). Это стремление и формализуется функцией правдоподобия.

Как выглядит функция правдоподобия

Для одного наблюдения бинарный отклик описывается удобной конструкцией:

\[ P(y_i \mid x_i) = p_i^{y_i}(1-p_i)^{1-y_i} \]

При \(y_i=1\) выражение превращается в \(p_i\), при \(y_i=0\) — в \(1-p_i\). Тогда правдоподобие всей выборки — произведение таких множителей:

\[ L(\beta) = \prod_{i=1}^{n} p_i^{y_i}(1-p_i)^{1-y_i} \]

Смысл прозрачен: если модель правильно предсказывает высокий шанс для положительных примеров и низкий для отрицательных, каждый множитель близок к 1, а итоговое \(L(\beta)\) — к своему максимуму. Ошибки же резко уменьшают произведение, так как хотя бы один сомножитель становится очень маленьким.

Почему почти всегда работают с логарифмом

Перемножение тысяч вероятностей быстро приводит к исчезающе малым числам, с которыми вычислительные алгоритмы справляются плохо. Поэтому переходят к логарифму правдоподобия, который заменяет произведение суммой:

\[ \ell(\beta) = \sum_{i=1}^{n} \left[y_i \ln(p_i) + (1-y_i)\ln(1-p_i)\right] \]

Максимизация \(\ell(\beta)\) математически эквивалентна максимизации исходного \(L(\beta)\), но выполняется численно устойчиво.

Что даёт логарифм

Превращает произведение вероятностей в сумму, избегая численного переполнения.
Стабилизирует работу градиентных методов — поверхность становится более гладкой.
Позволяет легко выводить компактный градиент: \(\nabla \ell = X^T (y-p)\).
Делает возможным применение методов второго порядка (Newton‑Raphson, IRLS) без взрывных вычислений.

В любых библиотеках машинного обучения под капотом обычно минимизируют отрицательный логарифм правдоподобия, даже если в документации лишь упомянуто «обучение по методу MLE».

Пошаговый разбор: как происходит максимизация

Шаг 1. Задаём модель

Фиксируем параметризацию: \(p_i = \sigma(X_i \beta)\), где \(\sigma(\cdot)\) — сигмоида, \(X_i\) — вектор признаков (с единицей для свободного члена). Например, в задаче оценки ипотечного риска \(X_i\) может включать доход, кредитную историю и стоимость жилья.

Шаг 2. Записываем цель оптимизации

Необходимо найти вектор \(\beta\), максимизирующий \(\ell(\beta)\). Эквивалентная — и вычислительно более удобная — формулировка: минимизировать отрицательный логарифм правдоподобия \(-\ell(\beta)\). Эта величина в точности равна log loss (кросс‑энтропии) для бинарной классификации. Чем меньше log loss, тем лучше откалиброваны вероятности.

Шаг 3. Считаем градиент

Градиент логарифмической функции правдоподобия выводится элементарно и имеет чрезвычайно компактную форму:

\[ \nabla \ell(\beta) = X^T (y — p) \]

где \(y\) — вектор истинных меток, \(p\) — вектор предсказанных вероятностей. Если модель систематически занижает \(p\) для положительных примеров, компоненты \(y-p\) положительны, и веса подталкиваются вверх; если завышает — корректируются вниз. Это та самая «обратная связь», которая направляет поиск к оптимальным параметрам.

Шаг 4. Обновляем коэффициенты

Используя градиент, можно выполнить итеративное обновление по схеме градиентного спуска: \(\beta^{(t+1)} = \beta^{(t)} + \eta \nabla \ell\). Однако на практике для логистической регрессии чаще задействуют более эффективные методы, учитывающие кривизну целевой функции: Newton‑Raphson, IRLS или квази‑ньютоновские алгоритмы типа L‑BFGS. Они сходятся за меньшее число итераций и менее чувствительны к выбору шага \(\eta\).

Шаг 5. Проверяем сходимость

Итерации прекращают, когда:

изменение логарифма правдоподобия между шагами падает ниже заданного порога (например, \(10^{-6}\)),
норма градиента становится почти нулевой,
или коэффициенты практически перестают меняться.

Поскольку задача выпуклая, при корректной нормировке признаков алгоритм практически всегда находит глобальный максимум, а не застревает в локальных ямах.

Newton-Raphson и IRLS: почему они популярны

Идея Newton-Raphson

Метод использует не только первую производную (градиент), но и вторую — матрицу Гессе \(H = -X^T W X\), где \(W\) — диагональная матрица с элементами \(p_i(1-p_i)\). Гессиан описывает кривизну лог‑правдоподобия, и шаг в направлении \(H^{-1} \nabla \ell\) представляет собой оптимальный спуск в квадратичной аппроксимации. Для логистической регрессии это обеспечивает очень быструю сходимость — часто за 5–10 итераций.

Идея IRLS

IRLS (iteratively reweighted least squares) — альтернативная, но эквивалентная формулировка Newton‑Raphson. На каждой итерации мы решаем взвешенную задачу наименьших квадратов, где веса объектов равны \(p_i(1-p_i)\). Это означает:

Объекты, в которых модель не уверена (\(p \approx 0.5\)), получают наибольший вес — их влияние на уточнение параметров максимально.
Объекты с уверенными предсказаниями (вероятность близка к 0 или 1) практически не влияют на обновление.

Такой подход делает обучение стабильным и интуитивно понятным: модель сосредотачивается там, где она ошибается сильнее всего.

Таблица: что именно максимизируется и что получается на выходе

Элемент	Смысл	Практический результат
Функция правдоподобия \(L(\beta)\)	Насколько параметры объясняют выборку	Теоретическая основа оценки
Лог‑правдоподобие \(\ell(\beta)\)	Удобная для расчётов форма	Основа численной оптимизации
Отрицательный log loss	То же самое, но для минимизации	Стандартная функция потерь, калибрующая вероятности
Градиент \(\nabla \ell\)	Направление наискорейшего роста лог‑правдоподобия	Обновление коэффициентов, интерпретация «давления» признаков
Гессиан \(H\)	Кривизна поверхности \(\ell(\beta)\)	Оптимальный размер шага в методах второго порядка

Типовой алгоритм обучения на практике

Подготовить признаки: заполнить пропуски, закодировать категориальные переменные, при необходимости сгенерировать взаимодействия.
Добавить константный член \(\beta_0\) (свободный член), если он не включён автоматически.
Задать начальные коэффициенты — обычно нули или небольшие случайные числа.
Вычислить вероятности \(p_i\) с текущими \(\beta\).
Вычислить значение логарифмического правдоподобия.
Найти градиент и (для методов второго порядка) Гессиан.
Обновить вектор \(\beta\) согласно выбранному оптимизатору.
Повторять шаги 4–7, пока не сработает критерий остановки.

Где чаще всего допускают ошибки

1. Путают правдоподобие и вероятность

Базовая категориальная ошибка: «модель находит самые вероятные данные». На самом деле она подбирает параметры так, чтобы уже наблюдённая выборка была максимально согласована с моделью. Вероятность же — это предсказание для нового наблюдения, а правдоподобие — ретроспективный критерий качества подгонки.

2. Игнорируют масштаб признаков

Когда один признак измеряется в рублях (миллионы), а другой — в долях единицы, линии уровня логарифмического правдоподобия становятся чрезвычайно вытянутыми. Градиентный спуск начинает осциллировать и сходится крайне медленно. Стандартизация (центрирование к среднему и деление на стандартное отклонение) решает проблему и одновременно улучшает интерпретацию коэффициентов.

3. Забывают про переобучение

Если признаков много, а наблюдений мало, максимизация правдоподобия без ограничений может привести к идеальному разделению на обучении и абсолютно нестабильным вероятностям на новых данных. Регуляризация L1 или L2 (добавка штрафа к \(-\ell(\beta)\)) заставляет модель «не быть слишком самоуверенной».

4. Не проверяют разделимость классов

При совершенной или почти совершенной разделимости линейная комбинация признаков может однозначно отделить классы. Тогда коэффициенты неограниченно растут, а правдоподобие стремится к идеалу, но численная оптимизация зависает или выдаёт экстремально большие веса. Обнаруживается это завышенными стандартными ошибками и требует либо регуляризации, либо пересмотра набора признаков.

5. Путают качество классификации и качество вероятностей

Accuracy, F‑мера и AUC оценивают только способность расставить объекты по порядку или присвоить метку. Но если задача требует реалистичных вероятностей (например, расчёт ожидаемого убытка от ипотечного портфеля), нужна калибровка. Log‑loss непосредственно штрафует отклонения предсказанных вероятностей от фактических исходов, поэтому более адекватен для вероятностных задач.

Как это использовать в экономике и недвижимости

Аналитика рынка жилья и ипотечного кредитования изобилует задачами, где нужна не просто бинарная метка, а обоснованная вероятность события. Логистическая регрессия с MLE отлично вписывается в такие сценарии:

Прогноз роста цены объекта через год на основе локации, площади, этажности, инфраструктуры. Интерпретация коэффициентов позволяет сказать: «каждый дополнительный квадратный метр увеличивает шансы на рост в 1.05 раза при прочих равных».
Вероятность просрочки по ипотеке — ключевой элемент скоринга заёмщиков. Модель оценивает риски, а не просто решает «выдать/не выдать», давая банку численный повод для регулирования ставки или суммы.
Оценка инвестиционной привлекательности квартиры: будет ли объект продан быстрее медианного срока. Здесь целевая переменная — бинарный индикатор быстрой продажи, а вероятность используется для ранжирования вариантов.
Сегментация объектов недвижимости на «ликвидные» и «неликвидные» с калиброванной вероятностью, что помогает риэлторам устанавливать стартовую цену.

Главное преимущество — интерпретируемость. Если дополнительно преобразовать коэффициенты в отношения шансов (\(\exp(\beta)\)), то влияние каждого фактора становится наглядным даже для неспециалистов.

Практический чек-лист перед обучением модели

Убедиться, что целевая переменная действительно бинарна (0/1).
Исключить утечку данных: в признаки не должны попадать величины, которые становятся известны только после наступления целевого события.
Привести числовые признаки к сопоставимому масштабу (стандартизация или, для разреженных данных, нормализация без центрирования).
Обработать пропуски (удаление, заполнение медианой/модой, моделирование пропусков как отдельного признака).
Проверить наличие выбросов, искажающих линейный индекс.
Оценить мультиколлинеарность (VIF, корреляционная матрица) и при необходимости удалить избыточные признаки.
Выбрать релевантную метрику контроля: log‑loss для калибровки, AUC‑ROC для общего качества разделения, calibration curve — для проверки честности вероятностей.
Если признаков много, добавить регуляризацию (L1 — для отбора, L2 — для подавления избыточной сложности).
Протестировать устойчивость коэффициентов на кросс‑валидации и бутстрапе.

Короткий пример интерпретации

Пусть в модели вероятности быстрой продажи квартиры коэффициент при бинарном признаке «шаговая доступность метро» равен \(0.7\). Тогда отношение шансов:

\[ e^{0.7} \approx 2.01 \]

Это означает: при прочих равных условиях наличие метро в пешей доступности увеличивает шансы на быструю продажу примерно вдвое по сравнению с объектами, удалёнными от метро. Знак коэффициента здесь принципиально важнее абсолютной величины: положительный коэффициент — фактор увеличивает шансы, отрицательный — уменьшает.

Когда MLE работает особенно хорошо

Объём данных достаточен для надёжной оценки параметров (обычно от нескольких сотен наблюдений при умеренной размерности).
Целевая переменная чисто бинарна, а предпосылка линейности по \(z\) адекватна предметной области.
Число признаков не превышает критически число наблюдений, либо применяется регуляризация.
Приоритетна интерпретируемость: бизнес‑эксперт должен понимать, почему модель дала ту или иную вероятность.
Требуются хорошо откалиброванные вероятности, а не только класс — например, для расчёта ожидаемых потерь при ипотечном кредитовании.

Когда одной максимизации правдоподобия мало

При сильном зашумлении данных и нестабильности коэффициентов без регуляризации.
Редкий положительный класс (например, мошеннические сделки с недвижимостью) — тогда дисбаланс искажает максимум правдоподобия в сторону большинства, и требуются техники балансировки или взвешивания.
Сильная корреляция признаков делает оценки неустойчивыми, хотя предсказательная сила может сохраняться; PCA или регуляризация помогают.
Высокая размерность при малом количестве записей (генетические данные, текстовые признаки) — L1‑регуляризация или байесовские методы становятся обязательны.
Наличие нелинейных эффектов, которые нельзя адекватно уловить линейным индексом; тогда либо создают полиномы и взаимодействия, либо переходят к обобщённым аддитивным моделям (GAM) или градиентному бустингу.

Вывод

Максимизация правдоподобия — не просто математический трюк, а логика, превращающая логистическую регрессию в вероятностно обоснованный классификатор. Модель не подгоняет веса эвристически, а ищет такие параметры, при которых наблюдаемые классы наиболее естественно вытекают из структуры данных. Результат — интерпретируемая, предсказуемая и уместная во множестве прикладных задач основа: от оценки ипотечных рисков до инвестиционной сегментации недвижимости. Понимание MLE и его вычислительных аспектов помогает правильно формулировать бизнес‑вопросы, избегать типичных ловушек и строить модели, которым действительно можно доверять.

FAQ

Что именно максимизирует логистическая регрессия?

Она максимизирует вероятность наблюдать именно те метки, которые присутствуют в обучающей выборке при текущих параметрах. Численно удобнее работать с логарифмом этой вероятности — логарифмическим правдоподобием.

Почему используют логарифм, а не исходную функцию?

Логарифм заменяет произведение множества вероятностей (которое быстро стремится к машинному нулю) на сумму, обеспечивая численную устойчивость и упрощение производных: градиент приобретает простой вид \(X^T(y-p)\), что критически ускоряет вычисления.

Это то же самое, что минимизация ошибки?

Не совсем в привычном смысле. Минимизируется отрицательный log‑loss, который абсолютно эквивалентен максимизации логарифмического правдоподобия. Это не среднеквадратичная ошибка, а кросс‑энтропия, ориентированная на калибровку вероятностей.

Какой метод оптимизации используется чаще всего?

Для небольших и средних наборов данных — Newton‑Raphson или его переформулировка IRLS, сходящиеся за несколько итераций. При большом числе признаков применяют квази‑ньютоновские методы (L‑BFGS), а для очень больших разреженных данных — coordinate descent с регуляризацией.

Почему логистическая регрессия так популярна?

Она сочетает простоту, вычислительную эффективность и глубокую интерпретируемость. Модель выдаёт не только класс, но и честную вероятность, что принципиально для риск‑менеджмента и финансового анализа. А прозрачная структура позволяет объяснить решение, например, клиенту банка или инвестору в недвижимость.