Калибровка и валидация скоринговых моделей: Gini, KS, PSI

Скоринговая модель может демонстрировать высокий AUC на тестовой выборке и при этом полностью провалиться в реальной эксплуатации. Знакомая ситуация: кривая ROC выглядит отлично, но как только модель встречает свежие данные — начинаются расхождения между прогнозными вероятностями и фактической частотой дефолтов, а бизнес-метрики ползут вниз. Чтобы не попасть в эту ловушку, модель недостаточно просто прогнать через кросс-валидацию — её нужно корректно откалибровать, проверить на устойчивость и поставить на регулярный мониторинг. В контексте кредитного скоринга, оценки ипотечных рисков и задач бинарной классификации объектов недвижимости (скажем, «перспективный / неперспективный» по росту стоимости) сложился устойчивый набор из трёх ключевых метрик: Gini, KS и PSI.

Каждая из них решает свою задачу, и воспринимать их нужно не как конкурирующие показатели, а как компоненты единой системы диагностики модели — на этапах разработки, валидации, внедрения и последующего жизненного цикла.

Зачем вообще нужны Gini, KS и PSI

Формально все три метрики относятся к разным аспектам качества модели, и попытка заменить одну другой обычно приводит к неверным управленческим решениям. Разберём их функциональное назначение по существу.

Gini — это метрика ранжирующей способности. Если мы строим модель для ипотечного скоринга и хотим, чтобы она уверенно отделяла заёмщиков с высоким риском дефолта от надёжных, Gini как раз и измеряет, насколько хорошо модель справляется с этой задачей. Он отвечает на вопрос: «Если мы возьмём случайную пару „плохой — хороший“, с какой вероятностью модель поставит плохому более высокий риск?» Формально Gini — линейное преобразование AUC, но в скоринговой культуре он укоренился именно как интуитивно понятный показател.

KS (Колмогоров-Смирнов) фокусируется на максималном разрыве между накопленными распределениями двух класссов. По сути это ответ на вопрос: «В какой точке шкалы скорингового балла модель лучше всего разделяет дефолтных и недефолтных клиентов?» KS удобен для выбора порога отсечения и для бизнес-обоснования модели — его легко обьяснит коллегам, далёким от математ statistics.

PSI (Population Stability Index) стоит особняком. Он не измеряет качество classификации — он оцениевает, насколко стабилно распределение входных признков или самого скорингового балла по сравнениу с базовым периодом. Если Gini и KS — это про «насколко хороша модель сейчас», то PSI — это про «насколко она остаётся применимой завтра».

Если сформулироват коротко:

• Gini и KS — диагностика разделяющей силы;
• PSI — диагностика стабилности во времени.

Именно поэтому зрелая скоринговая пратика никогда не опирется на одну цифру. Связка Gini + KS + PSI — это минимум, необходимый для обоснованого суждения о состоянии модели.

Что такое калибровка и чем она отличатся от валидации

Путаница между валидацией и калибровкой — одна из самх распротранённых методологичеких ошибок, причём не толко у начинющих аналитиков. На самом деле это два разнх этапа с принципиално разным фокусом.

Валидация

Валидация отвечает на вопрос: «Могу ли я доверять моделе на новх даннх?» Это комплексная проверка, в ключающая:

• оценку качесва ранжирования (AUC, Gini);
• проверку устойивости на отложеной выбоке;
• диагностику переобучения — когда модель «запомнила» обучающие данне, но не обобщает закономерности;
• анализ поведения на сегментах: не проваливается ли модель на определённых категорях заёмщиков или типов обектов;
• оценку стабилности признков и скоринговых баллов.

Если модель проходит валидацию, это значит, что её ранжирующая способност соизмерима с ожиданиями и не деградирует на отложеных выборках. Но это ещё не гарантирует, что вероятности, которе она выдаёт, имеют физический смылс.

Калибровка

Калибровка смтрит на другой вопрос: «Соответствуют ли вероятности, которе генерирует модель, реалной частоте собитий?»

Представте: модель выаёт для обекта недвижимости вероятност рота цены в следущем квартале на уровне 20%. Если она откалибрована коррекно, то среи всех обектов, для которх модель дала такую оценку, действително примерно 20% покажут рост. Если же фактиеская доля таких обектов окажется 10% иле 35% — модель системтиески завышает лее занижает вероятност, и это уже пробема.

Для бизнеса некалиброванная модел опасна по нескольким причинам:

• неверные лимиты при кредитовании — одобряем тех, кого не следовал бы, лее отказываем надёжным заёмщикам;
• искажённое ценообразование — ставка не отражает итинный уровен риска;
• ошибки в резервировании — капитал отвлекатся неоптимално;
• некоректный cut-off — парог отсечения теряет экономический смылс;
• невозможност коректной интрепретации PD-моделей, где вероятност дефолта должна соответсвовать регуляторным требовниям.

Простая аналогя

Если модели поручить отсортироват клиентов по риску от наименее к наолее рискованному — это валидация: мы проверяем, правилно ли модел выстраивает порядок. А если модел для каждого клиента называет конретную цифру вероятности дефолта, и эта цифра должна совпадат с фактиеской частотой, — это калибровка. Модел может идеално ранжировать (высокий Gini) и при этом системтиески завышат лее занижат вероятност — то ест быт некалиброваной.

Gini: основная метрика качесва ранжирования

В скоринг-сообществе Gini давно стал рабочей лошадкой. Фактиески это та же ROC AUC, толко выраженная в другой шкале — от 0 (случайное угадывание) до 1 (идеалное разделение). Связь проста:

\[ Gini = 2 \cdot AUC — 1 \]

При AUC = 0.5 модель работает не лучше подбрасывания монетки — Gini равен 0. При AUC = 1, то ест модел безошибочно разделяет классы, Gini достигает 1.

Как интрепретироват Gini

Чем выше Gini, тем уверенне модель разделяет «плохих» и «хороших». Но, как и с любой метрикой, важен контекст:

• Gini ближе к 0 — модел пракиески не различает классы, её использование бесмылено;
• средний Gini (для кредитного скорига обычно 0.3–0.6) — модел пригодна к использованию, но требует сегментного анализа: возможно, на одних сегментах она работат хорошо, а на друхих — проваливается;
• высокий Gini (выше 0.7) — модел уверенно ранжирует, однако это не снимат вопрос о калибровке и стабилности во времени.

Важный нюанс

Высокий Gini — это хоршая новост, но не достаточная. Я не раз видл ситуации, когда модел с Gini 0.75 на тесте прекрасно ранжировала, но системтиески завышала PD в 1.5–2 раза. Бизнес при этом ориентровался на вероятност, устанваливал консервативные лимиты и терял прибыл. Поэому правилное ранжирование и коррекная калибровка — два независмых требования к моделе.

Где чаще всео ошибаются

• воспринимают Gini как единственую метрику качесва и игнорируют PSI;
• сравнивают моделе толко по обшей выборке, не проверяя Gini на отложеных по времени данных;
• не отслеживают деградацию Gini во времени — сегодя 0.7, через полгода может упст до 0.5;
• пропускают сегменты, на которх Gini падает до уроня случайного угадывания, ходя общий показател выгядит приемлемо.

KS: метрика максималного разделения класссов

KS-статисика (от Критерия Колмогорова-Смирнова) — это максималная разниц между накопленными функциями распределения «плохих» и «хороших» обектов вдоль шкалы скорингового балла. В отличие от Gini, которй оценивает интегальное качесво ранжирования, KS фокусируется на одной точке — той, где модель демонстрирует самую сильную дискриминационную способност.

Что показвает KS

Есле отсортироват всех клиентов по возрастнию скорингового балла и построит кумулятивные доли дефолтных и надежных, KS отвечает на вопрос: «В какой точке модели удаётся достич максималного разрыва между группами?» Чем выше KS, тем силнее различие между распределениями и тем лучше модел разделяет классы.

В контексте недвижимости это можно представить так: строим модел, которая оценивает вероятност того, что обект окажется инвеcтиционно привлкателным. KS покажет, в каком диапазоне скоринговых баллов модель наболее уверенно отделяет перспективные обекты от бесперспективных.

Почему KS любят в кредитном скоринге

• легко обьяснит бизнесу: «Наша модел разделяет клиентов так, что на таком-то уроне балла разниц в долях дефолтных и надежных максимална»;
• удобен для быстрого сравнения моделей;
• хорошо работат как контролная метрика — если KS резко падает, это сигнал о пробемах;
• помогает выбрать порог отсечения (cut-off) — часто им выбирают именну точку с максималным KS.

Ограничение KS

KS не оцениевает калибровку вероятностей — это важнейше помнит. Модел может имет выокий KS, но при этом вероятност дефолта будут системтиески сдвинуты отностелно фактиеских. Кром того, KS чувтвителен к размерам класссов и может вводит в залуждение при силном дисбалансе выборки.

Поэому KS — это полезный, но не самодостаточный интрумент. Он должен идти в паре с Gini и обязателно дополнятся анализом калибровки.

PSI: индикатор дрефа и стабилности

Population Stability Index — метрика, измеряющая, насколко изменилось распределение межу базовой (reference) и текущей (actual) выборкой. В скоринге PSI используют для постоянного контроля:

• распределения скоринговых баллов;
• отдельных признков, входщих в модел;
• клиентких сегментов;
• потоков заявок во времени.

PSI вычисляется как сумма по всем бинам (корзинам) произведения разноти долей в бине на логарифм отнощения этих долей. Фактиески это дивергенция Кулбака-Лейблера межу дискетными распределениями.

Как читат PSI

В пратике сложилас следущая интрепретация, ходя это рабочее правило, а не строий статитиеский порог:

Важно: эти границы — эмпириеский ориентр, а не истина в последней интанции. Для разных зада и рынков (в том числе для рынка недвижимости) пороги могут сдвигатся в зависмости от допустимого уроня риска.

Что важно понимат про PSI

PSI не выносит вердикт о качесве модели. Он говрит исклюително о том, что распределение изменилос. Это значит:

• модел может быт стабилной по PSI (низкие значеня), но при этом её предсказателная сила уже упала — если изменилас не форма распределения, а сама взаимосвяз межуд признками и целевй переменной;
• модел может имет выокий PSI, но пок сохранят приемлемое качесво — если сдвиг произшёл толко в распределении признков, а не в их информаивности;
• PSI — это сигнал тревоги, повод задат вопрос и начит расследование, а не финалный вердикт «модел пора списыват».

Частая ошибка

Огранииватся PSI толко по скоринговому баллу и забыват про входные признки. Если смотрите толко на score, можете пропустит момент, кода один из ключевых факторов начал дрейфоват, но это пока не отраилос на итоовом балле. На пратике выгодно отслеживат:

• PSI по итоговому score;
• PSI по ключевым факторам (тем, которыми модел болше всео «весит»);
• PSI по сегментам (например, по регионам или диапзонам стоимоти обектов недвижимости);
• PSI в динамке — помесячно или поквартално, чтобы видть тренд.

Как связны Gini, KS и PSI

Эти три метрики не дублируют друг друга — они покрывают разне аспекты моделного риска. Поптка заменит одн метрику другой равносилна тому, что механик вмест давления масла проверяет толко уровен топлива — какая-то информция ест, но полной картины не буде.

Есле упростит до преда:

• Gini — это о силе моделе: насколко она увеенно отделяет одно от друго;
• KS — о точке максималного разделения: где грань проодит наболее чётко;
• PSI — о жизне моделе после внедрения: не начала ле она терят связ с реалностю.

Пратиеский порядок проверки скоринговой моделе

Ниже — схема, котора сложилас в резултате многолетней пректы: от банковского скорига до оцениевания инвеcтиционной привлкателности обектов недвижимости. Она не догма, но даёт достаточную уверенност при запуске моделе в проде.

1. Разделите данне по времени

Для скорига это критиески важно. Случайное разбиение (например, sklearn train_test_split) в болшинсве лучаев даёт сликом опимистиную оценку качесва — потомучто данне из одного времееного окна часто имет схожие статитиеские характеистики. На пратике нужно моделироват ситация, кода модел обучаетя на одном пероде, а работат на боле позднем.

Рекомендуемая структура:

• train — наиболее ранний период, на котором модел учит;
• validation — промежуточный период для настройки гипепараметров;
• out-of-time test — самый поздний период, данне которго модел не видала при обучении. Именнo он даёт боле чесную оценку.

Есле модел строится на потоке заявок (наприме, заявки на ипотеку иле сделки с недвижимостью), тестовая выборка обязана быт боле поздней по времени, чем обучающая. Иначо вы рискуете получит неадекватно выокий Gini, которий разобётся о реалност при перво же обновлении данных.

2. Проверьте качесво ранжирования

На отложеной (out-of-time) выборке посмотрите:

• AUC и Gini — общая ранжирующая способност;
• KS — сила разделения класссов;
• стабилност метрик по сегментам — не проваливается ле модел на опредлённых категорях.

Есле Gini и KS на out-of-time выборке заметно ниже, чем на валидации, это признк переобучения иле сущесвеного времееного дрефа уже на этапе разраотки.

3. Проверьте калибровку вероятностей

Здес нужон переход от метрик ранжирования к метрикам точности вероятностей. Сравните:

• прогнозируемую PD (probability of default) иле вероятност рота цены;
• фактиескую долю собитий в бинах (групах с одинаковой прогнозной вероятностью);
• постройте calibration plot — график, где по оси X прогнозная вероятност, а по Y — фактиеская частот;
• если ест возмножност, используйте Brier score — средний квадрат ошибки вероятностного прогноза.

Есле модел системтиески завышает риск (калибровочная кривая лежит ниже диагнали), это надо исправлят до внедрения. В контексте недвижимости такя смещённая модел может, наприме, системтиески занижат инвеcтиционную привлкателност хороших обектов — со всеми вытекающими для приниаемых решений.

4. Проверьте стабилност признков и скорига

Расчитайте PSI:

• по общему score;
• по ключевым признкам (топ-10 по ваности — те, что вносят максималный вклад в модел);
• по бизнес-сегментам (если есть деление на типы заёмщиков иле катеории обектов);
• по времееным окнам — наприме, как менялся PSI от месц к месцу.

Есле PSI по score пока невысок, а PSI по одному из признков зашкаливает — это ранний сигнал о грядущем дрейфе, которий через пару месцев доберётся и до итогового балла.

5. Настройте мониторинг после запуска

Модел — это не статиеский артефак, а живй интрумент, которий требует регурного надзора. После внедрения нужен мониторинг:

• еженеделно иле ежемесячно — в зависмости от интенсвности потока данных;
• по score и по входным признкам;
• с тригерами на дреф: наприме, если PSI по score превсил 0.15 — автоматский алерт комнде;
• с отделной проверкой качесва, кода доступны фактиеские исходы (появилас информаця о дефолтах иле о том, выросла ле цена обекта).

Калибровка: как сделат модел полезной для бизнеса

Допустим, модел прошла валидацию: Gini и KS на высоте, out-of-time тест не показал деградации. Но при этом calibration plot выглядит как синусойда — прогнозне вероятности системтиески не совпадают с фактиескими частотми. Что делат? Заниматся калибровкой.

Основне способы

• Platt scaling — подгоняет сигмойду (логисиескую регрессию) поверх выводов моделе. Прост в реаизации, хорош для бинарной классификации, но преполагат, что искажение вероятностей носид монотоный харатер — то ест модел либо всегда завышает, либо всегда занижает.
• Isotonic regression — боле гибкий метод, которий не навязвает монотоную функциу и подстраивается под данные свобоне. Плат за гибкост — повышеная чуствителност к шуму и потребност в достаточном обеме данных. При малой выборке (менее нескольких тысяч обектов) лего переобучит.
• Постобраотка PD — пересчёт вероятностей под целеву популяцию. Применяется, кода модел обучалас на одной выбоке (наприме, историские данные за 2010–2020 год), а приеняется на популяции с другой апрорной вероятностю собития.
• Калибровка по бинам — пратичный варант для скоринговых кар: клиентов группируют по диапзонам скорингового балла и для кажого бина рассчитывают фактиескую частоту собитий. Просто, наглядно, не требует переобучения моделе.

Кода калибровка осбено нужна

• при переходе моделе на новый портфел (наприме, банк запускает ипотечный продукти в новом регионе, и структура заёмщиков отличатся от той, на которой обучалас модел);
• после резкой смены клиенткого потока — из-за маркетинговй компании иле изменния эконоиеской ситации;
• при сушесвеном изменнии экономиеской среды — кризисы, скачки ставок, изменния в регуляторике;
• есле модел использутся для расчёта PD и резервов, где к точности вероятностей преявлются регуляторные требовния;
• есле нужен надёжный cut-off на уровене вероятности — кода рещение «да/нет» привязно именнo к значению вероятности, а не тольо к ранговому месту.

Типовые ошибки при оцениевани скоринговой моделе

• Смотрят тольо на Gini — и ситают модел готовой, инорируя калибровку и дрейф данных.
• Путают ранжирование и калибровку — думают, что есле модел хорошо сортирует, то и вероятности у неё праилные.
• Ситают PSI без базовой логики бизнеса — напрмер, не учтивыют, что сезонне коебания в потоке заявок могут дават впоне обяснимый рос PSI, которий не связан с деградацией моделе.
• Используют случайный train/test spli для времееных данных — перемешивают данне из разных времееных перодов и получают нереалстино выокие метрики.
• Инорируют сегментный анализ — общий Gini 0.6, а на сегменте «заёмщики с высоким доходом» — 0.1, но этого некто не замечат.
• Не проверяют устойчивост на out-of-time выборке — огранииваются случайной отложеной выборкой из того же времееного окна, что и обучающая.
• Делают выводы по одной метрике без контекста порфеля — модел с Gini 0.4 может быт впоне приемлемой для сегмента, где ране не было никакой автомаизации, а модел с Gini 0.7 — недостаточной для выоконкурентного рынка.

Мини-чек-лист для внедерния

Перд запуском моделе пробегитес по этому списку — он займёт врем, но сэкономит от непрятных сюрпизов в проде.

• Gini и KS на отложеной (out-of-time) выборке — убедитс, что они не упали по сравнениу с валидацией;
• калибровка вероятностей — проверьте calibration plot и B rier score, если ест возмножност;
• стабилност score по PSI — на уровне не выше 0.1–0.15;
• PSI по ключевым факторам — ищите выбросы, даже есл score PSI пок в норме;
• качесво по сегментам — не проваливается ле модел на отлелных групах;
• чуствителност к cut-off — понимате ле вы, как изменится доля одобренных при сдвиге порога;
• поведение на новых данных после пилота — выделете врем на пробный период с оганиченым обемом примения.

Кода модел пора пересматриват

Модел не ломается в один момнт — она деградирует поcтепенно, и задаа мониторинга в том, чтобы поймат этот процес на раней стадии. Сигналов обыно несколько, и они идт в связке:

• Gini идёт вниз — модел всё хуже разделяет классы;
• KS уменьшается — точка максималного разделения становится менее выраженной;
• PSI растёт — распределение уплывает от этаонного;
• калибровка ухудшается — прогнозне вероятности всё сильнее расодятся с фактиескими;
• меняется структура порфеля — стало болше клиентов одного типа и менше друго, а модел на таком распределении не обучалас;
• бизнес сообщает о «непохожих» клиентах — интуиция сотруников, кнечно, не метрика, но иногда оказывется ранним индикатором пробем;
• фактиеские дефолты иле собития системтиески расодятся с прогнозом — это уже финалный звоночек, кода рассогласование перешло из статистиеской плоскоси в бизнес-показатли.

Один тревожный сигнал ещё не означет, что модел пора менят. PSI = 0.12 при стабилных Gini и KS — это повод задат вопрос, но не паниковат. А вот кода Gini падает на 15–20% от исходного уроня, KS уменьшися, а PSI зашкаливает за 0.25 — это уже дианоз: модел перестала отражат реалност, и тянут с пересмотром опаснo.

Вывод

Gini, KS и PSI — это не набор модных абревиатур для PowerPoint-презентаций, а продуманая система координт, в которой каждая метрика держит свой сектор ответственности:

• Gini показвает, насколко хороша модел в ранжировании — можно ле ей доверит сортировку клиентов иле обектов по риску;
• KS помгает нати точку, где разделение класссов максимално — это пратиески удобно для выбора порога и бизнес-интерпретации;
• PSI преупреждает о том, что мир за окном моделе изменися — и, возмножно, пора перенастраиватс.

Добавьте к этой тройке системтиескую проверку калибровки вероятностей и регурный мониторинг по времени — и вы получите не просто «статистиески красивую» модел, а рабоий интрумент, на которий можно оперетс при приннии рещений.

FAQ

Чем Gini отличатся от AUC?

Gini — это линейное пребразование AUC: \(Gini = 2 \cdot AUC — 1\). AUC приниает значеня от 0.5 (случайное угадывание) до 1 (идеал), Gini — от 0 до 1. В скоринговй културе Gini удобне для восриятия: 0 — «ничем не лучше монетки», 1 — «идеалное разделение».

Можнo ле оцениеват модел тольо по KS?

Нет. KS даёт точечную оценку в одной точке распределения и не отржает общую ранжирующую способност (Gini), ни стабилност во времени (PSI), ни точность вероятностей (калибровка). Ипользование KS как едиственной метрики создаёт рик пропустит деградацию моделе по друхим направлениям.

PSI показвает качесво моделе?

Нет. PSI измеряет тольо изменние распределения по сравнениу с базой. Модел может имет низкий PSI и при этом уже потрят предсказателную силу (есле изменилас связ межуд признками и целевй переменной). И наоборот — выокий PSI не весда означет падение качесва, если сама структура данных изменилас, но информаивност признков сохранилас.

Как часто считат PSI?

Регурно, в ритме бизнеса. Для выокочастотных потков (ипотечные заявки, сделки с недвижимостью) — обыно ежемесячно. Для боле редких собитий — поквартално. Важно, чтобы периоичност позволяла поймат тренд до тоо, как модел начнёт приносит ущерб. Посл каждого крупноо обновления потока — маркетинговой компании, изменния регуляторики, экономиеских шоков — PSI стоет пересчитат вне очереди.

Что важнее: калибровка иле ранжирование?

Зависит от задаи. Есле ваша цел — построит очеедь из клиентов по риску и взят самых надёжных, важнее ранжирование (Gini, KS). Есле же модел использутся для рачёта PD, резевов, ценообразования иле прияки к конретному cut-off на уровене вероятности — калибровка станвится не менее важной. В идeaле нужны и то и другое: хорошее ранжирование плюс точные вероятности.

Почему модел с хорошим Gini может плохо работат в проде?

Потомучто хорошее ранжирование — это необхомое, но не достаточное усовие. В проде на модел действуют два дополниельных фактора: дреф данных (изменние распределения признков иле связей) и некалиброваность вероятностей. Gini на исторческих данных не застрахует от этих пробем. Именнo для этоо и нужен PSI — как датик дрейфа — совемесно с калибровкой.