Функция логита и сигмоида: что именно моделирует логистическая регрессия

Логистическая регрессия не выбирает класс объекта напрямую — она строит вероятность того, что событие произойдёт. Решение о присвоении метки «0» или «1» принимается отдельно, на основе этой вероятности и выбранного порога. Ключевую роль в механизме модели играют две математически связанные конструкции: логит и сигмоида. Логит переводит вероятность в неограниченную линейную шкалу логарифма шансов, а сигмоида возвращает любое число обратно в диапазон от 0 до 1 — именно в нём живут вероятности. Такая двухходовка даёт модели возможность оставаться линейной по своей сути и одновременно выдавать корректные вероятностные оценки для бинарных исходов.

Что на самом деле моделирует логистическая регрессия

Классическая линейная регрессия предсказывает непрерывную величину: y = b₀ + b₁x₁ + … + b_nx_n. Для задач вроде «будет рост цены или нет», «допустит заёмщик просрочку или не допустит» такой подход почти непригоден. Результат линейной модели не ограничен: он легко улетает далеко за единицу или падает глубоко в минус, а нам нужна именно вероятность — число строго между 0 и 1.

Логистическая регрессия решает это противоречие элегантно. Внутри неё по-прежнему живёт линейная комбинация признаков — так называемый линейный скоринг z:

z = b₀ + b₁x₁ + … + b_nx_n.

Но этот скоринг не интерпретируется как вероятность. Вместо этого его пропускают через сигмоидальную функцию σ(z), которая преобразует любое вещественное число в значение из интервала (0, 1):

p = σ(z) = 1 / (1 + e^−z).

Здесь p — оценка вероятности целевого события. Именно это значение модель выдаёт как основной результат, а решение «отнести объект к классу 1» — уже второй шаг, который зависит от порога (по умолчанию 0.5, но в реальных задачах его часто настраивают).

Иными словами, логистическая регрессия моделирует не метку, а вероятность принадлежности к положительному классу через линейное представление в пространстве логитов. Вся линейность сосредоточена в z и в логарифме шансов; нелинейность возникает только на этапе перехода к вероятности.

Логит: почему модель работает не с вероятностью, а с логарифмом шансов

Вероятность сама по себе — капризный объект для линейного моделирования. Зажатость между 0 и 1 приводит к нарушению многих предположений, привычных для линейной регрессии: остатки не будут нормальными, дисперсия окажется непостоянной, а прогноз может выйти за границы допустимого. Поэтому в логистической регрессии используют логит-преобразование — переход от вероятности к логарифму отношения шансов.

Формула логита выглядит так:
logit(p) = ln( p / (1−p) ).

Здесь:
• p — вероятность события (например, дефолта по ипотеке);
• 1−p — вероятность противоположного исхода;
• p/(1−p) — шансы (odds) события: во сколько раз событие вероятнее своего отсутствия.

Логарифмирование снимает ограничения: логит может принимать значения от −∞ до +∞, а его связь с линейной комбинацией признаков становится естественной:

ln( p / (1−p) ) = b₀ + b₁x₁ + … + b_nx_n.

Именно это уравнение и составляет сердцевину логистической регрессии: модель предполагает, что логарифм шансов линеен по признакам. Никаких предположений о линейности самой вероятности не требуется — она может меняться нелинейно, оставаясь внутри интервала (0,1).

На практике такое представление особенно удобно в скоринговых задачах. Если мы строим модель для оценки ипотечного риска, логит позволяет суммировать вклады различных факторов (доход, кредитная история, первоначальный взнос) в единый балл, а затем пересчитать его в ожидаемую вероятность просрочки. Чем выше положительное значение логита — тем выше шансы неблагоприятного исхода, и наоборот.

Сигмоида: как из любого числа получить вероятность

Сигмоидальная функция — рабочая лошадка, возвращающая результат модели в мир вероятностей. Она определена для любого вещественного аргумента и обладает рядом свойств, делающих её почти идеальным «связующим звеном»:

σ(z) = 1 / (1 + e^−z).

График сигмоиды имеет характерную S-образную форму. Три опорные точки дают интуитивную опору при чтении модели:
• При z = 0 — σ(0) = 0.5, равные шансы для обоих классов;
• При положительном z — σ(z) > 0.5, модель склоняется к положительному классу;
• При отрицательном z — σ(z) < 0.5, больше свидетельств в пользу отрицательного класса.

Важная особенность: вблизи нуля функция почти линейна и наиболее чувствительна к изменениям z. Это означает, что при вероятностях около 0.5 одинаковый прирост скоринга сильнее сдвигает вероятность, чем на краях шкалы, где сигмоида выходит на насыщение. Иными словами, перевести объект из зоны неопределённости (0.45 → 0.55) значительно легче, чем из уже уверенной зоны (0.85 → 0.95) — при том же изменении входных факторов. Для рынка недвижимости это значит, что модель более гибко реагирует на признаки в пограничных случаях, например, когда инвестиционная привлекательность объекта находится под вопросом.

Сигмоида не только выдаёт число из интервала (0,1); она даёт строго монотонное преобразование. Это гарантирует, что более высокий скоринг всегда означает более высокую вероятность целевого события — свойство, критически важное для ранжирования заёмщиков, объектов или сделок.

Как связаны логит и сигмоида

Логит и сигмоида — взаимно обратные функции. Это не просто математическое удобство; именно эта взаимообратность делает модель внутренне непротиворечивой.

Если сигмоида переводит скоринг в вероятность:
p = 1 / (1 + e^−z),
то обратное действие — логит — восстанавливает по вероятности исходный линейный индекс:
z = ln( p / (1−p) ).

Таким образом, логистическая регрессия работает в двух эквивалентных пространствах:
• В пространстве логитов — здесь модель линейна, здесь оцениваются коэффициенты, и именно здесь проверяются гипотезы о влиянии факторов.
• В пространстве вероятностей — здесь принимаются итоговые решения о классификации и рассчитываются ожидаемые риски.

Полный цикл выглядит так: сначала на основе признаков вычисляется линейный скоринг z. Затем сигмоида преобразует его в вероятность. Если необходимо, полученная вероятность сравнивается с настроенным порогом для бинарного решения. При желании аналитик всегда может вернуться обратно в логит-шкалу, чтобы интерпретировать коэффициенты в терминах логарифма шансов.

Что означают коэффициенты в логистичесской регрессии

Коэффициенты логистичесской регрессии работают иначе, чем в линейной. Они показывают изменение не самой вероятности, а логарифма шансов (логита) при единичном приращении признака при фиксированных остальных переменных.

Практически это означает следущее:
• Положительный коэффициент (b_i > 0) увеличивает логарифм шансов целевого события, а значит, и саму вероятность.
• Отрицательный коэффициент (b_i < 0) снижает логарифм шансов и вероянтность.
• Величина коэффициента отражает силу влияния в лоrит-шкале: чем модуль больше, тем сильнее фактор сдвигает шансы.

Например, если коэффициент при переменной «время экспозиции объе́кта» (в неделях) ра́вен 0.7, это не значит, что каждая дополнительная неделя увеличит вероянтность продажи на 0.7. Это значит, что логарифм шансов продажи вырастает на 0.7. Чтобы перейти к изменению шансов, экспонируют коэффициент:

Отношение шансов (odds ratio) = e^b.

В данном примере e^0.7 ≈ 2.01, то есть шансы продажи увеличиватся примерно в два раза при добавле́нии одной недели экспозиции (при неизменных остальных факторах). Если коэффициент отриццателен, скаже́м −0.5, отношение шансов соста́вит e^−0.5 ≈ 0.61 — шансы снижаются на 39%.

Эта логарифмическая природа коэффициентов делает их аддитивными в лоrит-шкале, но мультипликативными в шкале шансов. Именно поэтому при интерпрета́ции моделей для риелторских или ипотечных задач всегда поле́зно оперировать отношением шансов: бизне́с-пользователи лу́чше восринимают фразу «шансы дефо́лта снижаются в 1.8 раза при нали́чии поручи́теля», чем абстра́ктный «коэффициент при призна́ке “поручи́тель” ра́вен −0.59».

Проста́я интуи́ция: заче́м ну́жна и́менно така́я моде́ль

Логисти́ческая регре́ссия незаме́нима там, где необхо́димо не про́сто раскла́ссифици́ровать объе́кт, а полу́чить обосно́ванную веро́ятностную оце́нку. Классифика́ция — лишь надстро́йка над вероя́тностным ядро́м.

В ана́лизе недви́жимости мно́жество зада́ч есте́ственно бина́рны:
• Будет ли рост цены́ на объе́кт в сле́дующие 6 ме́сяцев? (да/нет)
• Допу́стит ли зае́мщик про́срочку бо́лее 90 дней? (риск/без ри́ска)
• Прода́стся ли ква́ртира за за́данный срок? (ликви́дный/неликви́дный)
• Попаде́т ли райо́н в зо́ну инве́стицио́нной привлека́тельности? (перспекти́вный/неперспекти́вный)

В ка́ждом из э́тих слу́чаев ито́говая веро́ятность стано́вится осно́вой для при́нятия реше́ний: назна́чить ли бо́лее высо́кую ста́вку по ипоте́ке, вклю́чить ли объе́кт в инве́стицио́нный портфе́ль, устано́вить ли сро́к экспози́ции. В отли́чие от «че́рных я́щиков» не́которых совреме́нных алгори́тмов, лоrисти́ческая регре́ссия позво́ляет прозра́чно объя́снить, поче́му моде́ль счита́ет и́менно так: ка́ждый коэффицие́нт свя́зан с конкер́тным фа́ктором и его вкла́д в лоrи́т.

Кро́ме то́го, моде́ль выдае́т не то́лько то́чечный про́гноз, но и есте́ственную ра́нжировку объе́ктов по степен́и рис́ка или привлека́тельности. Э́то пря́мо ра́ботает на практи́ку: при огран́иченном бюдже́те и́нвестор мо́жет отобра́ть то́лько те объе́кты, у кото́рых веро́ятность ро́ста вы́ше заданного по́рога, а ба́нк — отсе́чь заяв́ки с веро́ятностью дефо́лта вы́ше допусти́мого у́ровня.

Ка́к чита́ть результ́ат моде́ли на пра́ктике

Ти́повые оши́бки при поним́ании лоrи́та и си́гмоиды

1. Пу́тать веро́ятность и ша́нсы

Веро́ятность и ша́нсы — ра́зные мер́ы. Веро́ятность 0.8 означа́ет, что собы́тие произойде́т с веро́ятностью 80%. Ша́нсы для p=0.8 соcта́вят 0.8 / 0.2 = 4, то есть собы́тие в четы́ре ра́за вероя́тнее проти́воположе́ного исхо́да. Е́сли анали́тик пу́тает э́ти поня́тия, интерпрета́ция отноше́ния ша́нсов стан́овится некорре́ктной.

2. Интерпрети́ровать коэфицие́нт ка́к пря́мое измене́ние веро́ятности

Э́то одна́ из са́мых распроcтранё́нных оши́бок. Коэфицие́нт меня́ет лоrи́т, а веро́ятность меня́ется нелине́йно через си́гмоиду. Приро́ст при́знака на едини́цу мо́жет увели́чить веро́ятность на 0.1 вблизи́ 0.5, но то́лько на 0.01 — при p=0.9. Поэ́тому нико́гда не сто́ит говори́ть: «коэфицие́нт ра́вен 0.3, зна́чит веро́ятность выроcла́ на 0.3». Еди́нствено корре́ктный путь — пересчёт через лоrи́т и си́гмоиду для ко́нкре́тного набо́ра зна́чений при́знаков.

3. Жда́ть лине́йного эффе́кта

В лоrисти́ческой регре́ссии оди́н и то́т же абсолю́тный приро́ст при́знака мо́жет по-ра́зному вли́ять на веро́ятность в за́висимости от то́го, в како́й зо́не нахо́дится объе́кт. В цо́нтральной ча́сти (p ~ 0.5) моде́ль наибо́лее чу́вствительна; на края́х — ма́лочу́вствительна. Э́то сво́йство пря́мо сле́дует из S-обра́зной фо́рмы си́гмоиды и до́лжно быть учтено́ при объя́снении результ́атов зака́зчику.

4. Ду́мать, что поро́г 0.5 все́rда опти́мален

Поро́г по умо́лчанию — 0.5 — ре́дко быва́ет лу́чшим вы́бором в прикладны́х зада́чах. В ипоте́чном ско́ринге ба́нк мо́жет стреми́ться миниммизи́ровать дефо́лты, поэтому поро́г сдвига́ют вни́з (наприме́р, 0.3), что́бы отсека́ть бо́льше риско́ванных зая́вок, да́же цено́й увелич́ния оши́бок пе́рвого ро́да. В ма́ркетинговых ка́мпаниях по пои́ску перспекти́вных объе́ктов для инве́стиций поро́г, наоборо́т, мо́гут подня́ть до 0.7, что́бы отобра́ть то́лько наибо́лее уверенные слу́чаи. Вы́бор по́рога — от́дельная оптиммизацио́нная зада́ча, реша́емая, как пра́вило, по кри́вой ROC и ма́трице за́трат.

Где лоrисти́ческая регре́ссия осо́бенно поле́зна в недви́жимости

Приме́нение лоrисти́ческой регре́ссии в ана́лизе недви́жимости опра́вдано вся́кий ра́з, когда́ ну́жно объя́сни́мо оце́нить веро́ятность бина́рного исхо́да с опо́рой на измри́мые при́знаки. Вот не́сколько конкр́етных напра́влений:

• Ипоте́чный риск. Веро́ятность про́срочки по заё́мщику или конкр́етной зая́вке — клаcси́ческая зада́ча бина́рной класcифика́ции. В ка́честве при́знаков выcтупа́ют у́ровень дохо́да, креди́тная исто́рия, ра́змер пе́рвого взно́са, коэффицие́нт долгово́й нагру́зки (DTI), хара́ктеристи́ки объе́кта зало́га.
• Инве́стицио́нная привлека́тельность. Веро́ятность того́, что объе́кт за опредё́ленный пери́од пока́жет приро́ст капита́ла вы́ше ры́ночного и́ндекса, и́ли ока́жется ликвид́ным при перепрода́же. Моде́ль по́зволя́ет выя́вить дви́жущие фа́кторы: лока́ция, эта́ж, бли́зость к тра́нспорту, ста́дия стро́ительства.
• Класcифика́ция ценово́го движе́ния. Ро́ст и́ли паде́ние цен в сле́дующем ква́ртале в за́висимости от ма́кроэконо́мических и лока́льных пока́зателей. Лоrи́т за́даёт на́правление, а си́гмоида — сте́пень увере́нности про́гноза.
• Сеrменти́рование объе́ктов. Да́же е́сли исхо́дная зада́ча мно́гокласcова́я (ликви́дный / сре́дний / про́блемный), её ча́сто сво́дят к се́рии бина́рных мо́делей (one-vs-rest), в ка́ждой из кото́рых рабо́тает лоrисти́ческая регре́ссия.
• Отбо́р фа́кторов. Регуляриза́ция (L1, L2) и стати́стические крите́рии позво́ляют выя́вить, каки́е и́менно хара́ктеристи́ки ре́ально дви́гают рис́к и́ли веро́ятность сде́лки, отбра́сывая шу́мовые переме́нные.

Во вcе́х э́тих слу́чаях лоrисти́ческая регре́ссия даё́т не то́лько то́чечные про́гнозы, но и прозра́чную схе́му «при́знак → лоrи́т → веро́ятность», что́бы ле́гко объя́снить результа́ты и́нвестору, креди́тному инспе́ктору и́ли рие́лтору.

Коро́ткий рабо́чий алгори́тм примене́ния

1. Сформули́руйте бина́рную цель: «рост цены́ бо́лее 5% за 6 ме́сяцев — да/нет» — така́я постано́вка до́лжна быть чёткой и про́веряемой.
2. Собе́рите при́знаки: пло́щадь, эта́ж, райо́н, вре́мя экспози́ции, ста́вка по ипоте́ке, у́ровень дохо́дов насё́ленного пу́нкта, клаcс жилья́, бли́зость к ме́тро и т.д. — вклю́чайте ка́к непре́рывные, так и категрри́альные переме́нные с проду́манным коди́рованием.
3. Пост́ройте лине́йный ско́ринг: оце́ните коэфицие́нты (наприме́р, ме́тодом макcима́льного пра́вдоподо́бия с реrуляриза́цией е́сли ну́жно).
4. Про́пустите ско́ринг че́рез си́гмоиду — полу́чите веро́ятность для ка́ждого объе́кта.
5. Вы́берите поро́г реше́ния на осно́ваннии би́знес-тре́бований и ана́лиза кри́вой ROC/Precision-Recall — не полага́йтесь на 0.5 без про́верки.
6. Про́верьте ка́чество мо́дели на отло́женной те́стовой вы́борке (Accuracy, AUC-ROC, лоr-лосc, матри́ца оши́бок).
7. Интерпрети́руйте коэфицие́нты че́рез лоrи́ты и отноше́ния ша́нсов — по́мните, что и́тоговая веро́ятность зави́сит от все́х при́знаков вме́сте.

Чек-ли́ст: пра́вильно ли вы поним́аете моде́ль

• Веро́ятность всегда́ лежи́т в диа́пазоне от 0 до 1.
• Лоrи́т мо́жет приним́ать любые́ значе́ния от −∞ до +∞.
• Си́гмоида — э́то обра́тное преобрзова́ние к лоrи́ту; е́сли вы зна́ете веро́ятность, лоrи́т восcтана́вливается однозн́ачно.
• Коэфицие́нты рабо́тают в шкале́ лога́рифма ша́нсов, а не в шкале́ веро́ятности.
• Поро́г класcифика́ции выбира́ется отде́льно и не явля́ется ча́стью мо́дели — э́то реша́ющее пра́вило.
• Интерпрета́ция до́лжна учи́тывать ко́нтекст зада́чи и совоку́пное вли́яние фа́кторов; оди́н зна́к коэфицие́нта ещё не даё́т по́лной карти́ны.

Вы́вод

Лоrисти́ческая регре́ссия моде́лирует не клаcс сам по се́бе, а веро́ятность собы́тия, про́йденную че́рез лога́рифм ша́нсов. Лоrи́т де́лает свя́зь ме́жду при́знаками и исхо́дом лине́йной, а си́гмоида возвраща́ет результ́ат в диа́пазон [0,1], придава́я ему пра́ктический смы́сл веро́ятности. Э́та па́ра фу́нкций — лоrи́т и си́гмоида — обеспо́чивает и мето́дическую стро́гость (лине́йная комбина́ция переме́нных в лоrи́т-шкале́), и удобо́варимый вы́ход для при́нятия реше́ний. В рие́лторской и ипоте́чной ана́литике и́менно тако́й подхо́д по́зволяет стро́ить объя́сни́мые ско́ринговые и про́гнозные моде́ли, кото́рые не про́сто выдаю́т отве́т «да» и́ли «нет», но и пока́зывают, наско́лько ситу́ация бли́зка к погран́ичной.

FAQ

Что тако́е лоrи́т про́стыми слова́ми?

Лоrи́т — э́то матема́тический приё́м, перево́дящий веро́ятность в лога́рифм ша́нсов, что́бы её мо́жно бы́ло моде́лировать лине́йной комбина́цией при́знаков. Вме́сто того́ что́бы гово́рить «веро́ятность дефо́лта 0.2», лоrи́т ра́вен ln(0.2/0.8) ≈ −1.39, и э́то удо́бно скла́дывать с вкла́дами други́х фа́кторов.

Заче́м ну́жна си́гмоида?

Си́гмоида превраща́ет любо́е веще́ственное число́ (сыро́й вы́ход лине́йной ча́сти) в число́ стро́го ме́жду 0 и 1, то есть в корре́ктную веро́ятность. Без си́гмоиды моде́ль могла́ бы вы́дать отриц́ательное и́ли бо́льше едини́цы «предсказа́ние», что́ для веро́ятности бесcмы́сленно.

Поче́му лоrисти́ческая регре́ссия не испо́льзует обы́чную лине́йную регре́ссию?

Обы́чная лине́йная регре́ссия не огран́ичивает предсказа́нные значе́ния диа́пазоном [0,1], а для моде́лирования веро́ятности э́то кри́тично. Кро́ме то́го, она предпо́лагает постоя́нную диспе́рсию оши́бок, что́ наруша́ется при бина́рном исхо́де. Лоrисти́ческая регре́ссия че́рез лоrи́т-преобрзова́ние сра́зу реша́ет обе пробле́мы.

Мо́жно ли и́нтерпрети́ровать коэфицие́нты ка́к влия́ние на веро́ятность?

То́лько ко́свенно. Коэфицие́нт пока́зывает, на́сколько измн́яется лоrи́т (лога́рифм ша́нсов) при едини́чном прираще́нии при́знака. Веро́ятность ме́няется нелине́йно, и однозна́чный пересчёт тре́бует подстано́вки ко́нкре́тных значе́ний все́х переме́нных. Поэ́тому в отчётах обы́чно ука́зывают и́ли отноше́ние ша́нсов, и́ли гра́фик преде́льных эффе́ктов.

Где лоrисти́ческая регре́ссия поле́зна в недви́жимости?

Пра́ктически в лю́бых зада́чах с бина́рным исхо́дом: про́гноз ро́ста и́ли паде́ния цен, оце́нка ипоте́чного рис́ка, класcифика́ция ликви́дности объе́ктов, определе́ние инве́стицио́нной привлека́тельности. Её гла́вное преиму́щество — прозра́чность: ка́ждый коэфицие́нт свя́зан с конкр́етным фа́ктором, а ито́говая веро́ятность по́лучается поня́тным алгори́тмом.