Calculateur de régression logistique

Qu'est-ce que la régression logistique ?

La régression logistique modélise la probabilité d'un résultat binaire (oui/non, succès/échec, 1/0) en fonction d'une ou plusieurs variables prédictives. Au lieu de prédire une valeur continue, elle prédit la probabilité d'appartenir à une catégorie.

Question posée : « Quels facteurs affectent la probabilité que ce résultat se produise ? »

Exemples :

• « Quels facteurs prédisent si un client se désabonnera ? »
• « Comment les caractéristiques des patients affectent-elles la probabilité de maladie ? »
• « Qu'est-ce qui prédit si un demandeur de prêt fera défaut ? »

Pourquoi pas la régression linéaire ?

Problème avec la régression linéaire pour les résultats binaires :

La régression linéaire peut prédire des valeurs inférieures à 0 ou supérieures à 1—impossible pour les probabilités.

Solution : La régression logistique utilise la fonction logistique pour contraindre les prédictions à (0, 1).

La fonction logistique

$P(Y = 1) = \frac{1}{1 + e^{-z}}$

Où $z = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots$

Cette courbe en forme de S mappe n'importe quel nombre réel à une probabilité entre 0 et 1.

La transformation logit

Réarrangement :

$\log\left(\frac{P}{1-P}\right) = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots$

Le côté gauche est le log de la cote (logit) du résultat.

Le côté droit est linéaire dans les prédicteurs.

Interprétation des coefficients

L'interprétation des coefficients diffère de la régression linéaire :

$\beta_1$ = changement dans le log de la cote par augmentation unitaire de $X_1$

Plus intuitivement, convertir en rapport de cotes :

$RC = e^{\beta}$

Exemple : Si β₁ = 0,7 pour un prédicteur :

• RC = e^0,7 = 2,01
• Chaque augmentation unitaire de X₁ double la cote du résultat

Exemple : Désabonnement client

Données : 1 000 clients avec statut de désabonnement (1 = désabonné, 0 = retenu)

Prédicteurs : Frais mensuels, durée du contrat, ancienneté (mois)

Résultat :

Interprétations :

• Chaque augmentation de 1 $ des frais mensuels : augmentation de 3 % de la cote de désabonnement
• Contrat de deux ans vs. mensuel : réduction de 84 % de la cote de désabonnement
• Chaque mois d'ancienneté supplémentaire : réduction de 4 % de la cote de désabonnement

Rapports de cotes (RC)

Intervalle de confiance pour RC : Si l'IC inclut 1, l'effet n'est pas statistiquement significatif.

Prédiction

Probabilité prédite

1. Calculer z = β₀ + β₁X₁ + β₂X₂ + ...
2. Appliquer la fonction logistique : P = 1 / (1 + e^(-z))

Exemple : Pour un client avec :

• Frais mensuels = 80 $
• Contrat de deux ans
• Ancienneté = 24 mois

z = -1,24 + 0,031(80) - 1,85(1) - 0,045(24) = -1,69 P(désabonnement) = 1 / (1 + e^1,69) = 0,16 (probabilité de 16 %)

Classification

Appliquer un seuil (généralement 0,5) :

• Si P ≥ 0,5, prédire Y = 1
• Si P < 0,5, prédire Y = 0

Le seuil peut être ajusté en fonction des coûts des faux positifs vs. faux négatifs.

Évaluation du modèle

Test du rapport de vraisemblance (modèle global)

Compare le modèle ajusté au modèle nul (constante seulement).

H₀ : Tous les β = 0 H₁ : Au moins un β ≠ 0

Statistique du chi-carré avec df = nombre de prédicteurs.

Mesures de pseudo R²

Contrairement à la régression linéaire, la régression logistique n'a pas de vrai R².

R² de McFadden : $1 - (\log L_{\text{complet}} / \log L_{\text{nul}})$

R² de Nagelkerke : Version ajustée qui peut atteindre 1

L'interprétation diffère du R² linéaire—les valeurs supérieures à 0,2 sont souvent considérées acceptables.

Test de Hosmer-Lemeshow

Teste si les probabilités observées et prédites correspondent.

Une valeur p non significative suggère un bon ajustement.

Métriques de classification

Utilisez ROC-AUC pour une évaluation indépendante du seuil.

Hypothèses

Résultat binaire

La variable dépendante est binaire (ou peut être traitée comme telle).

Indépendance

Les observations sont indépendantes.

Pas de multicolinéarité parfaite

Les prédicteurs ne sont pas parfaitement corrélés.

Linéarité dans le logit

La relation entre les prédicteurs et le log de la cote est linéaire.

Vérifier : Graphiques de composante + résidus

Grande taille d'échantillon

Directive générale : au moins 10-20 événements par prédicteur.

Avec des résultats rares, vous avez besoin d'échantillons plus grands.

Prédicteurs catégoriels

Utilisez des variables indicatrices, comme pour la régression multiple :

Variable à trois catégories → deux variables indicatrices

La catégorie de référence est codée 0 sur toutes les indicatrices.

Effets d'interaction

Interaction X₁ × X₂ :

log(P/(1-P)) = β₀ + β₁X₁ + β₂X₂ + β₃(X₁ × X₂)

L'effet de X₁ dépend de la valeur de X₂.

Estimation du maximum de vraisemblance

Contrairement à la régression linéaire (moindres carrés), la régression logistique utilise le maximum de vraisemblance :

Trouver les coefficients qui maximisent la probabilité d'observer les données réelles.

Pas de solution en forme fermée—les algorithmes itératifs (Newton-Raphson) trouvent l'optimum.

Problèmes courants

Séparation complète

Lorsqu'un prédicteur prédit parfaitement le résultat :

• Tous les cas avec X > seuil ont Y = 1
• Le coefficient tend vers l'infini

Solutions : Vraisemblance pénalisée de Firth, régression logistique exacte

Classes déséquilibrées

Lorsqu'un résultat est rare (par exemple, 1 % de fraude) :

• Le modèle peut prédire la classe majoritaire pour tout
• L'exactitude est trompeuse

Solutions : Poids de classe, suréchantillonnage de la classe minoritaire, seuil différent

Taille d'échantillon

Avec de nombreux prédicteurs ou des résultats rares, l'estimation devient instable.

Règle empirique : 10+ événements par variable prédictive.

Extensions

Régression logistique multinomiale

Le résultat a 3+ catégories non ordonnées.

Exemple : Affiliation politique (Démocrate, Républicain, Indépendant)

Régression logistique ordinale

Le résultat a des catégories ordonnées.

Exemple : Gravité de la maladie (légère, modérée, grave)

Régression logistique conditionnelle

Pour les études cas-témoins appariées.

Présentation des résultats

Format standard :

« Une régression logistique a été effectuée pour examiner les facteurs associés au désabonnement des clients. Le modèle était statistiquement significatif, χ²(3) = 245,8, p < 0,001, R² de Nagelkerke = 0,31.

Les frais mensuels (RC = 1,03, IC à 95 % [1,02, 1,04], p < 0,001), le contrat de deux ans (RC = 0,16, IC à 95 % [0,10, 0,25], p < 0,001), et l'ancienneté (RC = 0,96, IC à 95 % [0,94, 0,97], p < 0,001) étaient des prédicteurs significatifs. »

Contexte historique

David Cox a formalisé la régression logistique en 1958, bien que la fonction logistique ait été étudiée plus tôt.

La méthode est devenue pratique avec la puissance de calcul dans les années 1960-70 et est maintenant fondamentale en épidémiologie, marketing, apprentissage automatique, et dans tout domaine prédisant des résultats binaires.

L'interprétation du rapport de cotes relie la régression logistique à la conception d'étude cas-témoins courante en épidémiologie.

Calculs connexes

• Calculateur ROC-AUC — Évaluation du modèle
• Calculateur de rapport de cotes — Mesure d'effet
• Régression multiple — Résultats continus
• Test du chi-carré — Associations catégorielles

Résumé

La régression logistique modélise la probabilité d'un résultat binaire à l'aide de la fonction logistique, garantissant que les prédictions restent entre 0 et 1. Les coefficients représentent des changements dans le log de la cote ; exponentiez pour obtenir des rapports de cotes pour l'interprétation. Évaluez le modèle global avec le test du rapport de vraisemblance, évaluez la classification avec les métriques de matrice de confusion et ROC-AUC. Les hypothèses incluent l'indépendance, la linéarité dans le logit, et une taille d'échantillon adéquate (10+ événements par prédicteur). Rapportez les rapports de cotes avec intervalles de confiance et tests de signification pour une interprétation pratique.