Calculateur de régression linéaire multiple

Qu'est-ce que la régression linéaire multiple ?

La régression linéaire multiple modélise la relation entre une variable de résultat (Y) et deux ou plusieurs variables prédictives (X₁, X₂, ..., Xₖ). Elle étend la régression simple pour prendre en compte plusieurs facteurs simultanément.

Question à laquelle elle répond : « Comment plusieurs facteurs ensemble prédisent-ils le résultat, et quelle est la contribution unique de chaque facteur ? »

Exemples :

• « Comment le prix, la publicité et la saisonnalité affectent-ils ensemble les ventes ? »
• « Prédire le prix d'une maison à partir de la taille, l'emplacement, l'âge et le nombre de chambres. »
• « Quels facteurs contribuent à la performance des employés ? »

L'équation de régression

$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \ldots + \beta_k X_k + \varepsilon$

Ou sous forme matricielle : $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$

Où :

• $\beta_0$ = ordonnée à l'origine
• $\beta_1, \beta_2, \ldots, \beta_k$ = coefficients de régression partiels
• $\varepsilon$ = terme d'erreur

Interpréter les coefficients

Concept clé : Chaque coefficient représente l'effet de ce prédicteur en maintenant tous les autres prédicteurs constants.

Exemple : Prix = 50 000 + 150(m²) + 20 000(chambres) - 1 000(âge)

• Chaque mètre carré supplémentaire ajoute 150 € au prix, en contrôlant les chambres et l'âge
• Chaque chambre supplémentaire ajoute 20 000 €, en contrôlant la taille et l'âge
• Chaque année d'âge supplémentaire réduit le prix de 1 000 €, en contrôlant la taille et les chambres

Exemple : Prix des maisons

Données : 50 maisons avec prix, mètres carrés, chambres et âge.

Résultats :

R² = 0,87 (87% de la variance du prix expliquée)

Tous les prédicteurs sont statistiquement significatifs.

R-carré et R² ajusté

$R^2 = 1 - \frac{SS_{\text{résiduel}}}{SS_{\text{total}}}$

Proportion de variance expliquée par tous les prédicteurs ensemble.

Problème : R² augmente toujours quand on ajoute des prédicteurs, même inutiles.

R² ajusté :

$R^2_{\text{adj}} = 1 - \frac{(1 - R^2)(n - 1)}{n - k - 1}$

Pénalise pour le nombre de prédicteurs. Peut diminuer si les nouveaux prédicteurs n'aident pas.

Utilisez le R² ajusté pour comparer les modèles.

Le test F (modèle global)

Teste si le modèle dans son ensemble est significatif :

$H_0$ : Tous les $\beta = 0$ (aucun prédicteur n'aide) $H_1$ : Au moins un $\beta \neq 0$

$F = \frac{R^2 / k}{(1 - R^2) / (n - k - 1)}$

Avec $dl_1 = k$ et $dl_2 = n - k - 1$

F significatif : Le modèle prédit Y mieux que simplement utiliser la moyenne.

Tests t (coefficients individuels)

Chaque coefficient a son propre test t :

$H_0$ : $\beta_i = 0$ (ce prédicteur n'aide pas, étant donné les autres) $H_1$ : $\beta_i \neq 0$

$t = \frac{b_i}{ES_{b_i}}$

Une valeur p significative signifie que ce prédicteur ajoute une valeur prédictive unique au-delà des autres prédicteurs.

Coefficients standardisés (poids bêta)

Problème : Les coefficients bruts ont des unités différentes, donc vous ne pouvez pas comparer les magnitudes.

Solution : Standardiser les variables (scores z) avant la régression :

$\beta^* = b \times \frac{s_x}{s_y}$

Les poids bêta sont comparables : un $|\beta^*|$ plus grand signifie une influence plus forte.

Exemple :

La superficie a l'influence la plus forte sur le prix.

Multicolinéarité

Quand les prédicteurs sont fortement corrélés entre eux :

Problèmes :

• Les estimations des coefficients deviennent instables
• Les erreurs standards gonflent
• Les tests t individuels peuvent être non significatifs même si les prédicteurs comptent

Détection :

Facteur d'inflation de la variance (VIF) : VIF > 10 : Multicolinéarité sérieuse VIF > 5 : Préoccupation modérée

Solutions :

• Supprimer ou combiner les prédicteurs corrélés
• Utiliser la régression en composantes principales
• Utiliser la régularisation (Ridge, Lasso)

Hypothèses

Linéarité

La relation entre chaque X et Y est linéaire (en contrôlant les autres).

Vérifier : Graphiques de régression partielle, graphiques des résidus

Indépendance

Les observations sont indépendantes.

Violation : Séries temporelles, données groupées

Normalité

Les résidus sont normalement distribués.

Vérifier : Histogramme, graphique QQ des résidus

Homoscédasticité

La variance des résidus est constante à travers les valeurs prédites.

Vérifier : Graphique résidus vs valeurs ajustées

Pas de multicolinéarité parfaite

Les prédicteurs ne sont pas des combinaisons linéaires parfaites les uns des autres.

Prédicteurs catégoriels

Inclure les variables catégorielles en utilisant le codage indicateur :

Pour une variable avec 3 catégories (A, B, C) :

• Créer 2 variables indicatrices
• D1 = 1 si B, 0 sinon
• D2 = 1 si C, 0 sinon
• A est la catégorie de référence

Interprétation : Les coefficients montrent la différence par rapport à la catégorie de référence.

Effets d'interaction

Quand l'effet de X₁ dépend de X₂ :

Y = β₀ + β₁X₁ + β₂X₂ + β₃(X₁ × X₂)

Exemple : L'effet de la publicité sur les ventes dépend du niveau de prix.

Interprétation : β₃ montre de combien l'effet de X₁ change par unité de X₂.

Sélection de modèle

Sélection progressive

Commencer sans prédicteur, ajouter un à la fois (le plus significatif d'abord).

Élimination rétrograde

Commencer avec tous les prédicteurs, en supprimer un à la fois (le moins significatif d'abord).

Pas à pas

Combinaison de progressive et rétrograde à chaque étape.

Critères d'information

AIC, BIC : Plus bas est mieux, équilibre l'ajustement contre la complexité.

Avertissement : Les méthodes pas à pas peuvent capitaliser sur le hasard. Utilisez la théorie pour guider la construction du modèle.

Prédiction

Prédiction ponctuelle : Ŷ = b₀ + b₁X₁ + b₂X₂ + ...

Intervalle de prédiction : Tient compte de l'incertitude dans les coefficients et de la variation résiduelle.

Plus large que l'intervalle de confiance pour la prédiction moyenne.

Applications

Économie

PIB à partir de plusieurs indicateurs économiques. Dépenses de consommation à partir du revenu, des taux d'intérêt, de la confiance.

Marketing

Ventes à partir du prix, de la publicité, de la distribution, de la saisonnalité.

Médecine

Résultats des patients à partir de multiples facteurs de risque. Sévérité de la maladie à partir des symptômes et des résultats de tests.

Immobilier

Évaluation de propriété à partir de multiples caractéristiques.

Ressources humaines

Performance à partir de l'éducation, de l'expérience, de la formation.

Problèmes courants

Surapprentissage

Trop de prédicteurs par rapport à la taille de l'échantillon.

Règle empirique : Besoin d'au moins 10-20 observations par prédicteur.

Biais de variable omise

Exclure des prédicteurs importants biaise les coefficients restants.

Valeurs aberrantes et points influents

Peuvent affecter dramatiquement les coefficients.

Vérifier : Distance de Cook, valeurs de levier

Rapporter les résultats

Format standard :

« Une analyse de régression multiple a été menée pour prédire le prix des maisons à partir de la superficie, des chambres et de l'âge. Le modèle était statistiquement significatif, F(3, 46) = 102,5, p < 0,001, et expliquait 87% de la variance (R²_adj = 0,86).

Les trois prédicteurs étaient significatifs : superficie (b = 147,5, β = 0,65, p < 0,001), chambres (b = 18 750, β = 0,22, p = 0,001), et âge (b = -985, β = -0,18, p = 0,004). »

Contexte historique

La régression multiple s'est développée au début du 20ème siècle lorsque la puissance de calcul a rendu les calculs matriciels réalisables.

Udny Yule et des statisticiens ultérieurs ont étendu les travaux de Galton et Pearson sur la régression simple à plusieurs prédicteurs.

La méthode est devenue pratique avec les ordinateurs électroniques dans les années 1960 et reste l'une des techniques statistiques les plus utilisées.

Calculs associés

• Régression linéaire simple — Prédicteur unique
• Calculateur R-carré — Ajustement du modèle
• Corrélation de Pearson — Relations bivariées
• Régression logistique — Résultats binaires

Résumé

La régression linéaire multiple prédit un résultat à partir de plusieurs prédicteurs en utilisant Y = β₀ + Σβᵢxᵢ. Chaque coefficient représente l'effet de ce prédicteur en contrôlant tous les autres. Évaluez l'ajustement global du modèle avec le test F et R² (utilisez le R² ajusté). Testez les prédicteurs individuels avec des tests t. Les coefficients standardisés (poids bêta) permettent la comparaison de l'importance des prédicteurs. Vérifiez les hypothèses avec des graphiques de résidus et surveillez la multicolinéarité. Incluez suffisamment d'observations par rapport aux prédicteurs (minimum 10-20 par prédicteur) pour éviter le surapprentissage.