SujetDiscussions libresMarchés83

Régression linéaire en entretien quant : hypothèses OLS, LASSO, Ridge et PCA

Question toute bête pour ceux qui préparent des entretiens quant : vous connaissez les hypothèses de la régression linéaire ? Pourquoi LASSO est parcimonieux ? C'est quoi l'estimateur Ridge ? Vous savez refaire l'idée théorique derrière la PCA, et calculer l'OLS à la main ? Ce sont typiquement les bases sur lesquelles on se fait tester en fonds.

Ocelot Jovial 174Auteur du sujet27 juillet 2026

8 réponses

Colibri Agile 179
Colibri Agile 179il y a 1 mois
Hypothèses : je dirais X'X inversible, donc pas de multicolinéarité. Pour LASSO, c'est un argument purement géométrique. Ridge, c'est une pénalisation en norme L2. La PCA cherche des directions orthogonales à partir de tes inputs : itérativement, tu cherches la direction qui maximise la variance dans les données. Et à la main, c'est la condition du premier ordre qui te donne la forme de l'OLS.
Ocelot Jovial 174
Ocelot Jovial 174Auteuril y a 1 mois
Pourquoi X'X est inversible ?
Colibri Agile 179
Colibri Agile 179il y a 1 mois
Si ce n'est pas inversible, tu ne peux pas dériver une solution unique après la condition du premier ordre.
Ocelot Jovial 174
Ocelot Jovial 174Auteuril y a 1 mois
C'est surtout parce que l'hypothèse, c'est rg(X) = p.
Colibri Agile 179
Colibri Agile 179il y a 1 mois
C'est équivalent.
Ocelot Jovial 174
Ocelot Jovial 174Auteuril y a 1 mois
Oui, mais d'un point de vue structurel, c'est mieux de poser l'hypothèse sur X : introduire X'X de but en blanc, ce n'est pas naturel. On a besoin de X'X parce qu'il faut l'inverser dans le calcul de l'estimateur OLS, et c'est garanti par l'équivalence. Ensuite, il y a aussi l'hypothèse de linéarité (E(Y|X) = Xβ), l'exogénéité (E(ε|X) = 0), et on pose souvent l'homoscédasticité, même s'il existe des régressions linéaires hétéroscédastiques. Pour que Gauss-Markov soit vrai, l'homoscédasticité est requise. Et pour les séries temporelles, on impose l'absence d'autocorrélation des erreurs. Question posée en entretien chez QRT : si on impose la normalité des erreurs, qu'est-ce que ça apporte ?
Colibri Agile 179
Colibri Agile 179il y a 1 mois
Pour moi, ça impose une hypothèse de normalité de l'espérance conditionnelle.
Équipe Advance
Équipe AdvanceRéponse vérifiéeVérifiéil y a 1 mois
Sur la question QRT, la normalité des erreurs n'impose rien de nouveau sur l'espérance conditionnelle (c'est déjà E(Y|X) = Xβ). Ce qu'elle apporte, c'est la loi exacte de β̂ à distance finie, β̂ | X ~ N(β, σ²(X'X)⁻¹), donc des tests t et F exacts sans passer par l'asymptotique. En bonus, l'OLS coïncide avec le maximum de vraisemblance et devient efficace parmi tous les estimateurs sans biais, pas seulement parmi les linéaires comme dans Gauss-Markov.

Tu veux répondre ?

Connecte-toi pour participer — c'est gratuit et tu peux rester anonyme.