Machine Learning : des théorèmes au modèle en service

Ce qu'on démontre

Pas de théorème ce matin, des définitions noir sur blanc : la décision à prendre, la question posée aux données, la cible y (target) et ce qu'elle ne capture pas (un défaut à 30 jours n'est pas une perte), la métrique du métier et celle du modèle, reliées en S7. Les garde-fous : ce que le modèle ne doit jamais faire, qui signe, quand on arrête.

Données et outils

Fiche de cadrage du cours ; UCI Default of Credit Card Clients (archive.ics.uci.edu/dataset/350, CC BY 4.0)

Ce que vous rendez

FRAMING.md : décision, question, cible et limites, deux métriques, garde-fous, rôles, schéma de la pipeline.

Ce qu'on démontre

Minimiser ||y − Xβ||² donne XᵀXβ̂ = Xᵀy ; ŷ = Hy où H = X(XᵀX)⁻¹Xᵀ projette sur Im(X), d'où Xᵀe = 0. Gauss-Markov : Var(β̂) = σ²(XᵀX)⁻¹ ; on résout par SVD.

Données et outils

California Housing (scikit-learn) ; numpy, scikit-learn, statsmodels

Ce que vous rendez

ols_from_scratch.ipynb : trois implémentations concordantes à 1e-8, vérifications géométriques.

Ce qu'on démontre

ℓ(θ) = Σ log p(y_i | x_i ; θ) ; en gaussien, OLS est un MLE. En Bernoulli avec p_i = σ(x_iᵀβ) : ∇ℓ = Xᵀ(y − p), ∇²ℓ = −XᵀWX, donc ℓ concave, Newton = IRLS, I(β) = XᵀWX donne les écarts-types.

Données et outils

UCI Default ; load_digits pour le bonus multiclasse ; numpy, scikit-learn, statsmodels

Ce que vous rendez

logit_from_scratch.py + coefficients (GD, Newton, sklearn, statsmodels) concordants à 1e-4.

Ce qu'on démontre

Compromis biais-variance (bias-variance trade-off) : erreur attendue = σ² + biais² + variance. Une fuite, c'est toute statistique du test qui entre dans le modèle. Inégalité de Hoeffding (Hoeffding's inequality) : P(|R̂ − R| > ε) ≤ 2exp(−2nε²), donc 1 000 lignes de test donnent ±4,3 points à 95 %.

Données et outils

UCI Default ; UCI Bike Sharing (archive.ics.uci.edu/dataset/275, CC BY 4.0) ; scikit-learn Pipeline, TimeSeriesSplit

Ce que vous rendez

fuites.ipynb : deux fuites chiffrées, KFold contre TimeSeriesSplit, marge Hoeffding du projet.

Ce qu'on démontre

Taux de base (base rate) p̂ et son intervalle de confiance (confidence interval) de Wilson ; entropie H(p̂) = log-loss du modèle constant. Jointure à date de validité : on ne joint que ce qui était connu à la date de prédiction.

Données et outils

UCI Default ; DuckDB, pandas, scikit-learn ; gabarit de dépôt (GitHub Classroom, à confirmer)

Ce que vous rendez

DATA_CARD.md + LEAKAGE_MAP.md + coupe figée + baseline.py + première entrée de DECISIONS.md.

Ce qu'on démontre

Convexe : tout minimum local est global. Avec un pas d'apprentissage (learning rate) η = 1/L, f(x_k) − f* ≤ L||x_0 − x*||²/(2k), au-delà de 2/L on diverge ; pour la logistique L ≤ λ_max(XᵀX)/(4n), d'où l'effet de la standardisation (feature scaling). Descente de gradient stochastique (stochastic gradient descent, SGD) : gradient bruyant mais sans biais ; Adam : sans garantie convexe, redoutable en pratique.

Données et outils

UCI Default ; numpy, matplotlib

Ce que vous rendez

optim_bench.py + courbes de convergence + 10 lignes reliant chaque courbe à sa borne.

Ce qu'on démontre

Ridge : β̂_λ = (XᵀX + λI)⁻¹Xᵀy rétrécit (shrinkage) chaque direction SVD par σ_j²/(σ_j² + λ). Lasso : β̂_j = signe(β̂_j^{OLS})(|β̂_j^{OLS}| − λ)₊, le seuillage doux (soft thresholding) qui fabrique des zéros exacts. Lecture bayésienne : avec un a priori (prior) gaussien, ridge = MAP ; avec un a priori de Laplace, lasso = MAP.

Données et outils

UCI Default ; numpy, scikit-learn (LogisticRegressionCV, lasso_path)

Ce que vous rendez

Chemin de régularisation + stabilité du support + C retenu justifié dans DECISIONS.md.

Ce qu'on démontre

Aire sous la courbe ROC (area under the ROC curve, AUC) = P(s(X⁺) > s(X⁻)), muette sur la calibration. Prédire 1 ssi p(x) > t* = c_FP/(c_FP + c_FN), seulement si p est calibrée ; la pondération des classes (class weights) par w déplace p en wp/(wp + 1 − p), à ramener avant t*.

Données et outils

UCI Default ; scikit-learn (roc_curve, calibration_curve, CalibratedClassifierCV)

Ce que vous rendez

Note d'une page « Seuil et coût » : hypothèses, t*, coût attendu pour 10 000 clients.

Ce qu'on démontre

Pas de théorème, une discipline : un Pipeline sklearn est ajusté sur le pli (fold) d'entraînement, donc sans fuite par construction, et un test est une propriété vérifiable (AUC = 1 sur données séparables, predict(chargé) = predict(entraîné)).

Données et outils

git, GitHub, GitHub Actions, pytest, make ; assistant IA autorisé (niveau 4)

Ce que vous rendez

Dépôt d'équipe avec CI verte, make reproduce, 5 tests, une PR fusionnée, DECISIONS.md (5 entrées datées).

Ce qu'on démontre

Machines à vecteurs de support (support vector machines, SVM), marge dure : min (1/2)||w||² sous y_i(wᵀx_i + b) ≥ 1 ; KKT donne w = Σα_i y_i x_i, seuls les supports ont α_i > 0. Le dual ne voit les données qu'à travers x_iᵀx_j, d'où l'astuce du noyau (kernel trick) et f = Σα_i k(x_i, ·) ; kernel ridge coûte O(n³).

Données et outils

Synthétique 2D + UCI Default ; scikit-learn (SVC, KernelRidge, RBFSampler)

Ce que vous rendez

svm_kernels.ipynb : vérification KKT, marge et supports, kernel ridge validé, tableau temps × AUC.

Ce qu'on démontre

Classe finie : avec probabilité ≥ 1 − δ, R(h) ≤ R̂(h) + √((log|H| + log(2/δ))/(2n)). Rademacher : pour ||w|| ≤ B et ||x|| ≤ R, R_n ≤ BR/√n, indépendant de la dimension. Zhang et al. 2017 : les étiquettes aléatoires montrent la limite.

Données et outils

UCI Default ; scikit-learn ; script fourni

Ce que vous rendez

Tableau étiquettes aléatoires + borne VC + issue PREREG pour la courbe de généralisation.

Ce qu'on démontre

Entropie H(Y) = −Σ p_k log₂ p_k, gain I(Y ; A) = H(Y) − H(Y | A) ≥ 0, Gini remplace ln p par p − 1. CART choisit gloutonnement (variable, seuil) ; élagage R_α(T) = R(T) + α|feuilles|. Variance énorme : d'où les forêts.

Données et outils

UCI Default ; numpy, scikit-learn (DecisionTreeClassifier, export_text)

Ce que vous rendez

cart_from_scratch.py + gains à la racine + arbre élagué exporté en texte.

Ce qu'on démontre

Var d'une moyenne de B estimateurs corrélés = ρσ² + (1 − ρ)σ²/B → ρσ² ; le bootstrap baisse la variance, m ≈ √p variables par nœud baisse ρ. Chaque arbre ignore 37 % des lignes, d'où l'erreur out-of-bag.

Données et outils

UCI Default ; scikit-learn (RandomForestClassifier, permutation_importance, PartialDependenceDisplay)

Ce que vous rendez

Figure AUC(B, m) + MDI contre permutation avec la variable piège + PD/ICE.

Ce qu'on démontre

Gradient boosting (Friedman 2001) : F_m = F_{m−1} + νh_m, h_m ajusté sur r_i = −∂L/∂F, soit y_i − σ(F_{m−1}(x_i)) en logistique. Newton (XGBoost, LightGBM) : feuille w* = −Σg_i/(Σh_i + λ).

Données et outils

UCI Default ; scikit-learn (HistGradientBoostingClassifier) ; LightGBM en option

Ce que vous rendez

gb_from_scratch.py concordant avec sklearn + AUC(M) + tableau logistique / forêt / boosting.

Ce qu'on démontre

Choisir les hyperparamètres (hyperparameters) sur le pli d'évaluation gonfle la performance : CV imbriquée. Le t apparié sur k plis est biaisé car les plis se recouvrent : test corrigé de Nadeau et Bengio (corrected resampled t-test), Var_corr = (1/k + n_test/n_train)·s².

Données et outils

UCI Default ; scikit-learn (cross_validate, RandomizedSearchCV), scipy.stats ; MLflow en extension

Ce que vous rendez

Tableau 3 modèles × (AUC, Brier, IC 95 %) + test corrigé + champion selon la règle pré-enregistrée + WORST20.md.

Ce qu'on démontre

φ_j = Σ_{S ⊆ N∖{j}} |S|!(p − |S| − 1)!/p! · [v(S ∪ {j}) − v(S)], l'unique attribution vérifiant efficacité, symétrie, nullité, additivité. Association, pas causalité.

Données et outils

UCI Default ; shap (devcontainer ; secours scikit-learn)

Ce que vous rendez

Section « Explicabilité » de la fiche de modèle (model card) : vue globale, trois explications locales, limites.

Ce qu'on démontre

Parité démographique, égalité des chances, calibration par groupe : incompatibles dès que les taux de base diffèrent (Kleinberg, Mullainathan et Raghavan 2016 ; Chouldechova 2017). Variable relais (proxy variable) : X corrélée à A transmet A même retirée ; un sous-groupe trop petit se déclare « non concluant », pas « équitable ». Droit : la directive 2004/113/CE interdit la discrimination par le sexe dans les services financiers (arrêt Test-Achats C-236/09). AI Act : règlement (UE) 2024/1689, en vigueur le 1er août 2024, application générale le 2 août 2026 ; le scoring de crédit des personnes physiques (annexe III, haut risque) s'applique à partir du 2 décembre 2027 après le règlement (UE) 2026/1744 (omnibus numérique, en vigueur le 27 juillet 2026). À vérifier sur le texte consolidé le jour du cours.

Données et outils

UCI Default ; pandas, scikit-learn ; gabarit de fiche de modèle

Ce que vous rendez

MODEL_CARD.md v1 + tableau d'équité par groupe avec IC et verdict + test de variable relais.

Ce qu'on démontre

Analyse en composantes principales (principal component analysis, ACP ou PCA) : vecteurs propres de la covariance, variance expliquée λ_j/Σλ ; Eckart-Young : la troncature de rang k est la meilleure approximation. Partitionnement k-means (k-means clustering) : Lloyd descend vers un minimum local ; mélanges gaussiens (Gaussian mixture models, GMM) par espérance-maximisation (expectation-maximisation, EM), dont k-means est la limite à variance nulle.

Données et outils

UCI Default ; scikit-learn (PCA, KMeans, GaussianMixture)

Ce que vous rendez

Figure ACP + tableau des segments + effet sur le champion ; issue PREREG pour em_1d.py.

Ce qu'on démontre

Perceptron multicouche (multilayer perceptron, MLP) : f = f_L ∘ ... ∘ f_1, z^{(l)} = W^{(l)}a^{(l−1)} + b^{(l)}. Règle de la chaîne : δ^{(l)} = (W^{(l+1)ᵀ}δ^{(l+1)}) ⊙ g'(z^{(l)}), ∂L/∂W^{(l)} = δ^{(l)}a^{(l−1)ᵀ} ; la passe arrière coûte une passe avant.

Données et outils

UCI Default ; numpy

Ce que vous rendez

mlp_numpy.py avec gradient check < 1e-6, courbes d'apprentissage, trois initialisations.

Ce qu'on démontre

Perte non convexe : plus de garantie, donc on mesure. Batch norm, dropout, arrêt précoce ≈ ridge. À vérifier vous-mêmes : sur des tables de taille moyenne, le boosting reste au niveau des MLP (Grinsztajn, Oyallon et Varoquaux 2022).

Données et outils

UCI Default ; PyTorch (devcontainer ; secours MLPClassifier)

Ce que vous rendez

Tableau d'ablation (4 variantes × 3 graines) + décision dans DECISIONS.md : le réseau remplace-t-il le champion ?

Ce qu'on démontre

Walk-forward : entraîner sur [1, t], tester sur [t + 1, t + h], glisser. Dérive de covariables : PSI = Σ_b(q_b − p_b)ln(q_b/p_b), Kolmogorov-Smirnov, validation adversariale. Dérive de concept : visible seulement avec des étiquettes, souvent en retard.

Données et outils

UCI Bike Sharing ; pandas, scipy.stats, scikit-learn

Ce que vous rendez

MONITORING.md : PSI/KS par variable, AUC adversariale, politiques de réentraînement, seuils justifiés.

Ce qu'on démontre

Split conformal : scores s_i = |y_i − f̂(x_i)| sur n points de calibration, q̂ = le ⌈(n + 1)(1 − α)⌉-ième plus petit, C(x) = f̂(x) ± q̂. Sous échangeabilité, sans hypothèse sur f̂ : P(Y ∈ C(X)) ≥ 1 − α.

Données et outils

UCI Bike Sharing, UCI Default ; numpy ; MAPIE en option

Ce que vous rendez

conformal.py (< 30 lignes) + couverture empirique par segment + politique d'abstention (taux, coût, gain).

Ce qu'on démontre

Valeur d'un seuil V(t) = Σ_i[gain_i·1{s_i ≥ t, y_i = 1} − c_FP·1{s_i ≥ t, y_i = 0} − c_FN·1{s_i < t, y_i = 1}], comparée à « sans modèle ». Test A/B : n = (z_{1−α/2} + z_{1−β})²·2p̄(1 − p̄)/δ² par bras.

Données et outils

UCI Default ; numpy, pandas, matplotlib, statsmodels

Ce que vous rendez

Courbe de profit + MEMO_CLIENT.md d'une page + dimensionnement A/B.

Ce qu'on démontre

Toute allégation de performance est une estimation avec un intervalle et un n ; comparaisons multiples : Bonferroni ou Benjamini-Hochberg.

Données et outils

Portail AI Act de la Commission européenne (digital-strategy.ec.europa.eu) ; gabarits du cours

Ce que vous rendez

AI_ACT_GAP.md (2 pages) + MODEL_CARD.md v3 + DATASHEET.md + fiche de revue reçue et réponses.

Ce qu'on démontre

Contrat de schéma (schema contract) en entrée : schéma typé et domaine de chaque variable (pydantic). Tests de propriété (property-based tests) : invariance predict(chargé) = predict(entraîné) ; monotonie : le score croît avec PAY_0 ; latence p50 et p95.

Données et outils

FastAPI, pydantic, joblib, pytest (devcontainer)

Ce que vous rendez

Dossier service/ avec API, quatre tests d'intégration verts, latences p50/p95 dans MODEL_CARD.md.

Ce qu'on démontre

Partie A (45 minutes, papier) : deux dérivations de la liste publiée et la lecture critique d'un code défectueux. Partie B (1 h 45, poste hors ligne) : un jeu tabulaire inédit avec une fuite cachée et une composante temporelle ; pipeline sans fuite, métrique avec IC, seuil par coût, note d'une page.

Données et outils

Papier ; Python, scikit-learn, pandas hors ligne ; jeu inédit préparé par l'enseignant

Ce que vous rendez

Copie papier + notebook et note d'une page rendus sur clé.

Ce qu'on démontre

Attendu : la décision cadrée en S0, la règle pré-enregistrée, le champion et son IC, le seuil et son coût, la couverture conforme, l'équité, la surveillance, l'AI Act. Une dérivation au tableau, tirée au sort.

Données et outils

Dépôt d'équipe projeté, devcontainer, urne de questions, grille d'oral

Ce que vous rendez

Support de 10 diapositives maximum déposé dans le dépôt avant la séance ; grille d'oral par étudiant.