Impact environnemental

┌─────────────────────────────────────────────────────────────┐
│           CONSOMMATION ÉNERGÉTIQUE DE L'IA                  │
├─────────────────────────────────────────────────────────────┤
│                                                              │
│  ENTRAÎNEMENT (une fois)                                    │
│  ────────────────────────                                   │
│  GPT-3 (175B params)     : ~1,287 MWh                       │
│  GPT-4 (estimé)          : ~10,000+ MWh                     │
│  BLOOM (176B params)     : ~433 MWh                         │
│  LLaMA-65B               : ~449 MWh                         │
│                                                              │
│  INFÉRENCE (par requête)                                    │
│  ───────────────────────                                    │
│  Recherche Google        : ~0.0003 kWh                      │
│  Requête ChatGPT         : ~0.001-0.01 kWh                  │
│  Génération d'image      : ~0.02 kWh                        │
│                                                              │
│  COMPARAISONS                                               │
│  ────────────                                               │
│  GPT-3 training ≈ 500 vols Paris-New York                   │
│  1 requête ChatGPT ≈ 1 LED allumée 1 heure                  │
│                                                              │
└─────────────────────────────────────────────────────────────┘

RÉPARTITION DE L'IMPACT :

┌─────────────────────────────────────────┐
│  Entraînement : 10-20%                  │
│  ████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  │
│                                         │
│  Inférence : 80-90%                     │
│  ████████████████████████████████████░  │
└─────────────────────────────────────────┘

L'inférence domine car :
- Des millions/milliards de requêtes par jour
- Modèles déployés 24/7
- Usage croissant exponentiellement

Évolution de la taille des LLM :

2018 : BERT        → 110M paramètres
2019 : GPT-2       → 1.5B paramètres
2020 : GPT-3       → 175B paramètres
2022 : PaLM        → 540B paramètres
2023 : GPT-4       → ~1.8T paramètres (estimé)

Loi de mise à l'échelle :
Performance ∝ (Données × Compute × Paramètres)

→ Course à la taille = course à la consommation

CONSOMMATION D'UN DATACENTER :

┌───────────────────────────────────────────┐
│  SERVEURS (calcul)                        │
│  ████████████████████████  60%            │
│                                           │
│  REFROIDISSEMENT                          │
│  ████████████████  40%                    │
│                                           │
│  PUE (Power Usage Effectiveness)          │
│  = Énergie totale / Énergie calcul        │
│                                           │
│  PUE moyen industrie : 1.58               │
│  PUE Google/Meta    : 1.10-1.20           │
│  PUE idéal          : 1.00                │
└───────────────────────────────────────────┘

REFROIDISSEMENT PAR EAU :

Microsoft (2022) : +34% consommation d'eau
Google (2022)    : +20% consommation d'eau

Un datacenter moyen :
~5 millions de litres/jour

Entraînement GPT-3 :
~700,000 litres d'eau (estimation)

→ Problématique dans les régions en stress hydrique

# CodeCarbon - Mesure des émissions CO2
from codecarbon import EmissionsTracker

tracker = EmissionsTracker()
tracker.start()

# Votre code d'entraînement
model.fit(X_train, y_train)

emissions = tracker.stop()
print(f"Émissions : {emissions:.4f} kg CO2")

# ML CO2 Impact
from ml_co2_impact import Tracker

with Tracker() as tracker:
    model.train()

print(f"Énergie : {tracker.energy_consumed} kWh")
print(f"CO2 : {tracker.co2_emissions} kg")

from carbontracker.tracker import CarbonTracker

tracker = CarbonTracker(epochs=10)

for epoch in range(10):
    tracker.epoch_start()

    # Entraînement
    train_one_epoch()

    tracker.epoch_end()

tracker.stop()
# Affiche la consommation totale et projetée

TECHNIQUES D'OPTIMISATION :

1. DISTILLATION
   Grand modèle → Petit modèle (performance similaire)
   Exemple : DistilBERT = 60% de BERT, 97% performance

2. PRUNING (Élagage)
   Supprimer les poids non essentiels
   Réduction jusqu'à 90% des paramètres

3. QUANTIFICATION
   Réduire la précision des poids
   FP32 → INT8 : /4 mémoire, x2-4 vitesse

4. SPARSE ATTENTION
   Attention sur sous-ensemble de tokens
   Linéaire vs quadratique

from transformers import AutoModelForCausalLM
import torch

# Charger en 4-bit
model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-v0.1",
    load_in_4bit=True,
    device_map="auto"
)

# Résultat :
# - Mémoire : 7B * 4 bytes = 28GB → ~4GB
# - Vitesse : x2-3 plus rapide
# - Performance : ~95-99% du modèle original

ÉMISSIONS CO2 PAR RÉGION (g CO2/kWh) :

France (nucléaire)    : ~50
Suède (hydro/éolien)  : ~40
Norvège (hydro)       : ~20
Allemagne (mix)       : ~350
Pologne (charbon)     : ~700
États-Unis (moyenne)  : ~400

→ Entraîner en France plutôt qu'en Pologne
  divise les émissions par 14

AVANT L'ENTRAÎNEMENT :
□ Vraiment besoin d'entraîner ? (modèle existant ?)
□ Quelle taille minimale suffit ?
□ Hyperparamètres optimisés sur petit dataset ?
□ Région à faible empreinte carbone ?

PENDANT L'ENTRAÎNEMENT :
□ Early stopping activé
□ Checkpoints réguliers
□ Monitoring de la convergence
□ Gradient accumulation (moins de mémoire)

DÉPLOIEMENT :
□ Quantification du modèle
□ Caching des résultats fréquents
□ Batch processing quand possible
□ Auto-scaling (éteindre si non utilisé)

L'IA peut aider à résoudre des problèmes environnementaux :

ÉNERGIE
├── Optimisation des réseaux électriques
├── Prévision production solaire/éolienne
├── Gestion intelligente des bâtiments
└── Réduction des pertes

CLIMAT
├── Modélisation climatique
├── Prévision météo améliorée
├── Détection des feux de forêt
└── Suivi de la déforestation

BIODIVERSITÉ
├── Identification d'espèces
├── Suivi des populations animales
├── Détection du braconnage
└── Analyse des écosystèmes

RESSOURCES
├── Agriculture de précision
├── Optimisation logistique
├── Détection des fuites d'eau
└── Recyclage intelligent

PARADOXE :

L'IA peut :
✓ Optimiser la consommation d'énergie
✓ Aider à la transition écologique
✓ Améliorer l'efficacité des systèmes

MAIS :
✗ Consomme elle-même beaucoup d'énergie
✗ Croissance exponentielle de l'usage
✗ Effet rebond possible

QUESTION CLÉ :
Les bénéfices environnementaux de l'IA
dépassent-ils son coût environnemental ?

INITIATIVES INDUSTRIELLES :

Microsoft : Carbon Negative d'ici 2030
Google    : 100% renouvelable (scope 2)
Meta      : Net zero d'ici 2030
Amazon    : Net zero d'ici 2040

LIMITES :
- Scope 3 (chaîne d'approvisionnement) souvent exclu
- Compensation carbone controversée
- Croissance continue de la consommation absolue

✓ Publier les coûts computationnels
✓ Comparer efficacité, pas seulement performance
✓ Favoriser la reproductibilité
✓ Développer des architectures efficientes

✓ Mesurer et reporter l'empreinte carbone
✓ Choisir des datacenters verts
✓ Optimiser les modèles en production
✓ Former les équipes aux enjeux

✓ Utiliser des modèles pré-entraînés quand possible
✓ Commencer petit et augmenter si nécessaire
✓ Profiler la consommation énergétique
✓ Désactiver les ressources non utilisées

IMPACT ENVIRONNEMENTAL DE L'IA :

Sources :
├── Entraînement (intense mais ponctuel)
├── Inférence (dominant à grande échelle)
├── Datacenters (énergie + eau + refroidissement)
└── Hardware (fabrication, e-waste)

Chiffres clés :
├── GPT-3 : ~552 tonnes CO2
├── Requête ChatGPT : ~0.001-0.01 kWh
├── Inférence = 80-90% de l'impact total
└── Mix énergétique : facteur x10+

Optimisations :
├── Modèles : distillation, pruning, quantification
├── Infra : régions vertes, PUE optimisé
├── Usage : caching, batching, auto-scaling
└── Mesure : CodeCarbon, ML CO2 Impact

L'IA peut aussi AIDER l'environnement :
énergie, climat, biodiversité, ressources