Datasets

from datasets import load_dataset

# Charger un dataset
dataset = load_dataset("imdb")

# Explorer
print(dataset)
print(dataset["train"][0])

# Filtrer et transformer
filtered = dataset.filter(lambda x: len(x["text"]) > 100)
tokenized = dataset.map(tokenize_function, batched=True)

Avantages :
├── 50,000+ datasets
├── Intégration seamless avec Transformers
├── Streaming pour gros datasets
├── Versioning et documentation
└── API unifiée

URL : huggingface.co/datasets

Avantages :
├── Datasets de compétitions
├── Notebooks associés
├── Communauté active
├── Kernels pour explorer

Accès :
├── Interface web
├── kaggle CLI
└── API Python

URL : kaggle.com/datasets

Taille   : 14M+ images, 1000 classes
Usage    : Benchmark standard, pré-entraînement
Format   : JPEG
Licence  : Recherche uniquement

Variantes :
├── ImageNet-1K (1000 classes, 1.2M images)
├── ImageNet-21K (21000 classes)
└── ImageNet-A/O/R (robustesse)

from torchvision import datasets

cifar10 = datasets.CIFAR10(root='./data', download=True)
# 60,000 images 32x32, 10 classes

CIFAR-10  : 10 classes (avion, auto, oiseau...)
CIFAR-100 : 100 classes (20 superclasses)
Taille    : 60,000 images (32x32)
Usage     : Prototypage rapide, enseignement

from torchvision import datasets

mnist = datasets.MNIST(root='./data', download=True)
fashion = datasets.FashionMNIST(root='./data', download=True)

MNIST         : Chiffres manuscrits (0-9)
Fashion-MNIST : Vêtements (10 catégories)
Taille        : 70,000 images 28x28
Usage         : Tutoriels, "Hello World" du DL

Taille   : 330K images, 80 catégories
Tâches   : Détection, segmentation, keypoints
Format   : JSON annotations
Licence  : CC BY 4.0

Variantes :
├── COCO Detection
├── COCO Segmentation
├── COCO Keypoints
└── COCO Captions

Taille  : 11K images, 20 classes
Tâches  : Détection, segmentation
Usage   : Benchmark historique
Format  : XML annotations

Taille  : 9M images, 600 classes
Tâches  : Classification, détection, segmentation
Source  : Google
Licence : CC BY 4.0

from datasets import load_dataset

imdb = load_dataset("imdb")
# 50K reviews, sentiment binaire

Taille  : 50,000 reviews
Tâche   : Sentiment (positif/négatif)
Langue  : Anglais
Usage   : Benchmark classification

Taille     : 120K articles
Classes    : 4 (World, Sports, Business, Sci/Tech)
Langue     : Anglais
Usage      : Classification multi-classe

from datasets import load_dataset

squad = load_dataset("squad")
# 100K+ questions avec contexte

SQuAD 1.1 : 100K+ questions (réponse dans le texte)
SQuAD 2.0 : + questions sans réponse
Format    : Contexte + Question → Réponse (span)
Langue    : Anglais

Source  : Google Search
Taille  : 300K questions
Format  : Questions réelles + Wikipedia
Usage   : QA open-domain

CRITÈRES :
├── Taille suffisante pour la tâche
├── Qualité des annotations
├── Représentativité des données
├── Licence compatible
└── Documentation disponible

QUESTIONS À SE POSER :
├── Le dataset est-il assez grand ?
├── Les annotations sont-elles fiables ?
├── Y a-t-il des biais connus ?
├── Puis-je l'utiliser commercialement ?
└── Existe-t-il des benchmarks ?

from datasets import load_dataset
from sklearn.model_selection import train_test_split

# Charger
dataset = load_dataset("imdb")

# Vérifier
print(dataset["train"].features)
print(dataset["train"][0])

# Split train/val/test
train_val = dataset["train"].train_test_split(test_size=0.1)
train = train_val["train"]
val = train_val["test"]
test = dataset["test"]

# Préprocesser
def preprocess(examples):
    return tokenizer(examples["text"], truncation=True, padding=True)

train = train.map(preprocess, batched=True)

PLATEFORMES :
├── Hugging Face Datasets (50K+)
├── Kaggle (compétitions)
├── UCI ML Repository (classiques)
└── Papers With Code (benchmarks)

PAR DOMAINE :

Vision :
├── Classification : ImageNet, CIFAR, MNIST
├── Détection : COCO, Pascal VOC
└── Segmentation : ADE20K, Cityscapes

NLP :
├── Classification : IMDb, AG News
├── QA : SQuAD, Natural Questions
├── Français : Allociné, FQuAD, FLUE

Audio :
├── Speech : LibriSpeech, Common Voice
└── Français : Common Voice FR, ESTER

Tabulaire :
├── Classiques : Iris, Titanic, Boston
└── Kaggle : House Prices, Credit Fraud

BENCHMARKS :
├── NLP : GLUE, SuperGLUE, MMLU
├── Vision : ImageNet, COCO
└── LLM : HumanEval, MT-Bench