Demander au modèle le plus puissant de confirmer « une pizza margherita, à emporter » revient à mobiliser un chirurgien pour un pansement. Ce sujet consiste à envoyer chaque requête au bon modèle, au bon prix, sans dégrader la qualité.
Contexte
Chaque conversation d'Ordy, notre agent de commande pour restaurants, et de Tenjah, notre enseignant IA pour le baccalauréat, a un coût. Or le modèle le plus puissant n'est pas toujours nécessaire. Il faut une couche d'infrastructure qui choisit, met en cache, mesure la qualité en continu et reste disponible quand un fournisseur tombe.
Ce que vous ferez
- Concevoir un routeur appris qui choisit, pour chaque requête, le modèle le moins cher capable d'y répondre (classifieur de difficulté, bandit contextuel)
- Mettre en place un cache sémantique avec contrôle de fraîcheur
- Évaluer automatiquement la qualité des réponses (LLM-juge calibré sur des notations humaines)
- Détecter les dérives de qualité dans le temps
- Construire une passerelle à haute disponibilité : bascule entre fournisseurs, limitation de débit, suivi du coût par client
- Exposer les métriques dans des tableaux de bord exploitables
Défis techniques
- Arbitrer entre coût, qualité et latence, sans optimiser l'un au détriment des autres
- Évaluer sans vérité terrain : un juge automatique n'est utile que s'il est calibré
- Éviter qu'un cache sémantique ne serve une réponse périmée ou légèrement fausse
- Garder une passerelle simple à opérer et à déboguer
Livrables
- Une passerelle LLM fonctionnelle, intégrée à la plateforme B2H
- Un routeur et un cache évalués sur un trafic représentatif
- Un dispositif d'évaluation continue et de détection de dérive
- Des tableaux de bord, une documentation technique et une démonstration
- Le rapport de fin d'études
Critères de réussite
- Réduction du coût d'au moins 40 % à qualité égale (objectif)
- Latence p95 mesurée et maîtrisée
- Disponibilité de la passerelle mesurée, y compris lors de pannes simulées d'un fournisseur
- Accord du LLM-juge avec les notations humaines mesuré
Environnement technique
- Passerelle LLM
- Bandits contextuels
- Redis
- Prometheus, Grafana
- Docker
Profil recherché
- Étudiant(e) en dernière année d'école d'ingénieurs ou de master, profil génie logiciel ou MLOps
- Bonne compréhension des systèmes distribués et du cloud
- Goût pour la mesure : on ne réduit pas un coût qu'on ne mesure pas
- Rigueur sur la fiabilité et l'exploitation
- Français courant et anglais technique
Modalités
- Durée : 4 à 6 mois (février – juin 2027 à titre indicatif)
- Encadrement par l'équipe technique B2H, avec un point hebdomadaire
- Intégration à la plateforme interne B2H (identité unique, bus d'événements, données partagées)
- Candidature : CV + lettre de motivation, 2 sujets maximum par candidat
- Date limite : 15/12/2026