« Bonjour, n7eb nkomandi deux pizzas, w zid coca. » Une phrase banale à Tunis, et un vrai casse-tête pour la plupart des modèles de reconnaissance vocale. Sujet de recherche appliquée, en binôme.
Contexte
Ordy prend des commandes par téléphone en français, en anglais et en derja tunisien. Or les modèles du marché comprennent mal le derja et l'alternance arabe/français au sein d'une même phrase, surtout sur une ligne téléphonique bruitée. Chaque mot mal transcrit risque de devenir une erreur de commande. Ce projet vise à combler cet écart de façon mesurable.
Ce que vous ferez
- Constituer un corpus audio annoté en derja, collecté avec le consentement des locuteurs, incluant l'alternance codique
- Définir des conventions de transcription cohérentes (écriture arabe, latine, chiffres « arabizi »)
- Affiner Whisper par LoRA, avec augmentation de données : bruit téléphonique, accents régionaux, débits variés
- Extraire intentions et entités (commande, rendez-vous, demande RH) à partir des transcriptions
- Déployer un pipeline en streaming temps réel à faible latence
- Évaluer chaque étape séparément puis de bout en bout
Défis techniques
- Données rares : chaque heure d'audio annoté compte, la qualité prime sur le volume
- Alternance codique : plusieurs langues et plusieurs écritures dans une même phrase
- Contraintes temps réel : une conversation téléphonique ne tolère pas d'attente
- Éviter que l'affinage ne dégrade les performances en français et en anglais
Livrables
- Un corpus annoté et documenté, avec son protocole de collecte et de consentement
- Un modèle Whisper adapté et ses résultats d'évaluation
- Un module de compréhension (intentions, entités) intégré à la plateforme B2H
- Une démonstration en streaming, une documentation technique
- Le mémoire de fin d'études ; une publication scientifique est envisageable si les résultats le justifient
Critères de réussite
- WER mesuré avant et après adaptation, sur un jeu de test distinct
- Latence de bout en bout mesurée en conditions de streaming
- Exactitude des commandes extraites sur des appels de test
- Absence de régression significative en français et en anglais
Environnement technique
- Whisper, LoRA / PEFT
- PyTorch
- ASR en streaming
- NLU (extraction d'intentions et d'entités)
- Python
Profil recherché
- Étudiant(e)s en dernière année d'école d'ingénieurs ou de master, profil IA ou data science
- Bonne pratique de l'apprentissage profond ; une expérience en audio ou en NLP est un plus
- Locuteur(rice) arabophone, à l'aise avec le derja tunisien
- Intérêt pour la recherche et la rigueur expérimentale
- Français et anglais technique
Modalités
- Durée : 4 à 6 mois (février – juin 2027 à titre indicatif)
- Encadrement par l'équipe technique B2H, avec un point hebdomadaire
- Intégration à la plateforme interne B2H (identité unique, bus d'événements, données partagées)
- Candidature : CV + lettre de motivation, 2 sujets maximum par candidat
- Date limite : 15/12/2026