⚔️ Embeddings, Chatbots RAG Arena et forfaits Telecom OPT-NC

🎯 LA question centrale

Le but de ce post est de se concentrer sur les challenges clients suivants :

• "Choisissez le ${produit} qui vous ressemble"
• "Quelle ${produit} choisir ?"
• "Comparez et trouvez le ${produit} adapté à vos besoins."

Où ${produit} peut très facilement être remplacé par:

• Forfait
• Offre mobile
• Tout autre produit ou service

Ce sujet avait déja été abordé, ainsi que son potentiel de chatBOT:

👉 Aujourd'hui, nous allons construire un prototype et jouer avec 🙌

🍿 Pour les impatients

💡 Un deuxième chatBOT ?

Par le passé, j'avais créé un chatBOT connecté à notre API de suivi des colis pour suivre le processus de livraison des colis, via une interface conversationnelle et pour qui j'avais créé un custom tool:

Cette fois-ci on va venir **enrichir la collection avec un chatBOT dans un autre domaine fonctionnel - le Telecom - et avec une autre technologie cette fois.

Ne disposant pas d'API publique, mais uniquement d'un site web - ce qui est très courant -, on va voir comment construire un prototype fonctionnel.

Ensuite, on regardera comment évaluer les performances des chatBOTs...

💭 Pitch

Voici la question centrale qui a suscité la création de ce contenu:

"Quelle serait l'utilité de disposer d'un chatBOT expert dans la connaissance des forfaits telecom d'une entreprise Telecom, et qui saurait efficacement conseiller les prospects sur les forfaits les plus adaptés à leurs usages ?
Et comment en mesurer les performances ?"

🤔 Le chatBOT : un gadget ?

Nous allons donc adresser très concrètement les points ci-dessous via une expérimentation de bout en bout, dans le but d'illustrer les gains et objectifs stratégiques suivants:

1. ⚡ Améliorer l'expérience client grâce à des réponses rapides et précises.
2. ⏳ Améliorer le service client via la gestion de demandes simultanées
3. 🤗 Personnaliser des offres via la collecte des données sur les préférences des clients
4. 🗓️ Disponible 24/7 pour une assistance en dehors des heures de bureau
5. 🤗 Améliorer globalement l'Expérience client : efficacité, personnalisation etdisponibilité accrues
6. 📊 Evaluer les performances

"Gartner Predicts Chatbots Will Become a Primary Customer Service Channel Within Five Years"

📜 Déroulé

On va dérouler les étapes suivantes:

1. Construire un chatBOT très basique en mesure de connaître les forfaits de l'OPT-NC
2. Déterminer un échantillon de questions étalon (issues de la vraie vie) que des prospects pourraient poser lors de l'achat de nouveau forfait
3. Evaluer notre chatBOT vs. Cagou en mode "⚔️ Chatbot Arena"
4. Conclure le classement en mode "Chatbot Arena Leaderboard"

🧰 A propos

Pour créer notre prototype, nous allons nous appuyer sur la stack suivante:

• Les APIs d'Open AI
• Llama Index comme framework pour interagir avec notre LLM
• Les embeddings d'Open AI

... et pousser le tout sur un Notebook dédié:

🏅 Classement final

Pour commencer par la fin, ci-dessous, le 🏅 Chatbot Arena Leaderboard résultant:

ℹ️ Chaque concurrent doit répondre aux challenges suivants (dont la qualité de la réponse sera alors évaluée):

• 💰 Le forfait "le moins cher"
• 📶 Besoin d'un "forfait data"
• 🔒 Forfaits "bloqués"
• 🎒 "Je suis lycéen et..."

Pour memo : les notes de 1/5 données par les humains ont été accompagnées des commentaires spontanés suivants:

• "Je ne vois pas le rapport en fait"
• "Je ne vois pas le rapport avec le contexte"

🔭 Remarques et opportunités

Au cours des expérimentations sont remontées les idées suivantes qui pourraient permettre d'atteindre des niveaux de qualité de réponses bien supérieurs.

En voici quelques unes:

• Récupération et constitution d'un dataset issu de vraies demandes clients avec les réponses optimales
• Enrichissement du dataset précédent avec des données synthétiques
• Automatisaiton du benhcmark Arena
• Diminution des coûts via l'utilisation de modèles Open Source
• Tuning de réponses via l'implémentation de Few-shot prompt templates
• Préparation de datasets structurés pour diminuer les coûts de RUN du bot
• Création d'un unique textbook markdown de très haute qualité dédié aux forfaits afin de l'utiliser comme source de données pour des BOTs.

🔬 Détails

A ce stade l'article est terminé, mais tous les détails ont été consignés, la suite leur est dédiée.

💰 Le forfait "le moins cher"

La question:

"Je ne téléphone presque pas : quel forfait mobile le moins cher me permet de recevoir des appels ? Donne moi le nom des forfaits répondant à mon besoin. Explique pas à pas."

Réponses de BOTs:

📶 Besoin d'un "forfait data"

La question:

"J'ai besoin d'un forfait data : quelles sont les options disponibles ? Explique pas à pas."

Réponses de BOTs:

🔒 Forfaits "bloqués"

La question:

"Je n'ai pas les moyens de payer un forfait mobile chaque mois : donne moi le nom des forfaits répondant à mon besoin ? Explique."

Réponses de BOTs:

📝 La "table des forfaits"

"Liste moi tous les forfaits dans un seul et même tableau."

Réponses de BOTs:

🎒 "Je suis lycéen et..."

Question:

"Je viens d'avoir 18 ans, je suis au lycée et j'ai juste besoin d'un forfait mobile pour que mes parents puissent m'appeler et aussi aller un peu sur Instagram : quel forfait me sont adaptés ? Explique."

Les "⚔️ Chatbot Arena"

Les ⚔️ Chatbot Arena (ex celle de https://chat.lmsys.org/) permettent de comparer des BOTs ou des LLMs sur divers challenges.

On pose une même question et en parallèle à deux chatbOTs et on évalue leur réponses respectives.

Deux protocoles sont usités :

• 100% automatisé : c'est une IA qui évalue la pertinence des réponse des autres chatBOTs
• Human in the loop : c'est un être humain qui évalue

... et nous allons faire les deux 🤩

📜 Méthode

Que l'on parle à un humain ou à une machine, le protocole (ie. scénario) sera le même afin de disposer de conditions expérimentales identiques pour les évaluateurs (humain ou machine):

1. *Préparer un PROMPT SYSTEM *: "Je vais te donner une question et tu devras évaluer la qualité de la réponse sur une note allant de 1 à 5, 5 étant la meilleure note."
2. Enoncer le challenge client
3. Donner la réponse de notre chatBot à base d'embeddings OpenAI (sans dire que c'est lui) et demander le score
4. *Donner la réponse de CagouBOT *(sans dire que c'est lui) et demander le score

⚖️ Evaluation par l' IA

Nous allons utiliser un modèle Open Source et accessible gratuitement sur HuggingChat : Nous Hermes 2 Mixtral 8x7B DPO, particulièrement bon pour suivre des directives.

⚖️ Evaluation humaine

Pour cette phase de test, j'ai interviewé deux collaborateurs, strictement déroulé le même protocole que pour l'IA et aie noté les notes, les réponses fournies pour évaluation sont fournies en aveugle : la personne humaine ne sait pas qui est l'auteur de la réponse qu'il va évaluer.

ℹ️ La synthèse des deux scores est effectué en donnant la note maximale.

🔎 Détail des évaluations

💰 Le forfait "le moins cher"

📶 Besoin d'un "forfait data"

🔒 Forfaits "bloqués"

🎒 "Je suis lycéen et..."

📖 Résumé des Q&As