8 novembre 2024 –
Contexte et ambition d’Awels Engineering
Awels Engineering a été fondée avec l’ambition de transformer le secteur du conseil en intégrant harmonieusement l’intelligence humaine et l’intelligence artificielle (IA). En juillet dernier, nous avons entrepris cette aventure entrepreneuriale avec une question clé : devrions-nous développer nos propres modèles d’IA générative ou utiliser des solutions existantes ? Cette décision complexe nécessitait une compréhension approfondie des options disponibles, car le domaine de l’IA générative évolue rapidement et les meilleures pratiques ne sont pas encore établies.
Développer nos propres modèles d’IA de zéro aurait impliqué des investissements considérables en temps, ressources et expertise. Cependant, les solutions génériques du marché pourraient ne pas répondre à nos besoins spécifiques. En tant que société de conseil, notre objectif est de fournir des solutions sur mesure, nécessitant souvent une personnalisation de l’IA. Nous avons donc adopté une approche pragmatique et expérimentale, convaincus que “l’apprentissage par la pratique” était la meilleure voie pour évaluer nos options.
Nous avons exploré les grands modèles de langage LLM et les modèles plus petits et spécialisés. Les LLM promettent une intelligence avancée mais posent des défis en termes de coût et de pertinence pour des tâches spécifiques. Les modèles plus petits, bien que moins puissants, peuvent être ajustés pour répondre à des besoins particuliers, offrant un équilibre entre performances et coûts.
En parallèle, nous avons réfléchi à l’intégration éthique et efficace de l’IA dans notre entreprise. Nous croyons fermement que l’intelligence humaine reste irremplaçable et cherchons à créer une synergie où l’IA amplifie les capacités humaines. Ainsi, Awels Engineering s’est fondée sur ces principes, prête à innover et à relever les défis pour façonner l’avenir du conseil grâce à l’IA générative.
La naissance de notre premier PHI-ston : Maximus
Le développement de Maximus, notre premier agent IA spécialisé, a été une étape cruciale. Conçu pour IBM Maximo, un logiciel de gestion de la maintenance, Maximus vise à transformer la gestion des opérations de maintenance avec des fonctionnalités avancées et une assistance personnalisée. L’un de ses principaux objectifs est de simplifier la création de spécifications fonctionnelles, une tâche complexe et chronophage.
Maximus devait également être polyvalent, capable de développer du code spécifique pour configurer IBM Maximo selon les besoins des clients, réduisant ainsi les erreurs humaines et accélérant la mise en œuvre. De plus, en tant que chatbot, Maximus devait fournir des réponses rapides et précises aux techniciens de maintenance, améliorant ainsi leur efficacité.
L’entraînement de Maximus a nécessité un corpus de données pertinent, rassemblant des milliers de pages de documentation et des données diverses. Après l’entraînement, des tests de certification professionnelle ont évalué les performances de Maximus, permettant d’affiner ses fonctionnalités.
La problématique de valider les réponses obtenues
La validation des réponses de Maximus a été un défi majeur, en raison de l’absence de benchmarks établis pour l’IA appliquée à la gestion de la maintenance. Nous avons opté pour une approche inspirée des processus de certification.
Cependant, les résultats initiaux ont été décevants, avec seulement 36% de bonnes réponses. Les hallucinations de GPT4o et les limitations de RAG ont mis en évidence la nécessité d’explorer d’autres méthodes. Nous avons réalisé l’importance de la qualité des données d’entraînement et avons impliqué des experts pour évaluer les réponses de Maximus.
Cette phase a été cruciale pour comprendre les défis de l’IA dans des contextes spécialisés. Bien que les résultats initiaux aient été en deçà des attentes, ils ont servi de catalyseur pour affiner notre stratégie et améliorer les performances de Maximus.
Le « finetuning » de Microsoft Phi pour obtenir les PHI-stons
Face aux limites de notre approche initiale, nous avons opté pour le fine-tuning de Microsoft Phi, un modèle plus petit et spécialisé. Ce choix s’est basé sur la flexibilité, le coût et la personnalisation offerts par Microsoft Phi, ainsi que sur sa taille compacte, permettant un ré-entraînement sur des cartes graphiques grand public.
La création d’un dataset d’entraînement pertinent a été un défi majeur. Nous avons rassemblé un large corpus de documentation sur IBM Maximo, nettoyé et structuré les données pour garantir leur qualité. Le fine-tuning a ajusté les paramètres du modèle pour qu’il réponde aux questions spécifiques liées à IBM Maximo.
Les tests rigoureux ont montré une amélioration significative des performances de Maximus, atteignant 52% de bonnes réponses avec le même corpus documentaire. Ces résultats ont confirmé l’efficacité du fine-tuning d’un modèle spécialisé pour des tâches spécifiques.
La conclusion est simple : sur des tâches ultra-spécialisées, un SLM fera probablement beaucoup mieux qu’un LLM avec un ensemble de livres à sa disposition. Un peu comme chez les humains, ou un apprentissage spécialisé et l’expérience prévalent souvent.
Notre dernier agent (le quatrième “PHI-ston”) est Colbert, notre agent conversationnel, en collaboration avec Druid AI, spécialisé sur les sujets de fiscalité mais le mieux c’est de le laisser se présenter 🙂
Nous restons déterminés à explorer de nouvelles applications de l’IA et à repousser les limites de ce qui est possible, convaincus que l’avenir du conseil réside dans l’intégration intelligente de l’IA générative.
Pour plus d’informations ou pour discuter de la manière dont Awels Engineering peut vous aider à intégrer ces innovations dans votre domaine, n’hésitez pas à contacter : contact@awels-engineering.com.