Quelques mois se sont écoulés depuis mon dernier article "tuto" sur Medium. Nous en étions à tester différents frameworks, modèles d'ingestion et LLM pour proposer à nos clients the "State of the Art" des solutions d'IA générative Open Source, souveraines, hautement sécurisées et surtout compatibles avec le défi de la transition énergétique.
L'actualité des humains derrière le projet Nosia en ce mois d'octobre 2024
Pour celles et ceux qui ne nous connaissent pas, j'aimerai rappeler notre mission :
Notre raison d'être c'est de fournir des technologies d'intelligence artificielle (IA) utiles, souveraines et hautement sécurisées tout en maîtrisant l'impact environnemental. Pour cela nous privilégions l'Open Source, le respect des règles du Numérique Responsable, le bien-être au travail, la cybersécurité et la souveraineté des données.
Comment garantir une telle promesse
Tout d'abord nous lisons beaucoup, beaucoup, beaucoup... Principalement de la documentation technique voire scientifique mais aussi de la philo, de la psychologie et de la sociologie. Par exemple, pour ma part, j'ai ajouté à ma routine matinale la lecture des publications dédiées à l'IA et publiées la veille sur le portail arXiv. Je ne les lis pas toutes bien sûr mais dès que ça traite d'optimisation des modèles, de RAG, d'équipes d'agents et autres pipelines, ou encore de transition et d'éthique je me réjouis car ça nous permet souvent d'avancer et à minima d'échanger avec nos pairs. Autant vous dire que l'été a été studieux !
Tenez, un petit détail géostratégique qui a toute son importance : la quasi totalité de ces publications sont soit américaines soit chinoises. Il n'y a pratiquement rien en provenance d'ailleurs et encore moins qui soit estampillé franco-français. Je ne dis pas ici que nous ne faisons rien en France mais si ça existe ce n'est pas partagé sur arXiv.
Ensuite nous expérimentons beaucoup, beaucoup, beaucoup... Et au delà des frameworks Open Source sur étagère, à coder soi-même ou en no-code, il y a des aspects bien plus consommateurs de temps et de ressources. Il s'agit de l'optimisation des solutions vis-à-vis d'un défi. Sur le papier tout parait très simple. Un chatbot pour du support client, un assistant médical en oncologie ou encore une équipe d'agents pour traiter du contrôle juridique sur contrat (3 défis récents chez Nosia). Mais IRL ce n'est pas du tout la même chose. Nous passons des heures à trouver le bon mixte entre la manière d'ingérer les datas client (préparation des données -> Phase de chunking -> Phase d'embedding...), le modèle de LLM idéal pour les traiter, les instructions (prompts) systèmes pour encadrer et sécuriser la génération. Ou encore la stabilité de la solution dans le temps à travers une même discussion ou bien lors d'une montée en charge (parallélisme, mémorisation, gestion du cache, etc.). Et je ne parle ici que de la couche haute de l'IA, pas de son infrastructure sous-jacente.
C'est expérimental et très complet comme métier surtout lorsque, tout comme nous dans le projet Nosia, on souhaite maitriser tout le stack pour la tranquillité de nos clients ! Rappelez-vous, la souveraineté et la sécurité sont indispensables à nos yeux.
Je ne vais pas développer d'avantage à propos de ces opérations. Si cela vous intéresse contactez-moi en privé.
Je vais plutôt vous partager quelques pépites issues de ce voyage
Comprendre la complexité des transformers de manière visuelle
Une équipe de chercheurs et d'étudiants de la Georgia Institue of Technology a développé un site web qui présente de manière visuelle et simplifiée le fonctionnement des transformers.
Leur étude sur arXiv : https://arxiv.org/pdf/2408.04619
Et surtout leur site de présentation visuelle pour jouer avec : https://poloclub.github.io/transformer-explainer/
Plus complet et détaillé, pour comprendre la complexité des modèles de LLM, le site du néo-zélandais Brendan Bycroft où l'on peut visualiser le fonctionnement d'un tout petit modèle de 85 000 paramètres nommé nano-gpt sur un exercice simple, classer 6 lettres dans l'ordre alphabétique. C'est un cours complet et passionnant !
https://bbycroft.net/llm
Chatbot Arena et RedTeam Arena LLM Leaderboard
L'Évaluation communautaire des meilleurs chatbots et modèle d'IA générative par le Skylab et le LMSYS de Berkeley. Idéal pour tester des modèles face à face ou encore pour aider à évaluer les modèles de manière humaine.
https://lmarena.ai/?leaderboard
Et depuis peu la possibilité de hacker un modèle dans la RedTeam Arena ! Bon ça ne vole pas haut mais ça permet de tester la sécurité des modèles contre l'injection de prompts.
https://redarena.ai/
Des guides bien faits
On a beaucoup aimé cet ensemble de guides pour créer des RAG performants pour de la production, par les équipes de LlamaIndex.
https://docs.llamaindex.ai/en/stable/optimizing/production_rag/
L'iA et l'écologie
Deux études récentes, ou disons plutôt pas trop vieilles (2020 et 2022) présentent une vision plus optimiste de l'évolution de la consommation électrique et des émissions de CO2 des datacenters utilisés pour le Machine Learning et plus généralement l'apprentissage des IA génératives.
L'étude "The Carbon Footprint of Machine Learning Training Will Plateau, Then Shrink" aborde les préoccupations croissantes concernant l'empreinte carbone des formations de modèles d'apprentissage automatique (ML).
A lire ici sur arXiv : https://arxiv.org/abs/2204.05149
Quant à l’étude "Recalibrating global data center energy-use estimates" d’Eric Masanet et al., publiée dans Science en 2020, elle réévalue l’utilisation énergétique mondiale des centres de données et réfute certaines prédictions alarmistes sur la hausse exponentielle de leur consommation énergétique.
A retrouver ici : https://datacenters.lbl.gov/sites/default/files/Masanet_et_al_Science_2020.full_.pdf
Ces deux études, complémentaires, rappellent toute l'importance de ne jamais oublier les meilleures pratiques en terme d'exploitation des ressources, de recherche en optimisation énergétique et de réduction de la pollution. Mais ça ne suffit pas.
Ce que nous aimerions chez Nosia, c'est des études prenant en compte le véritable bilan, du berceau à la tombe, des datacenters utilisés par les grands champions de l'IA commerciale : ChatGPT, Google et son Gemini, Anthropic et son Claude, Grok d'Elon Musk...
Si vous en avez trouvé de votre coté, je suis preneur !
Un hébergement responsable pour vos projets d'IA Open Source
J'apprécie énormément Infomaniak depuis des années, principalement pour le rapport qualité prix de leurs solutions mais et surtout pour leur engagement dans le domaine de l'Open Source et l'environnement. Dernièrement ils ont lancé une plateforme pour l'IA.
Au delà de ces premières solutions d'IA que vous pouvez découvrir ici :
https://www.infomaniak.com/fr/hebergement/ai-tools
Vous avez aussi les solutions d'hébergement de serveurs dédiés, de VPS ou encore d'instance Cloud.
https://www.infomaniak.com/fr/hebergement/nos-offres-cloud-computing
Et bien sûr leur suite de travail collaboratif kSuite, concurrente des solutions Microsoft 365 et autre Google Workspace.
https://www.infomaniak.com/fr/ksuite
Le Vocabulaire de l'IA et quelques équivalences Anglais - Français
L'éducation nationale a publié dans son bulletin officiel n° 36 du 26 septembre dernier une note du Ministère de la Culture à propos de termes et définitions de l'IA. On y apprend par exemple qu'un prompt peut se dire en français "instruction générative" ou plus simplement "instruction", tout simplement ¯\_(ツ)_/¯
https://www.education.gouv.fr/bo/2024/Hebdo36/CTNR2423171K
L'absence d’intelligence et l'indifférence morale synonyme de banalité du mal des IA génératives
Je ne sais pas pour vous mais pour nous autres, les humains du projet Nosia, il y a bien un truc qui nous agace dans certains résultats des IA génératives et ce, quelque-soit les modèles utilisés, c'est l'incapacité à s'engager sérieusement sur des questions sensibles. C'est comme si le gloubi-boulga ingéré par ces IA et les multiples sécurités ajoutées pour éviter de choquer, aboutissaient à une indifférence morale des plus frustrante.
Vous savez ces réponses qui commencent par : "En tant qu'IA, je n'ai pas de croyance morale ni de compétence dans le domaine du bla bla bla...".
Pour Noam Chomsky, interviewé à ce sujet par le New York Times il est évident que ces IA sont, de manière constitutive, incapables d'équilibrer créativité et contrainte.
Extrait : "... en dépit de la sophistication apparente de la pensée et du langage, l’indifférence morale née de l’inintelligence. ChatGPT fait preuve de quelque chose comme la banalité du mal : plagiat, apathie et évitement. Il résume les arguments habituels de la littérature par un genre de super-autocomplétion, refuse de prendre position sur quoi que ce soit, plaide non seulement l’ignorance mais aussi le manque d’intelligence et, au bout du compte, offre un type de défense qui, -rejetant la responsabilité sur ses créateurs, consiste à dire : « Je ne fais que suivre les ordres. »"
Pour lire l'interview complet, en français, c'est par ici :
https://www.philomag.com/articles/les-fausses-promesses-de-chatgpt
Entre cet interview datant de mars 2023 et aujourd'hui, ChatGPT a grandement évolué, encore plus avec le tout dernier modèle "OpenAI o1-preview" qui a fait un véritable saut quantique par rapport à son prédécesseur. Mais ce que soulevait alors Noam Chomsky ne semble toujours pas réglé.
Et vous ? Que pensez-vous de l'indifférence morale de l'IA ? Grave ou pas grave pour l'avenir de nos sociétés ?
A bientôt pour la suite...
Olivier
