Hello, avec un pote on a prévu de se faire une petite session de coding pour explorer ce qu’on peut faire de nos jours avec un bon copilote IA et on se tâtait à le faire en streaming. Est-ce que ça intéresserait des gens ici?
Ces derniers mois on en arrive au point où écrire le code devient moins important que de savoir le spécifier et je voulais justement montrer à quel point mon boulot (dev) a changé en quelques mois. Si vous avez envie de faire des programmes mais que l’apprentissage d’un langage de prog vous rebute. c’est le bon moment pour jeter un nouvel œil au domaine.
Petit teaser: https://www.youtube.com/watch?v=n7kvydoo7zc (on aura un meilleur micro, je sais que mon son est pourri là)
Dans notre contexte c’était effrayant parce que le code généré était bon alors qu’on a fait quelques boulettes XD Après pour modérer un peu la chose, c’est comme le mec qui a fait générer un pacman à chatgpt en python. Bourriner des LLMs pour générer du python en le guidant fortement on est au niveau -1 de l’efficience énergétique et quand on regarde la conso des datacenters je sais pas si c’est vraiment pertinent comme utilusation.
Je pense qu’un dev qui met un jour à coder sur son desktop avec son alim à 300W et son écran à 100W consomment probablement plus que quelques requêtes à des LLMs qui vont faire la chose en 5 minutes.
On a testé des modèles locaux, ils sont pas mauvais mais clairement moins souvent corrects qu’un Claude-sonnet-3.5 par exemple, mais eux serait clairement plus efficaces énergétiquement.
Après, je trouve qu’on en fait des caisses sur la conso énergétique de ces modèles. Quand on regarde les quantités en jeu, c’est franchement pas énorme. Les journalistes ont tendance à confondre l’énergie utilisée à l’entraînement et à l’inférence, à parler de la conso des datacenters pour parler de celle de l’IA (minoritaire aujourd’hui). Y a des critiques à faire, surtout sur le modèle centralisé que quelques boites poussent (OpenAI, Anthropic) mais la conso énergétique, je pense que c’est pas l’angle le plus raisonnable.
Dans ce que j’entends sur l’aspect énergétique (et je me suis pas forcément bien exprimé dessus) c’est plus tout l’aspect autour des ressources matérielles et énergétiques de a à z : production du matériel, entrainement (en vrai comme beaucoup en informatique c’est pas l’exploitation qui consomme le plus mais bien le développement (dans un sens très large) (et encore, la boite d’evernote se vante de faire tourner 20k GPU pour un modèle d’amélioration des photos alors qu’en vrai, c’est pas essentiel). Et dans le cas que j’évoquais c’était surtout le fait de faire générer du python… quitte à avoir des IA pour faire le gros du travail, autant générer dans des langages plus efficients à l’exécution. In fine, je me suis lancé dans un tunnel mais ça dérivait un max sur du sociétal XD
Alors sur le fait que Python soit pas efficace, je te rejoins totalement. Personnellement, on va le faire en Python parce que c’est un langage dans lequel on est à l’aise et qui est populaire en ce moment. Ça aurait été ça ou JavaScript, mais moi je suis moins à l’aise dans JavaScript.
Mais par contre, un des trucs qui se passe avec ces générateurs, c’est qu’on peut justement plus facilement s’adresser à des langages plus ardus. Je pourrais faire des choses en C, j’ai déjà fait générer du C mais pour de l’arduino, pas des choses super compliquées. Mais une des choses qui est intéressante c’est que pour lui faire faire du Rust par exemple, pour parler d’un langage efficace et moderne mais bien ardu, il n’est pas mauvais et c’est quelque chose auquel je me remets doucement.
Enfin, on est vraiment juste en train de gratter la surface du truc. Ce que je pense, c’est qu’à terme on va changer fondamentalement certains langages de programmation. Voir qu’on va inventer de nouveaux langages de programmation autour de ces technologies, autour de ce qu’ils sont capables de faire.
Mon point de vue c’est que si on commence à inventer des langages dans lesquels on ne peut développer qu’avec des LLMs, c’est qu’on empire la pile de technologies douteuses qu’est l’informatique (cf un processeur moderne qui se fait passer via C et l’OS pour un processeur de pdp 11 ça donne des failles comme Spectre et Meltdown)… et que même pour générer le C, ça veut pas dire que le code généré n’a pas de fuite mémoire par exemple, ce qu’on cherche à éviter avec Rust et du coup, tu peux générer du code foireux plus vite. Je vois l’intérêt pour les ESN qui doivent vendre des bugs mais derrière si tu veux un paysage plus fiable c’est pas forcément si intéressant, d’autant que ça soulève énormément de questions non techniques et là-dessus, je pense que les ingénieurs et les développeurs devraient arrêter de se palucher sur le progrès technique peu importe le reste (comme a fait le créateur de Yolo qui a fini par arrêter la vision par ordinateur parce que l’usage qui s’est le plus démocratisé c’est la surveillance de masse)
C’est un débat qui a lieu depuis qu’on a commencé à avoir des compilateurs et des langages en fait, sur le niveau de contrôle qu’on souhaite avoir. Rappelons que la baseline contre laquelle on se compare là, c’est pas un programme parfait, c’est un programme fait par un humain moyen.
Pour avoir du bon code, on fait comme on fait quand on emploie des stagiaires ou des mauvais programmeurs: on relit, on écrit des tests. Ça reste de l’ingénierie.
En fait je pense que l’approche de réécrire des langages pour les LLMs, ça permettrait de probablement augmenter le niveau de contrôle des humains sur le code en rendant plus de choses explicites, en imposant une certain verbosité. Par exemple, avec du code généré, l’inférence de type est moins nécessaire. Une autre tendance m’a surpris: plutôt que d’ajouter une dépendance, je peux beaucoup plus facilement lui dire de rajouter les quelques fonctionnalités dont j’ai besoin, diminuant la surface d’attaque.
N’exagérons rien, ça sert aussi à guider des missiles.
En toute franchise, je pense que j’ai pas mal de réactance vis-à-vis des LLMs pour plusieurs raison:
Après pour la question de l’inférence de type, si on regarde l’écosystème actuel on a :
Quoi qu’il en soit, c’est mon côté anticapitaliste me dit que tant qu’on reste dans le modèle capitaliste, aucune avancé technologique ne sera clean et les LLMs bah c’est au niveau de l’entrainement : si tu entraîne un modèle uniquement sur du code GPL, on pourrait imaginer que ce qu’il produit et sous GPL, mais est-ce qu’entrainer from scratch sur du code gpl rend le modèle utilisable ? Sinon, il faut donc étendre avec du texte humain potentiellemet, et du coup, comment ça se passe au niveau licence ?
Ça c’est un peu abandonner un idéal de qualité et se résigner à la médiocrité. Il n’y a pas besoin d’être mauvais ou stagiaire pour faire des erreurs à plusieurs centaines de milliers d’€, juste une chaine d’outils pourris en amont ou de mauvaises conceptions (je l’ai vu il y a peu) et même quand des vies sont en jeu on a pu voir des problèmes graves (coucou le régulateur toyota ou les avions boeing). D’ailleurs, je pense que le secteur informatique souffre de la hiérarchisation issue de l’industrie (ouvrier, technicien, ingénieur je suis pas sûr que ce soit pertinent pour l’informatique)…
Technologiquement, j’aime vraiment le deep learning, mais il y a tellement de trucs problématiques associés que son industrialisation m’en dégoute un peu
Je comprends, j’ai eu des périodes de AI-anxiety aussi vis à vis de mon boulot.
Après, je suis libriste anti-capitaliste aussi, et ça m’énerve qu’on pense que ces technos sont portées par les quelques boites qui se mettent en avant et qu’on ignore le rôle prépondérant de la recherche et de l’open source là dedans. La recherche et les modèles open-weight sont sur les talons des grands noms. Ils ont quelques mois de décalage, mais tu as aujourd’hui des modèles ouverts qui ont la performance du GPT-4 d’avril. Les évolutions tech précédentes étaient bien plus propriétaire que ce qui arrive autours de l’IA (j’inclue LLMs, modèles de diffusion et généralisation du DL là dedans) maintenant.
Et sur le droit d’auteur, bah en tant qu’anti-capitaliste, je dois te dire que j’ai pas spécialement d’amitié pour ce machin qui a tué plusieurs techs prometteuses dans l’œuf: le P2P, le partage de données par défaut, etc. Donc que là ils souhaitent s’arroger un droit supplémentaire, même si ça donne l’impression que je défend des connards comme Altman, je suis plutôt contre. L’ambiguïté actuelle rend impossible des modèles réellement open source (où les données d’entraînement seraient connues) et donne lieu à des situations ubuesques comme The Pile, dataset ouvert cité par plusieurs publis de recherche qu’on ne peut télécharger que par torrent car a priori illégal aux US.
Sur l’inférence de type, je me suis mal exprimé. Ce que je voulais dire c’est que j’ai vu les langages populaires proposer une inférence auto parce que c’est plus rapide et pratique (à court terme) quand tu codes à la main. Mais avec des générateurs de code on peut imaginer imposer une syntaxe beaucoup plus stricte et riche. Par exemple au niveau des déclarations de fonctions on pourrait imposer de non seulement déclarer le type, mais aussi un modèle de propriété (à la rust), des contraintes de valeur (jamais null, toujours inclu entre 0.0 et 1.0, etc.), et d’autres choses qui peuvent améliorer la vérifiabilité du code, mais qui seraient trop fastidieuse à la main pour devenir populaire.
C’est un des mantras quand on commence à faire du management autours du dev: si tes procédures supposent un code parfait, tu fais pas ton boulot de manager. Oui en tant que dev, je veux atteindre le graal de la perfection. Mais faut être réaliste, même avec 25 ans d’expérience, ça reste extrêmement rare que je ponde un code parfait du premier coup. C’est bien plus responsable d’utiliser des tests, des séparer les modules par des APIs propres, de dev dans des branches, etc.
En fait je crois qu’en ce moment je cherche un moyen de contrer ce discours dominant dans la sphère francophone. Y a vraiment très très peu de contenu positif sur ces technos et la plupart des critiques, je les trouve mal informées. Mais je sais pas comment tordre le cou à tant d’idées reçues et je suis pas sur qu’une vidéo de 3 heures sur le sujet est la bonne voie (n’est pas Franck Lepage qui veut). Du coup je vais essayer de faire un peu de contenu sur les choses que je connais bien (le dev) mais j’aimerais bien parler un peu d’économie, de théorie politique et de philo si ça prend.
J’ai la tête un peu trop dans le cirage aujouord’hui pour répondre mais
En vrai la partie économie, théorie politique et philo ça me tente pas mal aussi