Pierre ✺ (@pgllmt) header
Pierre ✺ (@pgllmt) profile picture

Product Builder | Senior Software Engineer. Testing AI models on real-world projects. What works, what doesn’t, at what cost ↓

France
Joined September 2015
Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)Photo by Pierre ✺ (@pgllmt)
Environ 90 % du code de Claude Code est écrit et relu par Claude. Le 16/11, @addyosmani a expliqué comment l'équipe vérifie ce travail. Les pratiques les plus simples à reprendre : 1. Un skill « verify ». On le met dans .claude/skills/, le plus près possible du code concerné. Il explique à Claude comment lancer l'app et l'utiliser : l'extension Chrome pour le web, un MCP iOS ou Android pour le mobile, le service en local pour le backend. Claude s'en sert avant chaque commit. C'est votre smoke test, donc il doit d'abord être rapide et fiable. 2. Si un test échoue encore après trois tentatives de correction, l'agent s'arrête et appelle un humain. 3. Une checklist de 39 points de fiabilité. Chaque point a un déclencheur qu'on repère dans le diff. L'agent ne vérifie que les points concernés, en général entre 3 et 10. 4. Une modif ne peut pas changer les règles qui la jugent. La relecture lit le REVIEW..md de la branche de base, jamais celui de la PR. 5. Un nouveau garde-fou commence en mode « observe ». Il note ce qu'il aurait bloqué, mais ne bloque rien. Ensuite seulement, on passe en « enforce ». Côté tests, ils misent sur trois types : - les tests E2E, parce qu'ils sont durs à tromper ; - les tests de propriétés (fast-check en JS/TS) ; - les tests différentiels pour les migrations : on donne les mêmes entrées à l'ancien et au nouveau système, puis on compare. Un test qui passe une fois sur deux, c'est à éviter. Sinon l'agent prend l'habitude de le relancer jusqu'à ce qu'il passe, au lieu de corriger le code. Un point de départ à adapter, que je n'ai pas testé tel quel : .claude/skills/verify/SKILL.md --- name: verify description: Lance l'app et vérifie le parcours modifié avant chaque commit. --- 1. Lancer pnpm dev et attendre que le serveur réponde. 2. Ouvrir la page modifiée. 3. Refaire le parcours. Vérifier le résultat et la console. 4. Après 3 échecs, s'arrêter et résumer le problème. nitter.gq/ClaudeDevs/status/2122…
Claude writes better code when it can verify its work. Checks that used to be expensive, like tests, benchmarks, and end-to-end runs, are now cheap. Here’s how the Claude Code team thinks about verification: claude.dev/blog/how-the-clau…
1
4
14
1,467
GPT-6.2 Astra et GPT-6.2 Sol sont disponibles depuis hier soir dans Codex (Plus, Pro, Enterprise, Edu) et dans l'API (gpt-6.2-astra, gpt-6.2-sol). Avant de tout basculer sur Astra, quatre points de l'annonce changent le calcul. 1. Le prix au token. Astra : 8 $ en entrée, 0,40 $ en entrée cachée, 40 $ en sortie, par million de tokens. C'est 20 % de moins que GPT-6 Astra, et 60 % de moins sur le cache. Sol garde les tarifs de 6.1 Sol : 2 $ / 0,10 $ / 10 $. Astra reste 4 fois plus cher que Sol à chaque token. 2. Pour le code au quotidien, OpenAI conseille lui-même de commencer par Sol. Selon OpenAI, sur FrontierCode 2.0 (Cognition) en raisonnement max, Sol arrive à un demi-point d'Astra pour environ 1/5 du coût par tâche. C'est leur mesure, pas un test indépendant. 3. Le cache. OpenAI recommande de ne pas toucher au début du prompt et d'ajouter les nouvelles consignes à la suite de la conversation. Un prompt système réécrit à chaque tour casse le cache, et avec lui une bonne partie de la baisse. 4. Des garde-fous cyber plus stricts. OpenAI écrit qu'ils restreignent aussi une partie de la recherche de vulnérabilités et des tests de sécurité légitimes. Si vos agents font de l'audit sécu, rejouez vos prompts avant de migrer. Ultrafast est à moitié prix pendant trois mois, soit 3 fois le tarif standard côté API. Les premiers retours sur Astra sont partagés : Theo le juge très sévèrement, Ethan Mollick le trouve inégal et plus dur à piloter. Je le teste sur mes projets cette semaine.
5
1
17
1,149
Intéressante analyse à chaud de @theo. Je vais tester ça à fond sur tous mes projets le reste de la semaine. Je vous fais un retour ce week-end ou en début de semaine prochaine !
1
6
957
GPT-6.2 Astra et Sol en même temps YES 👀 !
Some of you have been asking very politely. Some of you have just been asking. GPT-6.2 Astra and Sol are now available. Super efficient and built to perform where it counts—the real world. openai.com/index/introducing…
1
1
10
594
Windows 11 peut signaler à Microsoft quels agents de code vous utilisez, si les diagnostics facultatifs sont activés. Le chercheur Xusheng Li a analysé un composant de Windows qui repère notamment Codex, Claude, Copilot, Cursor et Antigravity, ainsi que des outils comme Node.js ou Python. Pour tester la détection de Codex, il a renommé une copie de cmd.exe en codex.exe. Le nom a suffi pour que Windows le reconnaisse comme Codex. Dans le rapport étudié, il n’a trouvé ni prompts ni code source. Le rapport indique quels agents ou catégories d’outils ont été repérés sur une période d’environ une journée. Sur sa VM, il l’a retrouvé dans la file d’envoi vers Microsoft, avec les diagnostics facultatifs activés. Deux précisions importantes : • Le test porte sur Windows 11 ARM64, avec une installation configurée pour les États-Unis. La fonctionnalité n’était pas activée dans l’image Windows de base. On ne peut donc pas généraliser à tous les postes. • Si l’envoi des diagnostics facultatifs est désactivé, ce rapport ne devrait pas être envoyé. Ça ne veut pas forcément dire que Windows arrête de conserver ces informations localement. Pour vérifier sur votre machine : Paramètres → Confidentialité et sécurité → Diagnostics et commentaires → Envoyer des données de diagnostic facultatives. Sur un poste géré par votre entreprise, ce réglage peut dépendre de l’administrateur. C’est un réglage que je vérifierais sur un poste de dev : l’envoi peut concerner les outils qu’on utilise, même sans transmettre leur contenu. Sources en réponse.
2
2
3
593
L’enquête de Xusheng Li, avec les tests et le rapport retrouvé dans la file d’envoi : xusheng.dev/posts/windows-co… La documentation Microsoft sur les diagnostics facultatifs et leur désactivation : support.microsoft.com/en-us/… Le chercheur a vérifié la présence du rapport dans la file d’envoi, pas sa réception par Microsoft.
91
Une semaine avec Fable 5.2 sur de vrais projets. Mon retour honnête, et comment bien l'utiliser ↓
2
8
837
Votre dépôt contient un CLAUDE.md et un AGENTS.md ? Par défaut, Claude Code privilégie CLAUDE.md. Sans import ni changement de réglage, les consignes d’AGENTS.md ne sont pas chargées automatiquement. Pour vérifier, lancez /memory et regardez quels fichiers d’instructions sont chargés. Pour inclure AGENTS.md, ajoutez cette ligne dans CLAUDE.md : @AGENTS.md C’est un import : le contenu d’AGENTS.md est inclus dans les instructions. Écrire simplement « lis AGENTS.md » laisse l’agent décider s’il ouvre le fichier. Autre option : dans /config, réglez « Project instructions » sur « claude-md-and-agents-md » pour charger les deux. Avant d’ajouter une règle parce que l’agent semble l’avoir oubliée, vérifiez d’abord qu’elle était bien dans son contexte. Source et précisions en réponse.
4
1
11
1,005
La documentation officielle de Claude Code explique la priorité entre CLAUDE.md et AGENTS.md, les imports et le réglage pour charger les deux : code.claude.com/docs/en/memo… Cette priorité s’applique aussi à CLAUDE.local.md, le fichier de consignes personnelles du projet, ainsi qu’aux fichiers CLAUDE.md présents dans les dossiers parents. La lecture directe d’AGENTS.md demande Claude Code v2.1.277 ou plus récent. Sur les versions antérieures, l’import depuis CLAUDE.md fonctionne.
149
Pierre ✺ retweeted
Vendredi, fin de sprint. Pendant la rétro de ces 2 semaines, on a pris une décision : on n'est plus une équipe de devs, on est une équipe de product builders. En vrai, ça faisait des mois que notre façon de bosser avait changé. Un agent code, un autre relit, une bonne partie des vérifs tourne toute seule. Un humain valide toujours avant le merge. Et quand ça touche au business ou à la finance, on renforce les garde-fous et on reteste plusieurs fois. Le temps qu'on passait à coder, relire et tester à la main, on le passe maintenant avec les autres équipes et services, à chercher ce qui les bloque. La Head of Product décide quoi construire et pourquoi. Le CTO nous épaule sur l'archi quand ça coince ou qu'on a besoin d'un autre avis. Nous, on va voir les équipes pour comprendre le besoin, les points de blocage, ce qui leur prend trop de temps. Ensuite, on rédige avec les agents des tickets de spec technique très complets, pensés pour être lus par des agents. On fait valider le besoin, et après seulement on lance l'implémentation. Ce qu'on chasse en priorité : les points bloquants et les tâches répétitives, sans intérêt, celles qui finissent en erreurs de saisie. On ne remplace personne. On donne aux gens des outils, agents IA ou autres, qui collent mieux à leur besoin. Le but, c'est qu'ils ne soient plus freinés par le logiciel et qu'ils s'en servent pour aller plus loin dans leur métier, là où leur savoir-faire compte vraiment. Après 10 ans comme développeur JS, puis React et PHP, je n'ouvre quasiment plus mon IDE. Je me considère toujours comme un dev, mais je fais plus que du dev : je ship des fonctionnalités et des produits dont je peux suivre l'impact. Je trouve ça bien plus valorisant de prendre un sujet jusqu'à la livraison que de me limiter à produire du code. Mon boulot, maintenant, c'est cadrer, guider les agents et vérifier. Et j'apporte du goût, du taste comme on dit, parce qu'un agent livre souvent des choses propres, mais lisses et fades. Mes collègues back-end et ops, eux, apportent ce que les agents maîtrisent moins : les choix d'architecture, quel outil ou quel langage et pourquoi. Le plus gros changement, c'est le périmètre. On parle directement à l'utilisateur et on lui fait des propositions. Grâce aux agents, on peut sortir un POC tout de suite, voir sa réaction et vérifier que ça répond à son besoin, au lieu de coder dans notre coin pour découvrir à la fin qu'on est à côté. Et on pousse aussi les équipes à utiliser leurs propres agents, pour qu'elles se concentrent sur leur vrai travail. Vous vous dites encore « développeur », ou votre job a changé et votre titre n'a pas suivi ?
12
4
47
3,996
Vendredi, fin de sprint. Pendant la rétro de ces 2 semaines, on a pris une décision : on n'est plus une équipe de devs, on est une équipe de product builders. En vrai, ça faisait des mois que notre façon de bosser avait changé. Un agent code, un autre relit, une bonne partie des vérifs tourne toute seule. Un humain valide toujours avant le merge. Et quand ça touche au business ou à la finance, on renforce les garde-fous et on reteste plusieurs fois. Le temps qu'on passait à coder, relire et tester à la main, on le passe maintenant avec les autres équipes et services, à chercher ce qui les bloque. La Head of Product décide quoi construire et pourquoi. Le CTO nous épaule sur l'archi quand ça coince ou qu'on a besoin d'un autre avis. Nous, on va voir les équipes pour comprendre le besoin, les points de blocage, ce qui leur prend trop de temps. Ensuite, on rédige avec les agents des tickets de spec technique très complets, pensés pour être lus par des agents. On fait valider le besoin, et après seulement on lance l'implémentation. Ce qu'on chasse en priorité : les points bloquants et les tâches répétitives, sans intérêt, celles qui finissent en erreurs de saisie. On ne remplace personne. On donne aux gens des outils, agents IA ou autres, qui collent mieux à leur besoin. Le but, c'est qu'ils ne soient plus freinés par le logiciel et qu'ils s'en servent pour aller plus loin dans leur métier, là où leur savoir-faire compte vraiment. Après 10 ans comme développeur JS, puis React et PHP, je n'ouvre quasiment plus mon IDE. Je me considère toujours comme un dev, mais je fais plus que du dev : je ship des fonctionnalités et des produits dont je peux suivre l'impact. Je trouve ça bien plus valorisant de prendre un sujet jusqu'à la livraison que de me limiter à produire du code. Mon boulot, maintenant, c'est cadrer, guider les agents et vérifier. Et j'apporte du goût, du taste comme on dit, parce qu'un agent livre souvent des choses propres, mais lisses et fades. Mes collègues back-end et ops, eux, apportent ce que les agents maîtrisent moins : les choix d'architecture, quel outil ou quel langage et pourquoi. Le plus gros changement, c'est le périmètre. On parle directement à l'utilisateur et on lui fait des propositions. Grâce aux agents, on peut sortir un POC tout de suite, voir sa réaction et vérifier que ça répond à son besoin, au lieu de coder dans notre coin pour découvrir à la fin qu'on est à côté. Et on pousse aussi les équipes à utiliser leurs propres agents, pour qu'elles se concentrent sur leur vrai travail. Vous vous dites encore « développeur », ou votre job a changé et votre titre n'a pas suivi ?
12
4
47
3,996
Une équipe de chercheurs a inspecté 159 041 projets Lovable, issus de Common Crawl entre décembre 2025 et septembre 2026. 34 545 utilisaient Supabase. Sur 24 664 sites qui envoyaient déjà des enregistrements au chargement, sans connexion, des requêtes en lecture seule ont ensuite trouvé des adresses e-mail dans 10 560 tables, réparties sur 7 403 sites (30 % de ce sous-ensemble). Les auteurs disent clairement que ce 30 % n’est pas un taux de fuite confirmé : le corpus n’est pas représentatif de tous les projets Lovable, et une adresse e-mail peut être un contact public ou une donnée de test. Ils n’ont pas non plus examiné la base interne lancée par Lovable fin 2025. Même avec ces limites, les cas qu’ils décrivent sont concrets. Un forum lifestyle allemand exposait plus de 80 000 profils (nom, e-mail, date de naissance, genre) et plus de 200 000 messages. Un prestataire exposait plus de 1 000 enregistrements avec des données de pièces d’identité, dont des numéros de passeport. Ailleurs : ventes de billets, contrats, factures, albums photo, échanges WhatsApp internes, et dans un cas 280 000 e-mails envoyés aux clients d’un prestataire. Point utile pour un dev : ces intégrations suivent des schémas répétables, donc une erreur d’accès se cherche à l’échelle. Les CGU de Lovable laissent la responsabilité des données au client. Avant de mettre de vraies données clients dans une app générée, il faut relire les politiques d’accès, les interfaces et l’isolation entre comptes, puis recommencer après un changement important. Un scan automatique ne remplace pas cette relecture. Avant de brancher de vraies données : 1. Relire les politiques d’accès (RLS côté Supabase) table par table, y compris celles que l’app n’affiche pas. 2. Vérifier que, sans connexion, la clé anonyme ne lit aucune donnée privée, et qu’un utilisateur connecté ne lit pas les lignes d’un autre compte. 3. Recommencer après chaque changement important du schéma ou des politiques. 4. Ne pas prendre un scan automatique pour une revue d’accès.
4
1
7
1,001
Bien reçu ma préco de GTA VI à l’instant ! Vous l’avez déjà reçue ?
5
1
14
1,004
Chaque fois que vous corrigez un agent sur un détail d’interface, « pas de bordure, une ombre semi-transparente », cette préférence disparaît souvent avec la session. Le suivant recommence, et vous corrigez à nouveau. @emilkowalski a publié un skill, /learn-taste, pour fermer cette boucle. Il se lance en fin de session, ramasse les corrections, y compris les edits que vous avez faites vous-même sur le code de l’agent, et propose chaque point comme une règle, avec sa raison, dans un DESIGN.md. Rien n’est écrit tant que vous n’avez pas approuvé. S’il doit deviner le « pourquoi », il le marque comme inféré, et il attend une confirmation. Quand un linter ou un test peut attraper la règle plus sûrement qu’une phrase, c’est ce qu’il propose en premier. Installation : npx skills add github.com/emilkowalski/skil… --skill learn-taste Ça rejoint ce que je disais sur Fable 5.2 : une consigne trop absolue, oubliée dans la mémoire, continue d’être suivie au pied de la lettre. Apprendre le goût, oui. Empiler des « never » après chaque remarque isolée, non. Je relirais le DESIGN.md comme un CLAUDE.md : garder ce qui a une raison durable, retirer ce qui venait d’un cas particulier. Il y a un autre réflexe, du côté du dépôt cette fois. Les agents recopient volontiers ce qui est déjà là. Un commentaire qui explique un workaround temporaire peut être lu comme une règle du projet. Avant d’ajouter des fichiers d’instructions, je regarderais aussi les commentaires et les hacks que le prochain agent va imiter. Ce que je ferais : 1. Lancer le skill en fin de session, sur un vrai passage de corrections, pas à froid. 2. N’accepter que les règles dont la raison est claire, et préférer un contrôle automatique quand c’est possible. 3. Relire DESIGN.md au prochain changement de modèle, pour éviter qu’il grossisse sans être relu. Vous écrivez déjà vos goûts quelque part, ou vous les redites à chaque session ? Sources en réponse.
2
1
17
1,070
Le post d’@emilkowalski : nitter.gq/emilkowalski/status/21… Le dépôt et le skill /learn-taste : github.com/emilkowalski/skil…
New skill: /learn-taste Collects every design correction you made during a session and turns each one into a strict rule with reasoning, so that the next agent doesn’t make the same mistake. A great time saver if correct your agent often. aiforui.dev/skills/learn-tas…
159
Vercel sort UI SDK, en bêta publique (0.1.0-beta.1). L’idée : ne pas donner à un agent un Select tout fait, mais les morceaux qui le font marcher. Un popup, une sélection, une recherche au clavier. Avec les mêmes pièces, il peut construire une autocomplétion, une combobox, ou un composant qui n’existe pas dans le catalogue. Le cœur : plus de 50 comportements réutilisables dans @ui-sdk/core. Focus, clavier, sélection, drag-and-drop, ARIA. Par-dessus, la bibliothèque de départ officielle propose 55 composants React non stylés. Les mêmes pièces existent pour Vue, Svelte, Solid et les Web Components. npm install @ui-sdk/react @ui-sdk/core npx skills add vercel-labs/ui --skill ui-sdk Le 11 novembre, je parlais de Modern Web Guidance : éviter qu’un agent réinvente en JavaScript ce que le navigateur sait déjà faire. Ici, autre angle : on lui donne des primitives testées pour construire ses composants. L’autre volet, c’est l’agent qui utilise l’interface. Grâce à un pont, il lit l’état des composants et appelle directement leurs actions. Le banc d’essai officiel : renommer un projet, mettre à jour les membres et les notifications, puis enregistrer. - Outils navigateur classiques, écran construit avec une autre bibliothèque : 41 s et 0,073 $ - Pont, même écran construit avec UI SDK : 16 s et 0,032 $ Médiane de trois runs. Même modèle (Sonnet via Claude Code), même tâche, même prompt système, avec des instructions adaptées aux outils de chaque approche. Tous les runs ont terminé la tâche. Mais je prendrais ces chiffres comme une indication, pas comme une preuve : - trois runs seulement - l’autre bibliothèque n’est pas nommée - temps et coût reportés par Claude Code - surtout, l’écran n’est pas implémenté pareil des deux côtés, donc impossible d’isoler l’effet du pont seul L’API est en bêta, elle peut changer. Je n’ai pas encore testé. Ce que je vais essayer sur un écran réel : 1. Installer le skill, puis demander un composant précis. Pas « modernise toute l’UI ». 2. Vérifier clavier, focus et ARIA avant d’intégrer le diff. 3. Si l’agent doit piloter l’interface, brancher le pont et définir explicitement les actions qu’il peut exécuter. Vous avez déjà exposé les actions de vos composants à un agent, ou vous passez uniquement par les outils navigateur ? Sources en réponse.
4
1
13
1,311
Le site officiel, avec les comportements et les exemples : ui-sdk.dev/ La page agents, notamment le banc d’essai 16 s / 0,032 $ contre 41 s / 0,073 $ : ui-sdk.dev/docs/agents Les 55 composants React non stylés : ui-sdk.dev/docs/react/compon… Les permissions côté agent (callback allow) : ui-sdk.dev/docs/agents/conne… Le dépôt : github.com/vercel-labs/ui Mon post du 11 novembre sur Modern Web Guidance : nitter.gq/pgllmt/status/21205924…
Votre agent ajoute une dépendance ou du JavaScript maison pour un composant que le navigateur sait déjà gérer ? Modern Web Guidance veut corriger ce réflexe. Hier, l’équipe Chrome a publié la version 1.0, stable. Firefox et Edge rejoignent le projet, lancé par Chrome, avec la participation de MDN. Le principe : donner à l’agent des guides à jour pour utiliser les possibilités du navigateur, avec les informations de compatibilité. Installation, depuis la racine du projet : `npx modern-web-guidance@latest install` La 1.0 ajoute un flux de modernisation. Le CLI cherche un cas d’usage, récupère un guide ciblé, et scanne un dossier à la recherche de schémas anciens : `npx modern-web-guidance@latest legacy-scan .` Chrome le précise : l’analyse est statique et le périmètre volontairement étroit, pour rester prévisible. Ce n’est pas un audit complet du dépôt. Ce que je testerais : 1. Lancer `legacy-scan` sur un dossier représentatif, pas sur tout le monorepo d’un coup. 2. Demander un guide pour un cas précis, une boîte de dialogue ou un menu, plutôt qu’un vague « modernise tout ». 3. Relire le diff, puis vérifier l’accessibilité et le comportement sur les navigateurs que le projet doit supporter. Vos agents proposent spontanément les API natives du navigateur, ou vous devez encore les orienter ? Sources et détails pratiques en réponse ↓
146