Archives par mot-clé : claude

Claude bouscule les tests de recrutement des développeurs

Le recrutement des développeurs repose souvent sur un exercice bien connu : résoudre un problème de programmation sous les yeux d’un recruteur. Mais que mesure encore ce test lorsqu’une IA peut le réussir mieux que la plupart des candidats ? Chez Anthropic, un responsable a choisi de le retirer des entretiens de son équipe. Ce n’est pas la fin des évaluations techniques, mais c’est un signal intéressant sur ce qu’elles doivent désormais vérifier.

Pourquoi Claude change le recrutement des développeurs

Felix Rieseberg, qui a dirigé le développement technique de Claude.ai et de l’application de bureau Claude Code, a supprimé un entretien de code du processus de recrutement de son équipe. Son raisonnement est simple : Claude réussit désormais si bien ce type d’exercice que le résultat ne lui apporte plus assez d’informations utiles sur les candidats.

Un test de programmation avait pourtant un intérêt. Il permettait d’observer comment une personne comprenait une consigne, décomposait un problème et avançait vers une solution. Ce n’était pas une mesure parfaite de ses capacités, mais cela donnait un aperçu de sa manière de travailler. Si l’exercice ressemble surtout à un défi court et prévisible, sa réussite devient moins révélatrice.

Attention à la portée de cette décision : un responsable retire un test pour son équipe. Anthropic n’a pas annoncé la disparition de toutes ses évaluations techniques. La question n’est pas de savoir s’il faut encore tester les développeurs, mais comment le faire utilement.

Un test de code confronté aux capacités de Claude pour le recrutement des développeurs
Un test de code confronté aux capacités de Claude pour le recrutement des développeurs

Des exercices de plus en plus difficiles à calibrer

Une autre équipe d’Anthropic a rencontré le même problème avec un test à réaliser à domicile. Son responsable, Tristan Hume, a constaté que Claude Opus 4 obtenait de meilleurs résultats que la majorité des candidats dans le temps prévu. Il a d’abord augmenté la difficulté de l’épreuve.

Puis Opus 4.5 a atteint le niveau des meilleurs candidats sur cette nouvelle version. Une troisième mouture a donc été conçue autour de problèmes plus inhabituels, proches de jeux de réflexion, que le modèle n’est pas parvenu à résoudre. Cette succession de changements montre à quel point un test peut perdre rapidement sa valeur si les outils disponibles progressent plus vite que l’exercice lui-même.

Rendre une épreuve toujours plus difficile n’est toutefois pas forcément la meilleure réponse. Un problème très éloigné du travail quotidien peut départager des candidats sans aider à savoir qui saura maintenir une application, comprendre un besoin ou collaborer avec une équipe. Le bon test doit rester lié au poste, pas devenir une compétition de casse-têtes.

Que faut-il vraiment évaluer chez un développeur ?

Écrire du code n’est qu’une partie du métier. Dans un projet réel, il faut aussi choisir entre plusieurs solutions, lire l’existant, repérer les risques et expliquer ses décisions. L’arrivée d’assistants capables de produire rapidement une première réponse donne davantage de poids à ces compétences.

Une évaluation technique peut, par exemple, chercher à observer :

  • la façon dont le candidat clarifie un besoin avant de développer ;
  • sa capacité à relire, tester et corriger une solution ;
  • les compromis qu’il fait entre simplicité, performance et maintenance ;
  • sa manière d’expliquer ce qu’il comprend et ce qu’il vérifierait.

Ces pistes ne rendent pas les tests infaillibles. Elles déplacent simplement l’attention du résultat brut vers le raisonnement et les choix. Un programme qui fonctionne ne suffit pas toujours à montrer comment il se comportera une fois intégré à un produit utilisé et maintenu par d’autres.

Évaluation des compétences d'un développeur lors d'une discussion technique
Évaluation des compétences d’un développeur lors d’une discussion technique

Interdire l’IA ou adapter les entretiens ?

Anthropic interdit aux candidats d’utiliser Claude pendant les entretiens et les tests à domicile, sauf indication contraire. Cette règle vise à savoir ce qu’une personne peut faire elle-même. Elle ne résout pourtant qu’une partie du problème : même sans aide pendant l’épreuve, un exercice devenu trop facile pour l’IA peut ne plus distinguer efficacement les candidats.

Les entreprises cherchent aussi à encadrer davantage leurs évaluations. Dans une enquête menée auprès de 1 500 employeurs, 62,5 % des entreprises du secteur de l’information déclaraient demander des tests formels de compétences dès la candidature initiale. Environ 70 % avaient modifié leurs modalités, notamment avec des sessions surveillées ou en présentiel, pour limiter l’usage de l’IA.

La surveillance permet de fixer une règle claire, mais elle ne dispense pas de se demander ce que le test mesure réellement. À l’inverse, autoriser l’IA peut avoir du sens si l’objectif est d’observer comment un candidat utilise un outil, contrôle ses réponses et garde la maîtrise du résultat. Les deux approches répondent à des questions différentes.

Le test de code n’est pas mort, son objectif doit être clair

Claude ne rend pas les compétences des développeurs inutiles. Il remet en cause certains raccourcis utilisés pour les évaluer. Un petit exercice réussi rapidement ne dit pas nécessairement qui saura résoudre les problèmes d’une équipe sur la durée.

Pour les recruteurs, l’enjeu est de concevoir des épreuves proches du travail attendu et d’expliquer la place autorisée à l’IA. Pour les candidats, il reste essentiel de pratiquer, de comprendre leur code et de pouvoir défendre leurs choix. Les outils évoluent ; la capacité à bien poser un problème et à juger une solution reste, elle, au cœur du métier.

Source : https://www.tomshardware.fr/claude-est-devenu-trop-fort-anthropic-supprime-un-test-de-recrutement-pour-ses-developpeurs/

Claude Octopus, l’orchestrateur multi-IA

Claude Octopus est le genre d’outil qui attire immédiatement l’œil si vous suivez un peu ce qui se passe autour du code assisté par IA. L’idée est simple sur le papier : au lieu de demander un avis à un seul modèle, le plugin fait travailler plusieurs IA en parallèle sur le même sujet, puis ne laisse passer le résultat que si la convergence est jugée suffisante.

Sur le principe, c’est assez malin. On réduit un peu le risque de réponse trop rapide, bancale ou incomplète, ce qui est quand même un des reproches récurrents faits aux assistants de développement.

Claude Octopus mise sur la confrontation des modèles

L’outil orchestre notamment Claude, Codex et Gemini. Chaque moteur a son rôle, avec une logique de recherche, d’implémentation et de synthèse, puis un seuil de validation annoncé à plus de 75% avant de poursuivre dans le pipeline.

Autrement dit, on n’est pas juste sur un assistant qui répond, mais sur une tentative de croisement systématique des points de vue. Pour la revue de code, l’approche va même plus loin avec plusieurs agents spécialisés qui commentent les pull requests.

Un plugin ambitieux, mais pas gratuit en usage

L’installation semble assez simple, et l’outil fonctionnerait sur macOS, Linux et Windows. Le projet annonce aussi un ensemble conséquent de commandes, de personas spécialisées et de skills activées selon le besoin.

Ce qui paraît intéressant, c’est surtout la promesse de structurer le travail :

  • analyse en plusieurs phases,
  • contrôles qualité entre les étapes,
  • personas orientées sécurité, architecture ou UX,
  • mode plus automatisé à partir d’un fichier Markdown.

En revanche, il faut garder en tête la contrepartie : faire tourner plusieurs modèles en parallèle consomme mécaniquement plus de tokens et ajoute de la latence. La source évoque un coût d’environ 3 fois supérieur et un délai de 30 à 60 secondes par requête.

Pourquoi ce projet mérite un coup d’œil

Le vrai intérêt de Claude Octopus n’est peut-être pas de produire plus vite, mais de produire avec davantage de garde-fous. Dans un contexte où beaucoup d’outils IA misent surtout sur la vitesse, voir émerger une logique de débat, de convergence et de validation est plutôt sain.

Reste évidemment à voir ce que cela donne en conditions réelles, sur de vrais projets et avec de vraies contraintes de coût. Mais comme piste d’évolution pour l’IA appliquée au développement, c’est clairement une idée à suivre.

Source : https://korben.info/claude-octopus-orchestrateur-multi-ia-claude-code.html