L’IA peut-elle vraiment remplacer un développeur compétent ?

OpenAI a voulu répondre à cette question avec son tout nouveau benchmark SWE-Lancer, un outil d’intelligence artificielle pour le développement de logiciels.

En gros, ils ont confronté certains modèles d’IA à 1 400 tâches réelles de développement web sur Upwork, la célèbre plateforme de freelances, et ont compté combien ils auraient pu encaisser s’ils étaient des freelances développeurs sur le marché.

Verdict : L’intelligence artificielle a encore du chemin à faire pour remplacer pleinement un développeur compétent.

Un test grandeur nature : l’IA face aux vraies missions

Contrairement aux habituels tests déconnectés de la réalité, SWE-Lancer vise du concret dans le développement d’applications logicielles.

👉 Développement full-stack : de la rédaction et correction de code à la conception d’architectures complexes en utilisant divers langages de programmation et outils.

👉 Prise de décision : certaines tâches incluent aussi de la prise de décision managériale, comme un développeur choisissant la meilleure implémentation parmi plusieurs options, intégrant les suggestions de l’intelligence artificielle dans le processus.

Bref du vrai travail en développement logiciel. Je rappelle que les projets allaient de 50 $ à 32 000 $ en fonction des compétences et des applications développées.

Et pour s’assurer que tout ça tienne la route, OpenAI a fait valider les résultats par des experts développeurs humains, garantissant la sécurité et l’efficacité des solutions d’intelligence artificielle.

Les résultats : un million sur la table, mais l’IA ne ramasse pas grand-chose

Meilleure performance : Claude 3.5 Sonnet (Anthropic), un outil d’intelligence artificielle, qui parvient à gagner 40 % des 1 million de dollars mis en jeu.

• GPT-4o et les autres modèles GPT font encore pire et échouent sur la majorité des missions de développement.
• Sur les tâches purement techniques (écriture et correction de code), le taux de réussite des modèles d’IA est encore plus faible.

Les usages et perceptions actuels de l’IA dans le développement

Les développeurs utilisent de plus en plus l’IA, comme ChatGPT et Copilot, pour assister dans diverses tâches de programmation.

Selon certaines études, la majorité des développeurs prévoient d’intégrer ces outils d’IA dans leur processus de développement logiciel, non pour les remplacer mais pour les seconder, notamment dans la rédaction de code, le débogage sur GitHub, et la génération de données de test.

Cependant, leur confiance n’est que partiellement accordée à ces outils, les développeurs restant vigilants quant aux suggestions de l’IA et cherchant à apprendre et améliorer leur utilisation des langages de programmation.

Ce que l’IA sait (et ne sait pas) faire en dev

Là où les modèles d’intelligence artificielle comme Claude 3.5 Sonnet et GPT-4o s’en sortent, c’est dans l’identification rapide d’un problème dans le code, automatisant certaines étapes de la programmation.

Grâce à leur capacité à scanner d’énormes bases de données et à repérer des patterns dans les langages de programmation, ils peuvent localiser un bug plus vite qu’un humain. Mais après ? C’est une autre histoire pour les développeurs.

Le vrai souci, c’est que ces modèles peinent à comprendre la cause profonde du problème.

Résultat : des solutions incomplètes ou carrément à côté de la plaque. Toutefois, l’utilité de l’IA en tant que partenaire de développement devient intéressante.

Par exemple, en complément de l’IDE ou des actions GitHub et Copilot, l’IA peut clarifier du code obscur, générer des structures de base pour démarrer de nouveaux fichiers, ou simplifier des concepts complexes dans les applications logicielles.

Conclusion : aucun modèle d’intelligence artificielle n’est encore capable de travailler en autonomie comme un vrai développeur freelance possédant des compétences humaines et spécialisées dans ce métier.

Pourquoi ce benchmark est intéressant ?

SWE-Lancer, ce n’est pas juste une nouvelle série de tests à l’aveugle dans le développement logiciel.

Ce benchmark permet de mesurer la valeur économique réelle des LLM sur le marché du travail en développement logiciel et met en lumière leurs limites actuelles : manque de compréhension du contexte, difficultés à gérer des projets complexes de développement de bout en bout.

Il nuance le discours alarmiste sur l’IA qui va bientôt remplacer les développeurs dans leurs métiers en reconnaissant la valeur des compétences humaines.

Pour aller plus loin, OpenAI a publié une partie de l’ensemble de données sous le nom de SWE-Lancer Diamond.

D’une valeur de 500 800 $, cet échantillon de données est accessible pour que d’autres chercheurs testent leurs modèles d’intelligence artificielle et développent de nouvelles solutions logicielles dessus.

Impact environnemental et impératifs éthiques

Un aspect majeur souvent évoqué concerne l’impact environnemental croissant de l’IA et les impératifs éthiques dans le monde de l’informatique.

L’essor rapide de l’intelligence artificielle entraîne une consommation énergétique de plus en plus importante, ce qui complique les efforts vers des objectifs de neutralité carbone pour les grandes entreprises technologiques développant des applications d’IA.

De plus, les risques associés comme la désinformation possible causée par “les hallucinations” des machines d’IA et les biais algorithmiques restent des préoccupations permanentes à prendre en compte dans le développement de solutions sécurisées.

Alors, les devs doivent-ils s’inquiéter ?

Pas tout de suite. SWE-Lancer prouve que même si les LLM comme GPT-4o ont fait des progrès de dingue en code et en intelligence artificielle, ils ont encore du chemin à faire pour atteindre le niveau des compétences humaines.

C’est comme un stagiaire brillant utilisant les outils d’intelligence artificielle : capable de faire gagner du temps sur des tâches précises, mais très loin de remplacer un freelance développeur compétent.

Parce que pour le moment, ils ont du mal à comprendre les exigences des clients, à prendre les bonnes décisions… et surtout, à gérer les demandes absurdes et les deadlines irréalistes dans le processus de développement.

L’adoption intelligente des outils d’IA pourrait, cependant, permettre aux développeurs de se concentrer sur des tâches de programmation plus stimulantes et stratégiques, mettant en avant la créativité et la collaboration humaine qui demeurent irremplaçables.

Donc si tu comptais virer les développeurs de tes projets pour les remplacer par de l’IA, réfléchis bien, c’est comme vouloir coder un pont avec une machine sans ingénieur pour vérifier que toutes les solutions tiennent debout.