Je vais créer des benchmarks d'agents de codage IA avec tests et configuration Docker
Ingénieur logiciel, évaluation de codage IA, évaluation comparative d’agents
À propos de ce service
Besoin de défis de codage reproductibles pour évaluer les assistants de codage IA et les agents de codage autonomes ?
Je vais concevoir et valider des tâches de benchmark en génie logiciel destinées à mesurer les performances des agents de codage.
SERVICES
- Spécifications de tâches basées sur un dépôt pour corrections de bugs, ajouts de fonctionnalités ou refactorisation
- Solutions de référence et résultats attendus
- Tests unitaires automatisés et scripts de validation
- Configuration d'un environnement Docker lorsque cela est inclus dans votre package
- Vérifications d'exécution, critères d'évaluation et analyse des échecs
LIVRABLES
Instructions de tâche, fichiers de benchmark, tests, solutions de référence (le cas échéant) et notes de validation.
Mon expérience inclut le génie logiciel backend et des exercices pratiques de benchmark de codage IA avec spécification de tâche, solutions de référence, validation des tests et Docker.
Je travaille avec des dépôts autorisés et des exigences de projet convenues. Envoyez-moi un message avant de commander pour confirmer la langue, la complexité des tâches et le périmètre du package.
Test d'applications:
Logiciel
Appareil:
Linux
Mon portfolio
FAQ
Traduction automatique
Qu’est-ce qu’un benchmark d’agent de codage IA ?
Il s’agit d’une tâche de génie logiciel reproductible qui mesure si un agent de codage peut effectuer des modifications correctes et passer les tests définis.
Pouvez-vous créer des tâches à partir de mon dépôt existant ?
Oui, si vous possédez le dépôt ou êtes autorisé à l’utiliser et que vous fournissez l’accès nécessaire.
Incluez-vous des tests automatisés et des solutions de référence ?
Des tests sont inclus dans tous les packages. Les solutions de référence sont incluses dans Standard et Premium.
Fournirez-vous la configuration Docker ?
La configuration basée sur Docker est incluse dans Premium ou peut être proposée comme option lorsque cela est techniquement faisable.
Pouvez-vous évaluer les soumissions d’agents de codage ?
Oui, selon les tests d’acceptation et les critères convenus ; un rapport d’évaluation détaillé peut nécessiter une offre personnalisée.
Le benchmark est-il compatible avec mon système d’évaluation ?
Je peux m’adapter à une interface documentée si cela est techniquement faisable. Partagez le format nécessaire avant de commander.
