swtbench-verified

v1.0

SWTBench Verified - Software Testing Benchmark for code generation

harbor run -d swtbench-verified@1.0

Tasks (433)

django__django-16116
harbor run -d swtbench-verified@1.0 -t django__django-16116
e39578f
django__django-16136
harbor run -d swtbench-verified@1.0 -t django__django-16136
e39578f
django__django-16139
harbor run -d swtbench-verified@1.0 -t django__django-16139
e39578f
django__django-16145
harbor run -d swtbench-verified@1.0 -t django__django-16145
e39578f
django__django-16255
harbor run -d swtbench-verified@1.0 -t django__django-16255
e39578f
django__django-16256
harbor run -d swtbench-verified@1.0 -t django__django-16256
e39578f
django__django-16263
harbor run -d swtbench-verified@1.0 -t django__django-16263
e39578f
django__django-16315
harbor run -d swtbench-verified@1.0 -t django__django-16315
e39578f
django__django-16333
harbor run -d swtbench-verified@1.0 -t django__django-16333
e39578f
django__django-16429
harbor run -d swtbench-verified@1.0 -t django__django-16429
e39578f
django__django-16485
harbor run -d swtbench-verified@1.0 -t django__django-16485
e39578f
django__django-16493
harbor run -d swtbench-verified@1.0 -t django__django-16493
e39578f
django__django-16502
harbor run -d swtbench-verified@1.0 -t django__django-16502
e39578f
django__django-16527
harbor run -d swtbench-verified@1.0 -t django__django-16527
e39578f
django__django-16569
harbor run -d swtbench-verified@1.0 -t django__django-16569
e39578f
django__django-16595
harbor run -d swtbench-verified@1.0 -t django__django-16595
e39578f
django__django-16612
harbor run -d swtbench-verified@1.0 -t django__django-16612
e39578f
django__django-16631
harbor run -d swtbench-verified@1.0 -t django__django-16631
e39578f
django__django-16642
harbor run -d swtbench-verified@1.0 -t django__django-16642
e39578f
django__django-16661
harbor run -d swtbench-verified@1.0 -t django__django-16661
e39578f
django__django-16662
harbor run -d swtbench-verified@1.0 -t django__django-16662
e39578f
django__django-16667
harbor run -d swtbench-verified@1.0 -t django__django-16667
e39578f
django__django-16801
harbor run -d swtbench-verified@1.0 -t django__django-16801
e39578f
django__django-16819
harbor run -d swtbench-verified@1.0 -t django__django-16819
e39578f
django__django-16877
harbor run -d swtbench-verified@1.0 -t django__django-16877
e39578f
django__django-16899
harbor run -d swtbench-verified@1.0 -t django__django-16899
e39578f
django__django-16901
harbor run -d swtbench-verified@1.0 -t django__django-16901
e39578f
django__django-16938
harbor run -d swtbench-verified@1.0 -t django__django-16938
e39578f
django__django-16950
harbor run -d swtbench-verified@1.0 -t django__django-16950
e39578f
django__django-17029
harbor run -d swtbench-verified@1.0 -t django__django-17029
e39578f
django__django-17084
harbor run -d swtbench-verified@1.0 -t django__django-17084
e39578f
django__django-17087
harbor run -d swtbench-verified@1.0 -t django__django-17087
e39578f
django__django-9296
harbor run -d swtbench-verified@1.0 -t django__django-9296
e39578f
matplotlib__matplotlib-13989
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-13989
e39578f
matplotlib__matplotlib-14623
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-14623
e39578f
matplotlib__matplotlib-20676
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-20676
e39578f
matplotlib__matplotlib-20826
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-20826
e39578f
matplotlib__matplotlib-20859
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-20859
e39578f
matplotlib__matplotlib-21568
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-21568
e39578f
matplotlib__matplotlib-22719
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-22719
e39578f
matplotlib__matplotlib-22865
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-22865
e39578f
matplotlib__matplotlib-22871
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-22871
e39578f
matplotlib__matplotlib-23299
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-23299
e39578f
matplotlib__matplotlib-23314
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-23314
e39578f
matplotlib__matplotlib-23412
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-23412
e39578f
matplotlib__matplotlib-23476
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-23476
e39578f
matplotlib__matplotlib-24026
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24026
e39578f
matplotlib__matplotlib-24149
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24149
e39578f
matplotlib__matplotlib-24177
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24177
e39578f
matplotlib__matplotlib-24570
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24570
e39578f
matplotlib__matplotlib-24627
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24627
e39578f
matplotlib__matplotlib-24637
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24637
e39578f
matplotlib__matplotlib-24870
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24870
e39578f
matplotlib__matplotlib-24970
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-24970
e39578f
matplotlib__matplotlib-25122
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25122
e39578f
matplotlib__matplotlib-25287
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25287
e39578f
matplotlib__matplotlib-25311
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25311
e39578f
matplotlib__matplotlib-25332
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25332
e39578f
matplotlib__matplotlib-25479
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25479
e39578f
matplotlib__matplotlib-25960
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-25960
e39578f
matplotlib__matplotlib-26113
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-26113
e39578f
matplotlib__matplotlib-26208
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-26208
e39578f
matplotlib__matplotlib-26291
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-26291
e39578f
matplotlib__matplotlib-26342
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-26342
e39578f
matplotlib__matplotlib-26466
harbor run -d swtbench-verified@1.0 -t matplotlib__matplotlib-26466
e39578f
mwaskom__seaborn-3069
harbor run -d swtbench-verified@1.0 -t mwaskom__seaborn-3069
e39578f
mwaskom__seaborn-3187
harbor run -d swtbench-verified@1.0 -t mwaskom__seaborn-3187
e39578f
pallets__flask-5014
harbor run -d swtbench-verified@1.0 -t pallets__flask-5014
e39578f
psf__requests-1142
harbor run -d swtbench-verified@1.0 -t psf__requests-1142
e39578f
psf__requests-2931
harbor run -d swtbench-verified@1.0 -t psf__requests-2931
e39578f
psf__requests-5414
harbor run -d swtbench-verified@1.0 -t psf__requests-5414
e39578f
psf__requests-6028
harbor run -d swtbench-verified@1.0 -t psf__requests-6028
e39578f
pydata__xarray-3095
harbor run -d swtbench-verified@1.0 -t pydata__xarray-3095
e39578f
pydata__xarray-3151
harbor run -d swtbench-verified@1.0 -t pydata__xarray-3151
e39578f
pydata__xarray-3677
harbor run -d swtbench-verified@1.0 -t pydata__xarray-3677
e39578f
pydata__xarray-4075
harbor run -d swtbench-verified@1.0 -t pydata__xarray-4075
e39578f
pydata__xarray-4356
harbor run -d swtbench-verified@1.0 -t pydata__xarray-4356
e39578f
pydata__xarray-4629
harbor run -d swtbench-verified@1.0 -t pydata__xarray-4629
e39578f
pydata__xarray-4687
harbor run -d swtbench-verified@1.0 -t pydata__xarray-4687
e39578f
pydata__xarray-4966
harbor run -d swtbench-verified@1.0 -t pydata__xarray-4966
e39578f
pydata__xarray-6461
harbor run -d swtbench-verified@1.0 -t pydata__xarray-6461
e39578f
pydata__xarray-6599
harbor run -d swtbench-verified@1.0 -t pydata__xarray-6599
e39578f
pydata__xarray-6721
harbor run -d swtbench-verified@1.0 -t pydata__xarray-6721
e39578f
pydata__xarray-6938
harbor run -d swtbench-verified@1.0 -t pydata__xarray-6938
e39578f
pydata__xarray-7229
harbor run -d swtbench-verified@1.0 -t pydata__xarray-7229
e39578f
pydata__xarray-7233
harbor run -d swtbench-verified@1.0 -t pydata__xarray-7233
e39578f
pydata__xarray-7393
harbor run -d swtbench-verified@1.0 -t pydata__xarray-7393
e39578f
pylint-dev__pylint-4970
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-4970
e39578f
pylint-dev__pylint-6386
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-6386
e39578f
pylint-dev__pylint-6903
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-6903
e39578f
pylint-dev__pylint-7080
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-7080
e39578f
pylint-dev__pylint-7277
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-7277
e39578f
pylint-dev__pylint-8898
harbor run -d swtbench-verified@1.0 -t pylint-dev__pylint-8898
e39578f
pytest-dev__pytest-10051
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-10051
e39578f
pytest-dev__pytest-10081
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-10081
e39578f
pytest-dev__pytest-10356
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-10356
e39578f
pytest-dev__pytest-5262
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-5262
e39578f
pytest-dev__pytest-5631
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-5631
e39578f
pytest-dev__pytest-5787
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-5787
e39578f
pytest-dev__pytest-5809
harbor run -d swtbench-verified@1.0 -t pytest-dev__pytest-5809
e39578f