swtbench-verified
v1.0SWTBench Verified - Software Testing Benchmark for code generation
harbor run -d swtbench-verified@1.0Tasks (433)
django__django-13406
harbor run -d swtbench-verified@1.0 -t django__django-13406e39578f
django__django-13410
harbor run -d swtbench-verified@1.0 -t django__django-13410e39578f
django__django-13417
harbor run -d swtbench-verified@1.0 -t django__django-13417e39578f
django__django-13449
harbor run -d swtbench-verified@1.0 -t django__django-13449e39578f
django__django-13512
harbor run -d swtbench-verified@1.0 -t django__django-13512e39578f
django__django-13513
harbor run -d swtbench-verified@1.0 -t django__django-13513e39578f
django__django-13516
harbor run -d swtbench-verified@1.0 -t django__django-13516e39578f
django__django-13551
harbor run -d swtbench-verified@1.0 -t django__django-13551e39578f
django__django-13568
harbor run -d swtbench-verified@1.0 -t django__django-13568e39578f
django__django-13569
harbor run -d swtbench-verified@1.0 -t django__django-13569e39578f
django__django-13590
harbor run -d swtbench-verified@1.0 -t django__django-13590e39578f
django__django-13670
harbor run -d swtbench-verified@1.0 -t django__django-13670e39578f
django__django-13741
harbor run -d swtbench-verified@1.0 -t django__django-13741e39578f
django__django-13786
harbor run -d swtbench-verified@1.0 -t django__django-13786e39578f
django__django-13794
harbor run -d swtbench-verified@1.0 -t django__django-13794e39578f
django__django-13807
harbor run -d swtbench-verified@1.0 -t django__django-13807e39578f
django__django-13809
harbor run -d swtbench-verified@1.0 -t django__django-13809e39578f
django__django-13810
harbor run -d swtbench-verified@1.0 -t django__django-13810e39578f
django__django-13820
harbor run -d swtbench-verified@1.0 -t django__django-13820e39578f
django__django-13821
harbor run -d swtbench-verified@1.0 -t django__django-13821e39578f
django__django-13837
harbor run -d swtbench-verified@1.0 -t django__django-13837e39578f
django__django-13925
harbor run -d swtbench-verified@1.0 -t django__django-13925e39578f
django__django-13933
harbor run -d swtbench-verified@1.0 -t django__django-13933e39578f
django__django-13964
harbor run -d swtbench-verified@1.0 -t django__django-13964e39578f
django__django-14017
harbor run -d swtbench-verified@1.0 -t django__django-14017e39578f
django__django-14034
harbor run -d swtbench-verified@1.0 -t django__django-14034e39578f
django__django-14053
harbor run -d swtbench-verified@1.0 -t django__django-14053e39578f
django__django-14089
harbor run -d swtbench-verified@1.0 -t django__django-14089e39578f
django__django-14122
harbor run -d swtbench-verified@1.0 -t django__django-14122e39578f
django__django-14140
harbor run -d swtbench-verified@1.0 -t django__django-14140e39578f
django__django-14155
harbor run -d swtbench-verified@1.0 -t django__django-14155e39578f
django__django-14170
harbor run -d swtbench-verified@1.0 -t django__django-14170e39578f
django__django-14238
harbor run -d swtbench-verified@1.0 -t django__django-14238e39578f
django__django-14311
harbor run -d swtbench-verified@1.0 -t django__django-14311e39578f
django__django-14315
harbor run -d swtbench-verified@1.0 -t django__django-14315e39578f
django__django-14351
harbor run -d swtbench-verified@1.0 -t django__django-14351e39578f
django__django-14373
harbor run -d swtbench-verified@1.0 -t django__django-14373e39578f
django__django-14376
harbor run -d swtbench-verified@1.0 -t django__django-14376e39578f
django__django-14404
harbor run -d swtbench-verified@1.0 -t django__django-14404e39578f
django__django-14434
harbor run -d swtbench-verified@1.0 -t django__django-14434e39578f
django__django-14493
harbor run -d swtbench-verified@1.0 -t django__django-14493e39578f
django__django-14500
harbor run -d swtbench-verified@1.0 -t django__django-14500e39578f
django__django-14534
harbor run -d swtbench-verified@1.0 -t django__django-14534e39578f
django__django-14539
harbor run -d swtbench-verified@1.0 -t django__django-14539e39578f
django__django-14559
harbor run -d swtbench-verified@1.0 -t django__django-14559e39578f
django__django-14580
harbor run -d swtbench-verified@1.0 -t django__django-14580e39578f
django__django-14608
harbor run -d swtbench-verified@1.0 -t django__django-14608e39578f
django__django-14631
harbor run -d swtbench-verified@1.0 -t django__django-14631e39578f
django__django-14672
harbor run -d swtbench-verified@1.0 -t django__django-14672e39578f
django__django-14725
harbor run -d swtbench-verified@1.0 -t django__django-14725e39578f
django__django-14752
harbor run -d swtbench-verified@1.0 -t django__django-14752e39578f
django__django-14765
harbor run -d swtbench-verified@1.0 -t django__django-14765e39578f
django__django-14771
harbor run -d swtbench-verified@1.0 -t django__django-14771e39578f
django__django-14787
harbor run -d swtbench-verified@1.0 -t django__django-14787e39578f
django__django-14792
harbor run -d swtbench-verified@1.0 -t django__django-14792e39578f
django__django-14855
harbor run -d swtbench-verified@1.0 -t django__django-14855e39578f
django__django-14915
harbor run -d swtbench-verified@1.0 -t django__django-14915e39578f
django__django-14999
harbor run -d swtbench-verified@1.0 -t django__django-14999e39578f
django__django-15022
harbor run -d swtbench-verified@1.0 -t django__django-15022e39578f
django__django-15037
harbor run -d swtbench-verified@1.0 -t django__django-15037e39578f
django__django-15098
harbor run -d swtbench-verified@1.0 -t django__django-15098e39578f
django__django-15103
harbor run -d swtbench-verified@1.0 -t django__django-15103e39578f
django__django-15104
harbor run -d swtbench-verified@1.0 -t django__django-15104e39578f
django__django-15127
harbor run -d swtbench-verified@1.0 -t django__django-15127e39578f
django__django-15128
harbor run -d swtbench-verified@1.0 -t django__django-15128e39578f
django__django-15161
harbor run -d swtbench-verified@1.0 -t django__django-15161e39578f
django__django-15252
harbor run -d swtbench-verified@1.0 -t django__django-15252e39578f
django__django-15268
harbor run -d swtbench-verified@1.0 -t django__django-15268e39578f
django__django-15277
harbor run -d swtbench-verified@1.0 -t django__django-15277e39578f
django__django-15278
harbor run -d swtbench-verified@1.0 -t django__django-15278e39578f
django__django-15280
harbor run -d swtbench-verified@1.0 -t django__django-15280e39578f
django__django-15315
harbor run -d swtbench-verified@1.0 -t django__django-15315e39578f
django__django-15368
harbor run -d swtbench-verified@1.0 -t django__django-15368e39578f
django__django-15375
harbor run -d swtbench-verified@1.0 -t django__django-15375e39578f
django__django-15380
harbor run -d swtbench-verified@1.0 -t django__django-15380e39578f
django__django-15382
harbor run -d swtbench-verified@1.0 -t django__django-15382e39578f
django__django-15467
harbor run -d swtbench-verified@1.0 -t django__django-15467e39578f
django__django-15499
harbor run -d swtbench-verified@1.0 -t django__django-15499e39578f
django__django-15503
harbor run -d swtbench-verified@1.0 -t django__django-15503e39578f
django__django-15525
harbor run -d swtbench-verified@1.0 -t django__django-15525e39578f
django__django-15554
harbor run -d swtbench-verified@1.0 -t django__django-15554e39578f
django__django-15561
harbor run -d swtbench-verified@1.0 -t django__django-15561e39578f
django__django-15563
harbor run -d swtbench-verified@1.0 -t django__django-15563e39578f
django__django-15569
harbor run -d swtbench-verified@1.0 -t django__django-15569e39578f
django__django-15572
harbor run -d swtbench-verified@1.0 -t django__django-15572e39578f
django__django-15629
harbor run -d swtbench-verified@1.0 -t django__django-15629e39578f
django__django-15695
harbor run -d swtbench-verified@1.0 -t django__django-15695e39578f
django__django-15731
harbor run -d swtbench-verified@1.0 -t django__django-15731e39578f
django__django-15732
harbor run -d swtbench-verified@1.0 -t django__django-15732e39578f
django__django-15741
harbor run -d swtbench-verified@1.0 -t django__django-15741e39578f
django__django-15814
harbor run -d swtbench-verified@1.0 -t django__django-15814e39578f
django__django-15851
harbor run -d swtbench-verified@1.0 -t django__django-15851e39578f
django__django-15863
harbor run -d swtbench-verified@1.0 -t django__django-15863e39578f
django__django-15916
harbor run -d swtbench-verified@1.0 -t django__django-15916e39578f
django__django-15930
harbor run -d swtbench-verified@1.0 -t django__django-15930e39578f
django__django-15957
harbor run -d swtbench-verified@1.0 -t django__django-15957e39578f
django__django-15973
harbor run -d swtbench-verified@1.0 -t django__django-15973e39578f
django__django-16032
harbor run -d swtbench-verified@1.0 -t django__django-16032e39578f
django__django-16082
harbor run -d swtbench-verified@1.0 -t django__django-16082e39578f
django__django-16100
harbor run -d swtbench-verified@1.0 -t django__django-16100e39578f