dabstep
v1.0DABstep: Data Agent Benchmark for Multi-step Reasoning. 450 tasks where agents analyze payment transaction data with Python/pandas to answer business questions.
uvx harbor run -d dabstep@1.0Tasks (450)
dabstep-1
uvx harbor run -d dabstep@1.0 -t dabstep-1e25eec6
dabstep-10
uvx harbor run -d dabstep@1.0 -t dabstep-10e25eec6
dabstep-1012
uvx harbor run -d dabstep@1.0 -t dabstep-1012e25eec6
dabstep-11
uvx harbor run -d dabstep@1.0 -t dabstep-11e25eec6
dabstep-12
uvx harbor run -d dabstep@1.0 -t dabstep-12e25eec6
dabstep-1217
uvx harbor run -d dabstep@1.0 -t dabstep-1217e25eec6
dabstep-1234
uvx harbor run -d dabstep@1.0 -t dabstep-1234e25eec6
dabstep-1274
uvx harbor run -d dabstep@1.0 -t dabstep-1274e25eec6
dabstep-1275
uvx harbor run -d dabstep@1.0 -t dabstep-1275e25eec6
dabstep-1277
uvx harbor run -d dabstep@1.0 -t dabstep-1277e25eec6
dabstep-1278
uvx harbor run -d dabstep@1.0 -t dabstep-1278e25eec6
dabstep-1279
uvx harbor run -d dabstep@1.0 -t dabstep-1279e25eec6
dabstep-1280
uvx harbor run -d dabstep@1.0 -t dabstep-1280e25eec6
dabstep-1281
uvx harbor run -d dabstep@1.0 -t dabstep-1281e25eec6
dabstep-1286
uvx harbor run -d dabstep@1.0 -t dabstep-1286e25eec6
dabstep-1287
uvx harbor run -d dabstep@1.0 -t dabstep-1287e25eec6
dabstep-1289
uvx harbor run -d dabstep@1.0 -t dabstep-1289e25eec6
dabstep-1290
uvx harbor run -d dabstep@1.0 -t dabstep-1290e25eec6
dabstep-1292
uvx harbor run -d dabstep@1.0 -t dabstep-1292e25eec6
dabstep-1294
uvx harbor run -d dabstep@1.0 -t dabstep-1294e25eec6
dabstep-1295
uvx harbor run -d dabstep@1.0 -t dabstep-1295e25eec6
dabstep-1296
uvx harbor run -d dabstep@1.0 -t dabstep-1296e25eec6
dabstep-1297
uvx harbor run -d dabstep@1.0 -t dabstep-1297e25eec6
dabstep-1299
uvx harbor run -d dabstep@1.0 -t dabstep-1299e25eec6
dabstep-13
uvx harbor run -d dabstep@1.0 -t dabstep-13e25eec6
dabstep-1300
uvx harbor run -d dabstep@1.0 -t dabstep-1300e25eec6
dabstep-1301
uvx harbor run -d dabstep@1.0 -t dabstep-1301e25eec6
dabstep-1302
uvx harbor run -d dabstep@1.0 -t dabstep-1302e25eec6
dabstep-1305
uvx harbor run -d dabstep@1.0 -t dabstep-1305e25eec6
dabstep-1308
uvx harbor run -d dabstep@1.0 -t dabstep-1308e25eec6
dabstep-1312
uvx harbor run -d dabstep@1.0 -t dabstep-1312e25eec6
dabstep-1331
uvx harbor run -d dabstep@1.0 -t dabstep-1331e25eec6
dabstep-1336
uvx harbor run -d dabstep@1.0 -t dabstep-1336e25eec6
dabstep-1341
uvx harbor run -d dabstep@1.0 -t dabstep-1341e25eec6
dabstep-1343
uvx harbor run -d dabstep@1.0 -t dabstep-1343e25eec6
dabstep-1344
uvx harbor run -d dabstep@1.0 -t dabstep-1344e25eec6
dabstep-1347
uvx harbor run -d dabstep@1.0 -t dabstep-1347e25eec6
dabstep-1348
uvx harbor run -d dabstep@1.0 -t dabstep-1348e25eec6
dabstep-1358
uvx harbor run -d dabstep@1.0 -t dabstep-1358e25eec6
dabstep-1365
uvx harbor run -d dabstep@1.0 -t dabstep-1365e25eec6
dabstep-1366
uvx harbor run -d dabstep@1.0 -t dabstep-1366e25eec6
dabstep-1385
uvx harbor run -d dabstep@1.0 -t dabstep-1385e25eec6
dabstep-1394
uvx harbor run -d dabstep@1.0 -t dabstep-1394e25eec6
dabstep-14
uvx harbor run -d dabstep@1.0 -t dabstep-14e25eec6
dabstep-1401
uvx harbor run -d dabstep@1.0 -t dabstep-1401e25eec6
dabstep-1417
uvx harbor run -d dabstep@1.0 -t dabstep-1417e25eec6
dabstep-1420
uvx harbor run -d dabstep@1.0 -t dabstep-1420e25eec6
dabstep-1427
uvx harbor run -d dabstep@1.0 -t dabstep-1427e25eec6
dabstep-1431
uvx harbor run -d dabstep@1.0 -t dabstep-1431e25eec6
dabstep-1433
uvx harbor run -d dabstep@1.0 -t dabstep-1433e25eec6
dabstep-1434
uvx harbor run -d dabstep@1.0 -t dabstep-1434e25eec6
dabstep-1435
uvx harbor run -d dabstep@1.0 -t dabstep-1435e25eec6
dabstep-1436
uvx harbor run -d dabstep@1.0 -t dabstep-1436e25eec6
dabstep-1437
uvx harbor run -d dabstep@1.0 -t dabstep-1437e25eec6
dabstep-1438
uvx harbor run -d dabstep@1.0 -t dabstep-1438e25eec6
dabstep-1439
uvx harbor run -d dabstep@1.0 -t dabstep-1439e25eec6
dabstep-1440
uvx harbor run -d dabstep@1.0 -t dabstep-1440e25eec6
dabstep-1441
uvx harbor run -d dabstep@1.0 -t dabstep-1441e25eec6
dabstep-1442
uvx harbor run -d dabstep@1.0 -t dabstep-1442e25eec6
dabstep-1443
uvx harbor run -d dabstep@1.0 -t dabstep-1443e25eec6
dabstep-1444
uvx harbor run -d dabstep@1.0 -t dabstep-1444e25eec6
dabstep-1445
uvx harbor run -d dabstep@1.0 -t dabstep-1445e25eec6
dabstep-1446
uvx harbor run -d dabstep@1.0 -t dabstep-1446e25eec6
dabstep-1447
uvx harbor run -d dabstep@1.0 -t dabstep-1447e25eec6
dabstep-1448
uvx harbor run -d dabstep@1.0 -t dabstep-1448e25eec6
dabstep-1449
uvx harbor run -d dabstep@1.0 -t dabstep-1449e25eec6
dabstep-1450
uvx harbor run -d dabstep@1.0 -t dabstep-1450e25eec6
dabstep-1451
uvx harbor run -d dabstep@1.0 -t dabstep-1451e25eec6
dabstep-1452
uvx harbor run -d dabstep@1.0 -t dabstep-1452e25eec6
dabstep-1453
uvx harbor run -d dabstep@1.0 -t dabstep-1453e25eec6
dabstep-1454
uvx harbor run -d dabstep@1.0 -t dabstep-1454e25eec6
dabstep-1455
uvx harbor run -d dabstep@1.0 -t dabstep-1455e25eec6
dabstep-1456
uvx harbor run -d dabstep@1.0 -t dabstep-1456e25eec6
dabstep-1457
uvx harbor run -d dabstep@1.0 -t dabstep-1457e25eec6
dabstep-1458
uvx harbor run -d dabstep@1.0 -t dabstep-1458e25eec6
dabstep-1459
uvx harbor run -d dabstep@1.0 -t dabstep-1459e25eec6
dabstep-1460
uvx harbor run -d dabstep@1.0 -t dabstep-1460e25eec6
dabstep-1461
uvx harbor run -d dabstep@1.0 -t dabstep-1461e25eec6
dabstep-1462
uvx harbor run -d dabstep@1.0 -t dabstep-1462e25eec6
dabstep-1463
uvx harbor run -d dabstep@1.0 -t dabstep-1463e25eec6
dabstep-1465
uvx harbor run -d dabstep@1.0 -t dabstep-1465e25eec6
dabstep-1467
uvx harbor run -d dabstep@1.0 -t dabstep-1467e25eec6
dabstep-1470
uvx harbor run -d dabstep@1.0 -t dabstep-1470e25eec6
dabstep-1472
uvx harbor run -d dabstep@1.0 -t dabstep-1472e25eec6
dabstep-1473
uvx harbor run -d dabstep@1.0 -t dabstep-1473e25eec6
dabstep-1474
uvx harbor run -d dabstep@1.0 -t dabstep-1474e25eec6
dabstep-1475
uvx harbor run -d dabstep@1.0 -t dabstep-1475e25eec6
dabstep-1477
uvx harbor run -d dabstep@1.0 -t dabstep-1477e25eec6
dabstep-1480
uvx harbor run -d dabstep@1.0 -t dabstep-1480e25eec6
dabstep-1484
uvx harbor run -d dabstep@1.0 -t dabstep-1484e25eec6
dabstep-1485
uvx harbor run -d dabstep@1.0 -t dabstep-1485e25eec6
dabstep-1486
uvx harbor run -d dabstep@1.0 -t dabstep-1486e25eec6
dabstep-1489
uvx harbor run -d dabstep@1.0 -t dabstep-1489e25eec6
dabstep-1493
uvx harbor run -d dabstep@1.0 -t dabstep-1493e25eec6
dabstep-1494
uvx harbor run -d dabstep@1.0 -t dabstep-1494e25eec6
dabstep-1497
uvx harbor run -d dabstep@1.0 -t dabstep-1497e25eec6
dabstep-15
uvx harbor run -d dabstep@1.0 -t dabstep-15e25eec6
dabstep-1500
uvx harbor run -d dabstep@1.0 -t dabstep-1500e25eec6
dabstep-1502
uvx harbor run -d dabstep@1.0 -t dabstep-1502e25eec6
dabstep-1504
uvx harbor run -d dabstep@1.0 -t dabstep-1504e25eec6