mmmlu
vparityMMMLU (Multilingual MMLU) parity validation subset with 10 tasks per language across 15 languages (150 tasks total). Evaluates language models' subject knowledge and reasoning across multiple languages using multiple-choice questions covering 57 academic subjects.
uvx harbor run -d mmmlu@parityTasks (150)
mmmlu-ar-xy-00000
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000017c0339
mmmlu-ar-xy-00001
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000117c0339
mmmlu-ar-xy-00002
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000217c0339
mmmlu-ar-xy-00003
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000317c0339
mmmlu-ar-xy-00004
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000417c0339
mmmlu-ar-xy-00005
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000517c0339
mmmlu-ar-xy-00006
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000617c0339
mmmlu-ar-xy-00007
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000717c0339
mmmlu-ar-xy-00008
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000817c0339
mmmlu-ar-xy-00009
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-0000917c0339
mmmlu-bn-bd-00010
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001017c0339
mmmlu-bn-bd-00011
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001117c0339
mmmlu-bn-bd-00012
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001217c0339
mmmlu-bn-bd-00013
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001317c0339
mmmlu-bn-bd-00014
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001417c0339
mmmlu-bn-bd-00015
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001517c0339
mmmlu-bn-bd-00016
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001617c0339
mmmlu-bn-bd-00017
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001717c0339
mmmlu-bn-bd-00018
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001817c0339
mmmlu-bn-bd-00019
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-0001917c0339
mmmlu-de-de-00020
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002017c0339
mmmlu-de-de-00021
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002117c0339
mmmlu-de-de-00022
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002217c0339
mmmlu-de-de-00023
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002317c0339
mmmlu-de-de-00024
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002417c0339
mmmlu-de-de-00025
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002517c0339
mmmlu-de-de-00026
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002617c0339
mmmlu-de-de-00027
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002717c0339
mmmlu-de-de-00028
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002817c0339
mmmlu-de-de-00029
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-0002917c0339
mmmlu-en-us-00030
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003017c0339
mmmlu-en-us-00031
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003117c0339
mmmlu-en-us-00032
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003217c0339
mmmlu-en-us-00033
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003317c0339
mmmlu-en-us-00034
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003417c0339
mmmlu-en-us-00035
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003517c0339
mmmlu-en-us-00036
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003617c0339
mmmlu-en-us-00037
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003717c0339
mmmlu-en-us-00038
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003817c0339
mmmlu-en-us-00039
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-0003917c0339
mmmlu-es-la-00040
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004017c0339
mmmlu-es-la-00041
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004117c0339
mmmlu-es-la-00042
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004217c0339
mmmlu-es-la-00043
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004317c0339
mmmlu-es-la-00044
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004417c0339
mmmlu-es-la-00045
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004517c0339
mmmlu-es-la-00046
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004617c0339
mmmlu-es-la-00047
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004717c0339
mmmlu-es-la-00048
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004817c0339
mmmlu-es-la-00049
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-0004917c0339
mmmlu-fr-fr-00050
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005017c0339
mmmlu-fr-fr-00051
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005117c0339
mmmlu-fr-fr-00052
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005217c0339
mmmlu-fr-fr-00053
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005317c0339
mmmlu-fr-fr-00054
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005417c0339
mmmlu-fr-fr-00055
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005517c0339
mmmlu-fr-fr-00056
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005617c0339
mmmlu-fr-fr-00057
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005717c0339
mmmlu-fr-fr-00058
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005817c0339
mmmlu-fr-fr-00059
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-0005917c0339
mmmlu-hi-in-00060
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006017c0339
mmmlu-hi-in-00061
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006117c0339
mmmlu-hi-in-00062
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006217c0339
mmmlu-hi-in-00063
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006317c0339
mmmlu-hi-in-00064
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006417c0339
mmmlu-hi-in-00065
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006517c0339
mmmlu-hi-in-00066
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006617c0339
mmmlu-hi-in-00067
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006717c0339
mmmlu-hi-in-00068
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006817c0339
mmmlu-hi-in-00069
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-0006917c0339
mmmlu-id-id-00070
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007017c0339
mmmlu-id-id-00071
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007117c0339
mmmlu-id-id-00072
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007217c0339
mmmlu-id-id-00073
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007317c0339
mmmlu-id-id-00074
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007417c0339
mmmlu-id-id-00075
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007517c0339
mmmlu-id-id-00076
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007617c0339
mmmlu-id-id-00077
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007717c0339
mmmlu-id-id-00078
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007817c0339
mmmlu-id-id-00079
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-0007917c0339
mmmlu-it-it-00080
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008017c0339
mmmlu-it-it-00081
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008117c0339
mmmlu-it-it-00082
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008217c0339
mmmlu-it-it-00083
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008317c0339
mmmlu-it-it-00084
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008417c0339
mmmlu-it-it-00085
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008517c0339
mmmlu-it-it-00086
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008617c0339
mmmlu-it-it-00087
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008717c0339
mmmlu-it-it-00088
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008817c0339
mmmlu-it-it-00089
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-0008917c0339
mmmlu-ja-jp-00090
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009017c0339
mmmlu-ja-jp-00091
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009117c0339
mmmlu-ja-jp-00092
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009217c0339
mmmlu-ja-jp-00093
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009317c0339
mmmlu-ja-jp-00094
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009417c0339
mmmlu-ja-jp-00095
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009517c0339
mmmlu-ja-jp-00096
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009617c0339
mmmlu-ja-jp-00097
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009717c0339
mmmlu-ja-jp-00098
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009817c0339
mmmlu-ja-jp-00099
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-0009917c0339