mmmlu

vparity

MMMLU (Multilingual MMLU) parity validation subset with 10 tasks per language across 15 languages (150 tasks total). Evaluates language models' subject knowledge and reasoning across multiple languages using multiple-choice questions covering 57 academic subjects.

uvx harbor run -d mmmlu@parity

Tasks (150)

mmmlu-ar-xy-00000
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00000
17c0339
mmmlu-ar-xy-00001
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00001
17c0339
mmmlu-ar-xy-00002
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00002
17c0339
mmmlu-ar-xy-00003
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00003
17c0339
mmmlu-ar-xy-00004
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00004
17c0339
mmmlu-ar-xy-00005
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00005
17c0339
mmmlu-ar-xy-00006
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00006
17c0339
mmmlu-ar-xy-00007
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00007
17c0339
mmmlu-ar-xy-00008
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00008
17c0339
mmmlu-ar-xy-00009
uvx harbor run -d mmmlu@parity -t mmmlu-ar-xy-00009
17c0339
mmmlu-bn-bd-00010
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00010
17c0339
mmmlu-bn-bd-00011
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00011
17c0339
mmmlu-bn-bd-00012
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00012
17c0339
mmmlu-bn-bd-00013
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00013
17c0339
mmmlu-bn-bd-00014
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00014
17c0339
mmmlu-bn-bd-00015
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00015
17c0339
mmmlu-bn-bd-00016
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00016
17c0339
mmmlu-bn-bd-00017
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00017
17c0339
mmmlu-bn-bd-00018
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00018
17c0339
mmmlu-bn-bd-00019
uvx harbor run -d mmmlu@parity -t mmmlu-bn-bd-00019
17c0339
mmmlu-de-de-00020
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00020
17c0339
mmmlu-de-de-00021
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00021
17c0339
mmmlu-de-de-00022
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00022
17c0339
mmmlu-de-de-00023
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00023
17c0339
mmmlu-de-de-00024
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00024
17c0339
mmmlu-de-de-00025
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00025
17c0339
mmmlu-de-de-00026
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00026
17c0339
mmmlu-de-de-00027
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00027
17c0339
mmmlu-de-de-00028
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00028
17c0339
mmmlu-de-de-00029
uvx harbor run -d mmmlu@parity -t mmmlu-de-de-00029
17c0339
mmmlu-en-us-00030
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00030
17c0339
mmmlu-en-us-00031
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00031
17c0339
mmmlu-en-us-00032
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00032
17c0339
mmmlu-en-us-00033
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00033
17c0339
mmmlu-en-us-00034
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00034
17c0339
mmmlu-en-us-00035
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00035
17c0339
mmmlu-en-us-00036
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00036
17c0339
mmmlu-en-us-00037
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00037
17c0339
mmmlu-en-us-00038
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00038
17c0339
mmmlu-en-us-00039
uvx harbor run -d mmmlu@parity -t mmmlu-en-us-00039
17c0339
mmmlu-es-la-00040
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00040
17c0339
mmmlu-es-la-00041
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00041
17c0339
mmmlu-es-la-00042
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00042
17c0339
mmmlu-es-la-00043
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00043
17c0339
mmmlu-es-la-00044
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00044
17c0339
mmmlu-es-la-00045
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00045
17c0339
mmmlu-es-la-00046
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00046
17c0339
mmmlu-es-la-00047
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00047
17c0339
mmmlu-es-la-00048
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00048
17c0339
mmmlu-es-la-00049
uvx harbor run -d mmmlu@parity -t mmmlu-es-la-00049
17c0339
mmmlu-fr-fr-00050
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00050
17c0339
mmmlu-fr-fr-00051
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00051
17c0339
mmmlu-fr-fr-00052
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00052
17c0339
mmmlu-fr-fr-00053
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00053
17c0339
mmmlu-fr-fr-00054
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00054
17c0339
mmmlu-fr-fr-00055
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00055
17c0339
mmmlu-fr-fr-00056
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00056
17c0339
mmmlu-fr-fr-00057
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00057
17c0339
mmmlu-fr-fr-00058
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00058
17c0339
mmmlu-fr-fr-00059
uvx harbor run -d mmmlu@parity -t mmmlu-fr-fr-00059
17c0339
mmmlu-hi-in-00060
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00060
17c0339
mmmlu-hi-in-00061
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00061
17c0339
mmmlu-hi-in-00062
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00062
17c0339
mmmlu-hi-in-00063
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00063
17c0339
mmmlu-hi-in-00064
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00064
17c0339
mmmlu-hi-in-00065
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00065
17c0339
mmmlu-hi-in-00066
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00066
17c0339
mmmlu-hi-in-00067
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00067
17c0339
mmmlu-hi-in-00068
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00068
17c0339
mmmlu-hi-in-00069
uvx harbor run -d mmmlu@parity -t mmmlu-hi-in-00069
17c0339
mmmlu-id-id-00070
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00070
17c0339
mmmlu-id-id-00071
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00071
17c0339
mmmlu-id-id-00072
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00072
17c0339
mmmlu-id-id-00073
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00073
17c0339
mmmlu-id-id-00074
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00074
17c0339
mmmlu-id-id-00075
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00075
17c0339
mmmlu-id-id-00076
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00076
17c0339
mmmlu-id-id-00077
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00077
17c0339
mmmlu-id-id-00078
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00078
17c0339
mmmlu-id-id-00079
uvx harbor run -d mmmlu@parity -t mmmlu-id-id-00079
17c0339
mmmlu-it-it-00080
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00080
17c0339
mmmlu-it-it-00081
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00081
17c0339
mmmlu-it-it-00082
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00082
17c0339
mmmlu-it-it-00083
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00083
17c0339
mmmlu-it-it-00084
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00084
17c0339
mmmlu-it-it-00085
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00085
17c0339
mmmlu-it-it-00086
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00086
17c0339
mmmlu-it-it-00087
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00087
17c0339
mmmlu-it-it-00088
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00088
17c0339
mmmlu-it-it-00089
uvx harbor run -d mmmlu@parity -t mmmlu-it-it-00089
17c0339
mmmlu-ja-jp-00090
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00090
17c0339
mmmlu-ja-jp-00091
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00091
17c0339
mmmlu-ja-jp-00092
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00092
17c0339
mmmlu-ja-jp-00093
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00093
17c0339
mmmlu-ja-jp-00094
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00094
17c0339
mmmlu-ja-jp-00095
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00095
17c0339
mmmlu-ja-jp-00096
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00096
17c0339
mmmlu-ja-jp-00097
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00097
17c0339
mmmlu-ja-jp-00098
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00098
17c0339
mmmlu-ja-jp-00099
uvx harbor run -d mmmlu@parity -t mmmlu-ja-jp-00099
17c0339