mmmlu

vparity

MMMLU (Multilingual MMLU) parity validation subset with 10 tasks per language across 15 languages (150 tasks total). Evaluates language models' subject knowledge and reasoning across multiple languages using multiple-choice questions covering 57 academic subjects.

uvx harbor run -d mmmlu@parity

Tasks (150)

mmmlu-ko-kr-00100

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00100

mmmlu-ko-kr-00101

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00101

mmmlu-ko-kr-00102

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00102

mmmlu-ko-kr-00103

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00103

mmmlu-ko-kr-00104

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00104

mmmlu-ko-kr-00105

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00105

mmmlu-ko-kr-00106

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00106

mmmlu-ko-kr-00107

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00107

mmmlu-ko-kr-00108

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00108

mmmlu-ko-kr-00109

uvx harbor run -d mmmlu@parity -t mmmlu-ko-kr-00109

mmmlu-pt-br-00110

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00110

mmmlu-pt-br-00111

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00111

mmmlu-pt-br-00112

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00112

mmmlu-pt-br-00113

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00113

mmmlu-pt-br-00114

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00114

mmmlu-pt-br-00115

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00115

mmmlu-pt-br-00116

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00116

mmmlu-pt-br-00117

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00117

mmmlu-pt-br-00118

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00118

mmmlu-pt-br-00119

uvx harbor run -d mmmlu@parity -t mmmlu-pt-br-00119

mmmlu-sw-ke-00130

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00130

mmmlu-sw-ke-00131

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00131

mmmlu-sw-ke-00132

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00132

mmmlu-sw-ke-00133

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00133

mmmlu-sw-ke-00134

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00134

mmmlu-sw-ke-00135

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00135

mmmlu-sw-ke-00136

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00136

mmmlu-sw-ke-00137

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00137

mmmlu-sw-ke-00138

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00138

mmmlu-sw-ke-00139

uvx harbor run -d mmmlu@parity -t mmmlu-sw-ke-00139

mmmlu-yo-ng-00140

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00140

mmmlu-yo-ng-00141

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00141

mmmlu-yo-ng-00142

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00142

mmmlu-yo-ng-00143

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00143

mmmlu-yo-ng-00144

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00144

mmmlu-yo-ng-00145

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00145

mmmlu-yo-ng-00146

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00146

mmmlu-yo-ng-00147

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00147

mmmlu-yo-ng-00148

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00148

mmmlu-yo-ng-00149

uvx harbor run -d mmmlu@parity -t mmmlu-yo-ng-00149

mmmlu-zh-cn-00120

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00120

mmmlu-zh-cn-00121

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00121

mmmlu-zh-cn-00122

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00122

mmmlu-zh-cn-00123

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00123

mmmlu-zh-cn-00124

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00124

mmmlu-zh-cn-00125

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00125

mmmlu-zh-cn-00126

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00126

mmmlu-zh-cn-00127

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00127

mmmlu-zh-cn-00128

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00128

mmmlu-zh-cn-00129

uvx harbor run -d mmmlu@parity -t mmmlu-zh-cn-00129