Listing all Primary Systems For newstest2019

This is the list of systems to be included in the human evaluation. Click here to edit your systems.
System Name Pair Username Constrained? Primary? Run ID Bleu Cased Submit Time (red = late)
NICT CS-DE Nedved true true 6948 20.9 2019-04-16 08:59
NEU&KingSoft CS-DE NiuTrans true true 6783 19.3 2019-04-16 04:58
Unsupervised.cs-de CS-DE StillKeepTry true true 6979 16.8 2019-04-16 09:58
NICT DE-CS Nedved true true 6938 20.1 2019-04-16 08:54
NEU&KingSoft DE-CS NiuTrans true true 6766 18.9 2019-04-16 03:39
Unsupervised.de-cs DE-CS StillKeepTry true true 6929 17.8 2019-04-16 08:48
lmu-unsup-nmt-de-cs DE-CS dario true true 6845 17.0 2019-04-16 07:38
Unsupervised.de-cs DE-CS StillKeepTry true true 6935 16.1 2019-04-16 08:52
lmu-unsup-nmt-de-cs DE-CS dario true true 6828 16.0 2019-04-16 07:07
CUNI-Unsupervised-NER-post DE-CS kvapili true true 6934 14.1 2019-04-16 08:51
CAiRE DE-CS johan true true 6949 10.2 2019-04-16 08:59
MSRA.MADL DE-EN MSRA-WXW true true 6910 51.1 2019-04-16 08:28
NEU DE-EN NiuTrans true true 6801 48.3 2019-04-16 06:09
Facebook FAIR DE-EN edunov true true 6750 48.2 2019-04-16 02:02
UCAM DE-EN fstahlberg true true 6461 47.1 2019-04-13 07:44
RWTH Aachen System DE-EN pbahar true true 6818 46.8 2019-04-16 06:52
MLLP-UPV DE-EN mllp true true 6899 46.1 2019-04-16 08:21
dfki-nmt DE-EN zhangjingyi true true 6478 45.8 2019-04-13 20:05
dfki-nmt DE-EN zhangjingyi true true 6453 45.4 2019-04-12 20:25
JHU DE-EN kelly-yash-jhu true true 6809 44.7 2019-04-16 06:24
dfki-nmt DE-EN zhangjingyi true true 6384 44.6 2019-04-12 07:34
uedin-de-en-lr4ens1 DE-EN ugermann true true 6749 40.4 2019-04-16 01:55
TartuNLP-c DE-EN andre true true 6502 39.5 2019-04-14 11:24
PROMT NMT DE-EN DE-EN Alex Molchanov false true 6683 38.4 2019-04-15 18:33
MSRA.MADL DE-FR MSRA-WXW true true 6888 37.3 2019-04-16 08:16
lingua_custodia_primary DE-FR franckbrl true true 6690 35.6 2019-04-15 19:58
MLLP-UPV DE-FR mllp true true 6647 34.5 2019-04-15 14:24
Kyoto University T2T DE-FR fabienc true true 6679 34.3 2019-04-15 18:15
Kyoto University T2T DE-FR fabienc true true 6812 34.2 2019-04-16 06:25
LIUM DE-FR fbougares true true 6719 33.4 2019-04-15 23:33
TartuNLP-c DE-FR andre true true 6897 30.7 2019-04-16 08:21
TartuNLP-c DE-FR andre true true 6507 29.5 2019-04-14 11:34
CUNI-DocTransformer-T2T EN-CS popel true true 6751 29.9 2019-04-16 02:21
CUNI-Transformer-T2T-2018 EN-CS popel true true 6457 29.9 2019-04-13 05:33
CUNI-Transformer-T2T-2019 EN-CS popel true true 6851 29.4 2019-04-16 07:52
CUNI-DocTransformer-Marian EN-CS dominik-machacek true true 6922 28.1 2019-04-16 08:39
transformer-early-march EN-CS romang-wmt19 true true 6667 27.9 2019-04-15 17:18
TartuNLP-c EN-CS andre true true 6633 22.8 2019-04-15 12:53
parfda EN-CS bicici true true 6701 15.2 2019-04-15 21:25
Microsoft-WMT19-sentence/document EN-DE marcinjd true true 6974 48.6 2019-04-16 09:53
MSRA.MADL EN-DE MSRA-WXW true true 6926 48.5 2019-04-16 08:45
Microsoft-WMT19-document-level EN-DE marcinjd true true 6808 48.4 2019-04-16 06:24
Facebook FAIR EN-DE edunov true true 6862 47.5 2019-04-16 08:02
NEU EN-DE NiuTrans true true 6763 47.0 2019-04-16 03:11
UCAM EN-DE fstahlberg true true 6731 46.1 2019-04-16 01:01
Microsoft-WMT19-sentence-level EN-DE marcinjd true true 6785 46.0 2019-04-16 05:19
JHU EN-DE kelly-yash-jhu true true 6819 45.1 2019-04-16 06:52
Helsinki-NLP EN-DE aarnetalman true true 6820 44.5 2019-04-16 06:59
eTranslation EN-DE eTranslation true true 6823 44.4 2019-04-16 07:02
lmu-ctx-tf-single-en-de EN-DE dario true true 6981 43.4 2019-04-16 10:01
MLLP-UPV EN-DE mllp true true 6651 43.3 2019-04-15 14:33
dfki-nmt EN-DE zhangjingyi true true 6479 43.0 2019-04-13 20:11
dfki-nmt EN-DE zhangjingyi true true 6454 42.0 2019-04-12 20:29
UdS-DFKI EN-DE cristinae true true 6871 41.3 2019-04-16 08:08
dfki-nmt EN-DE zhangjingyi true true 6385 40.0 2019-04-12 07:41
PROMT NMT EN-DE EN-DE Alex Molchanov false true 6674 39.0 2019-04-15 17:49
TartuNLP-c EN-DE andre true true 6508 37.5 2019-04-14 11:42
TartuNLP-c EN-DE andre true true 6900 36.8 2019-04-16 08:22
en_de_task EN-DE abhranil08 false true 6790 17.6 2019-04-16 05:48
MSRA.NAO EN-FI MSRA true true 6985 27.4 2019-04-16 10:16
GTCOM-Primary EN-FI peterzong true true 6917 25.5 2019-04-16 08:30
NICT EN-FI bmarie true true 6359 23.2 2019-04-12 02:11
Helsinki NLP EN-FI aarnetalman true true 6860 20.8 2019-04-16 07:58
Aalto ORMFC EN-FI sgronroo true true 6879 18.9 2019-04-16 08:11
TartuNLP-c EN-FI andre true true 6509 18.5 2019-04-14 11:43
parfda EN-FI bicici true true 6602 12.7 2019-04-15 09:35
Helsinki NLP (rule-based) EN-FI aarnetalman false true 6636 8.9 2019-04-15 13:27
apertium-fin-eng-unconstrained-en-fi EN-FI tpirinen false true 6448 4.3 2019-04-12 17:02
GTCOM-Primary EN-GU peterzong false true 6970 28.2 2019-04-16 09:39
Ju_Saarland_clean_num_135_bpe EN-GU akagami false true 6617 21.9 2019-04-15 11:06
MSRA.CrossBERT EN-GU gonglinyuan@MSRA false true 6991 16.5 2019-04-16 10:23
UEDIN EN-GU rbawden true true 6849 16.4 2019-04-16 07:48
CUNI-T2T-transfer-engu EN-GU kocmi true true 6466 14.3 2019-04-13 10:24
NICT EN-GU prajdabre true true 6604 10.5 2019-04-15 09:57
IITP-MT EN-GU KamalG true true 6827 8.1 2019-04-16 07:06
UdS-DFKI EN-GU daruit false true 6866 6.9 2019-04-16 08:05
NEU EN-KK NiuTrans true true 6755 11.1 2019-04-16 02:50
MSRA.CrossBERT EN-KK gonglinyuan@MSRA false true 6874 10.6 2019-04-16 08:09
rug_enkk_bpe EN-KK cl_rug true true 6804 10.3 2019-04-16 06:19
UAlacant - NMT EN-KK vmsanchez true true 6718 10.0 2019-04-15 23:29
UAlacant - NMT+RBMT EN-KK vmsanchez false true 6722 9.9 2019-04-15 23:55
CUNI-T2T-transfer-enkk EN-KK kocmi true true 6554 8.7 2019-04-15 05:50
talp_upc_2019_enkk EN-KK talp_upc true true 6355 6.5 2019-04-11 19:10
NICT EN-KK prajdabre true true 6550 6.4 2019-04-15 05:24
parfda EN-KK bicici true true 6700 3.0 2019-04-15 21:24
parfda EN-KK bicici true true 6447 2.9 2019-04-12 16:59
DBMS-KU ENKK EN-KK saridewi true true 6730 0.9 2019-04-16 00:54
MSRA.MASS EN-LT MSRA false true 6954 20.1 2019-04-16 09:08
MSRA.MASS EN-LT MSRA true true 6931 19.1 2019-04-16 08:49
tilde-nc-nmt EN-LT tilde false true 6696 19.0 2019-04-15 20:28
tilde-c-nmt EN-LT tilde true true 6695 18.6 2019-04-15 20:26
GTCOM-Primary EN-LT peterzong true true 7001 18.1 2019-04-16 10:59
NEU EN-LT NiuTrans true true 6760 17.0 2019-04-16 02:57
eTranslation EN-LT eTranslation true true 6836 16.5 2019-04-16 07:25
TartuNLP-c EN-LT andre true true 6510 12.3 2019-04-14 11:44
parfda EN-LT bicici true true 6460 7.3 2019-04-13 07:17
Facebook FAIR EN-RU edunov true true 6724 36.3 2019-04-16 00:19
USTC-MCC EN-RU JinhuaZhu true true 6795 34.7 2019-04-16 05:56
NEU EN-RU NiuTrans true true 6773 34.0 2019-04-16 04:05
PROMT NMT EN-RU EN-RU Alex Molchanov false true 6989 30.7 2019-04-16 10:21
rerank-er EN-RU DoronYu true true 6572 27.8 2019-04-15 07:39
TartuNLP-u EN-RU mphi false true 6645 24.8 2019-04-15 13:51
TartuNLP-u EN-RU mphi false true 6185 22.6 2019-04-09 17:15
NICT EN-RU prajdabre true true 6563 13.9 2019-04-15 06:44
KSAI-system EN-ZH tiny true true 6982 42.4 2019-04-16 10:03
Baidu-system EN-ZH Baidu-MT true true 6932 42.4 2019-04-16 08:50
NEU EN-ZH NiuTrans true true 6830 39.9 2019-04-16 07:14
BTRANS EN-ZH BTRANS true true 6821 38.3 2019-04-16 07:00
xzl-nmt EN-ZH qianqian true true 6847 35.6 2019-04-16 07:40
Captain Marvel EN-ZH marvel true true 6471 35.5 2019-04-13 15:26
NICT EN-ZH Nedved true true 6817 34.5 2019-04-16 06:37
Nikolay Bogoychev EN-ZH XapaJIaMnu true true 6158 34.4 2019-04-09 11:43
Nikolay Bogoychev EN-ZH XapaJIaMnu true true 6531 34.0 2019-04-14 23:47
Nikolay Bogoychev EN-ZH XapaJIaMnu true true 6204 34.0 2019-04-09 23:01
USYD FI-EN Liam true true 6995 33.0 2019-04-16 10:52
MSRA.NAO FI-EN MSRA true true 6983 31.9 2019-04-16 10:04
GTCOM-Primary FI-EN peterzong true true 6946 31.4 2019-04-16 08:58
Helsinki NLP FI-EN aarnetalman true true 6889 26.7 2019-04-16 08:17
TartuNLP-c FI-EN andre true true 6905 23.9 2019-04-16 08:24
TartuNLP-c FI-EN andre true true 6511 21.9 2019-04-14 11:45
parfda FI-EN bicici true true 6526 19.2 2019-04-14 18:02
apertium-fin-eng-unconstrained-fien FI-EN tpirinen false true 6449 7.6 2019-04-12 17:03
MSRA.MADL FR-DE MSRA-WXW true true 6893 35.0 2019-04-16 08:19
eTranslation FR-DE eTranslation true true 6262 32.7 2019-04-10 08:46
LIUM FR-DE fbougares true true 6720 29.7 2019-04-15 23:45
MLLP-UPV FR-DE mllp true true 6654 27.5 2019-04-15 14:37
TartuNLP-c FR-DE andre true true 6514 24.8 2019-04-14 11:53
TartuNLP-c FR-DE andre true true 6892 24.5 2019-04-16 08:18
NEU GU-EN NiuTrans true true 6756 24.9 2019-04-16 02:52
UEDIN GU-EN kirefu true true 6534 21.4 2019-04-15 00:39
GTCOM-Primary GU-EN peterzong false true 6969 17.5 2019-04-16 09:36
CUNI-T2T-transfer-guen GU-EN kocmi true true 6431 17.4 2019-04-12 11:20
NICT GU-EN prajdabre true true 6603 17.2 2019-04-15 09:37
aylien_mt_gu-en_multilingual GU-EN aylien_research true true 6826 16.8 2019-04-16 07:06
Ju_Saarland GU-EN akagami false true 6525 11.8 2019-04-14 17:55
UdS-DFKI GU-EN daruit false true 6861 9.6 2019-04-16 08:02
IITP-MT GU-EN KamalG true true 6824 9.4 2019-04-16 07:03
IIITH-MT GU-EN vikrant97 true true 6688 6.8 2019-04-15 19:28
NEU KK-EN NiuTrans true true 6753 30.5 2019-04-16 02:43
NICT KK-EN prajdabre true true 6770 26.2 2019-04-16 03:49
NRC-CNRC KK-EN NRC-CNRC true true 6895 24.9 2019-04-16 08:20
talp_upc_2019_kken KK-EN talp_upc true true 6657 24.9 2019-04-15 15:24
Frank's MT KK-EN frankmt false true 6127 19.8 2019-04-09 07:50
CUNI-T2T-transfer-kken KK-EN kocmi true true 6436 18.5 2019-04-12 12:50
parfda KK-EN bicici true true 6480 10.5 2019-04-13 22:27
UMD KK-EN eleftheria true true 6736 9.2 2019-04-16 01:15
DBMS-KU KKEN KK-EN saridewi true true 6726 3.4 2019-04-16 00:30
GTCOM-Primary LT-EN peterzong true true 6998 36.3 2019-04-16 10:57
MSRA.MASS LT-EN MSRA true true 6945 35.5 2019-04-16 08:58
NEU LT-EN NiuTrans true true 6759 34.2 2019-04-16 02:54
tilde-nc-nmt LT-EN tilde false true 6881 31.6 2019-04-16 08:11
tilde-c-nmt LT-EN tilde true true 6876 30.3 2019-04-16 08:10
TartuNLP-c LT-EN andre true true 6908 24.1 2019-04-16 08:27
TartuNLP-c LT-EN andre true true 6513 23.6 2019-04-14 11:50
parfda LT-EN bicici true true 6492 22.8 2019-04-14 09:03
JUMT LT-EN sainik.mahata true true 6616 16.6 2019-04-15 11:03
MSRA.SCA RU-EN MSRA true true 6976 40.1 2019-04-16 09:55
NEU RU-EN NiuTrans true true 6803 40.0 2019-04-16 06:14
Facebook FAIR RU-EN edunov true true 6937 40.0 2019-04-16 08:54
rerank-re RU-EN DoronYu true true 6540 37.5 2019-04-15 02:49
eTranslation RU-EN eTranslation true true 6598 37.4 2019-04-15 09:19
afrl-syscomb19 RU-EN jeremy.gwinnup true true 6782 37.2 2019-04-16 04:55
afrl-ewc RU-EN jeremy.gwinnup true true 6659 34.3 2019-04-15 15:38
TartuNLP-u RU-EN mphi false true 6650 30.8 2019-04-15 14:30
TartuNLP-u RU-EN mphi false true 6186 28.3 2019-04-09 17:16
NICT RU-EN prajdabre true true 6561 28.2 2019-04-15 06:42
MSRA.MASS ZH-EN MSRA false true 6996 39.3 2019-04-16 10:53
MSRA.MASS ZH-EN MSRA false true 6942 38.3 2019-04-16 08:56
Baidu-system ZH-EN Baidu-MT true true 6940 38.0 2019-04-16 08:55
KSAI-system ZH-EN Aida true true 6927 37.5 2019-04-16 08:45
NEU ZH-EN NiuTrans true true 6832 34.2 2019-04-16 07:16
BTRANS-ensemble ZH-EN BTRANS true true 6992 33.8 2019-04-16 10:24
BTRANS ZH-EN BTRANS true true 6825 33.4 2019-04-16 07:05
Captain Marvel ZH-EN marvel true true 6470 32.3 2019-04-13 15:03
RWTH System ZH-EN wwang true true 6689 31.7 2019-04-15 19:30
Captain Marvel ZH-EN marvel true true 6120 31.2 2019-04-09 07:21
NICT ZH-EN Nedved true true 6814 31.0 2019-04-16 06:31
Nikolay Bogoychev ZH-EN XapaJIaMnu true true 6530 27.7 2019-04-14 23:32
Nikolay Bogoychev ZH-EN XapaJIaMnu true true 6194 27.4 2019-04-09 18:06
Apprentice-c ZH-EN nickeilf true true 6706 16.9 2019-04-15 22:04