ChatGPT verliert gegen neuen Konkurrenten Ernie Bot 3.5 in mehreren Tests

Chinas Baidu gab am Dienstag bekannt, dass die KI Ernie Bot 3.5 ChatGPT in einer Reihe von bedeutenden Tests schlagen würde. Derzeit spitzt sich das Rennen in der Entwicklung generativer KI zwischen Technologiegiganten aus den USA und China immer weiter zu.

Wie Chatbot ChatGPT ist auch die neueste Version von Baidus Ernie 3.5 ein Large Language Model (LLM), das mit extrem großen Datenmengen trainiert wurde. Ernie soll ChatGPT in mehreren wichtigen Benchmarks übertroffen haben, so Baidu. Laut dem chinesischen Wissenschaftsmagazin China Science Daily soll auch OpenAIs neuestes Modell GPT4 in mehreren Tests unterlegen sein, etwa in chinesischen Sprachtests.

So erzielte Ernie in Chinesisch bessere Ergebnisse bei Standard-Aufnahme- und Qualifikationsprüfungen, wie sie beispielsweise für die Aufnahme an einer Universität oder für die Zulassung als Rechtsanwalt erforderlich sind. Im Gegenzug testete Microsoft Ernie mit dem gleichen Test in englischer Sprache, bei dem er allerdings hinter GPT4 zurückblieb.

Ernie gewann auch einen Multiple-Choice-Test mit 13.000 Fragen zu 50 verschiedenen Themen in chinesischer Sprache, verlor aber bei Fragen zu Natur- und Geisteswissenschaften, die von amerikanischen Universitäten entwickelt wurden. In den drei Monaten, die seit der Veröffentlichung der Beta-Version von Ernie Bot vergangen sind, hat das Programm erhebliche Verbesserungen erfahren, etwa im Bereich des kreativen Schreibens, des Zugriffs auf Plugins oder der Codegenerierung:

These improvements are evident in creative writing, Q&A, reasoning, and code generation, as well as in training performance and inference performance.

- Haifeng Wang, CTO von Baidu