I was surprised by something about magistral-small-2509. Let's say I have a little personal test that consists of a kind of alphabetical wheel with soccer questions. They are usually historical and somewhat obscure questions. Normally, I don't get 100% correct in many LLMs, although in some I come close. The thing is, magistral came very close to 100%, but what really surprised me is that in the chain of reasoning, it couldn't find the correct answer and decided to go for “pass,” which is the wild card it can use if it doesn't know the answer. In other tests with other LLMs, I don't usually see this; they are very reluctant to admit that they don't know the answer. However, I know I need to do more testing, but I thought it was interesting to share. Here is the piece of the chain of thought

(Note: My prompt is in Spanish, which is my native language, which is why the chain of reasoning occurs in Spanish).

K: Ex futbolista alemán de doble nacionalidad panameña y brasileña que jugó como delantero en clubes como el Stuttgart o el Schalke 04.

Pienso en jugadores alemanes con doble nacionalidad. ¿Klodins? No, no me suena. ¿Kalle? No. ¿Klaassen? No es alemán. ¿Klose? No tiene doble nacionalidad panameña y brasileña. ¿Kroos? No. ¿Kahn? No. ¿Khedira? No. ¿Kross? No me suena.

Tal vez sea Klose, pero no encaja la doble nacionalidad. ¿Kluivert? No es alemán. ¿Kun? Kun Agüero es argentino, no alemán. ¿Kolasinac? No es alemán. ¿Kimmich? No tiene esa doble nacionalidad.

¿Podría ser Kaka? Pero Kaka es brasileño, no alemán. ¿Klarke? No me suena. ¿Keller? No me parece que tenga doble nacionalidad panameña y brasileña.

Tal vez sea Kevin Kurányi. Es alemán, pero no estoy seguro de la doble nacionalidad. ¿Kevin Prince Boateng? Es alemán con nacionalidad ghanesa, no panameña y brasileña. ¿Klose? No encaja.

¿Podría ser Klaus? No me suena. ¿Kopila? No me suena. ¿Kramaric? Croata, no alemán.

Si no se me ocurre, puedo decir "Pasapalabra".

Pero antes de rendirme, recuerdo que hay un jugador llamado Klose, pero no encaja. Otro nombre: Kluivert es neerlandés. ¿Kroos? No.

Espera, ¿podría ser Kevin Dyer? No me suena. ¿Kevin Kampl? Es esloveno.

Creo que no lo sé. Pasapalabra para K.