getName.ai Benchmark 11.2026. ETIM-Klassifikation mit einem F1-Wert von 93,8 %

Kunden fragen uns fast immer dasselbe: Wie treffsicher ist getName.ai und wie gut sind die Attributwerte, die es liefert? Die ehrliche Antwort ist nicht einfach und beginnt, wie so oft, mit „kommt darauf an“. Darauf, was in der Produktbeschreibung steht, auf die Klassifikation, auf die Art des Attributs.

Wir haben uns dieser Frage gestellt. Wir haben einen Test gebaut, der die Qualität so objektiv misst, wie wir es konnten, und stellen ihn jedem zur Prüfung zur Verfügung. Die Beschreibungen, die ideale Antwort, jeden bewerteten Wert und die vollständige Statistik gibt es am Ende des Artikels zum Download, sodass jeder das Ergebnis prüfen oder den Test wiederholen kann. Dies ist die erste Ausgabe des getName.ai Quality Benchmark. Wir werden ihn wiederholen und künftige Ausgaben mit dieser vergleichen.

In der Klassifikation ETIM füllt getName.ai Attribute aus der Produktbeschreibung mit einer Qualität von 93,8 % aus. In Amazon lag die Qualität bei 93,1 %, in Kaufland bei 91,7 %. Das ist das Ergebnis eines Tests mit 100 Produkten aus 17 Kategorien, mit Beschreibungen auf Polnisch, Deutsch und Englisch.

Wir messen die Qualität mit dem F1-Maß, dem Standardmaß für die Bewertung der Informationsextraktion aus Text. Es verbindet die Präzision, also wie viele der von der API eingetragenen Werte stimmen, mit der Abdeckung (Recall), also wie viele der Werte, die sich aus der Beschreibung ergeben, die API eingetragen hat. Eine leere Antwort hat 0 %, eine ideale 100 %.

Eine Qualität von 93,8 % bedeutet nicht, dass 93,8 % der Produktdatensätze ohne Korrektur fertig sind. Sie bedeutet, dass die Antworten der API in diesem Maß mit der idealen Antwort übereinstimmen, wobei ausgelassene und falsch eingetragene Werte zusammen zählen. Der Test misst weder Zeit noch Kosten der Arbeit und vergleicht die API nicht mit einem Menschen.

Im Folgenden erklären wir, warum eine solche Messung schwierig ist, wie wir das Ergebnis berechnet haben, wo die API Fehler macht und wovon die Qualität abhängt.

• Qualität nach Klassifikation: ETIM 93,8 %, Amazon 93,1 %, Kaufland 91,7 %.
• Präzision und Abdeckung liegen nah beieinander: in ETIM 93,9 % und 93,7 %, in Amazon 92,6 % und 93,7 %, in Kaufland 92,0 % und 91,3 %. In ETIM und Kaufland lässt die API einen Wert häufiger aus, als dass sie einen falschen einträgt, in Amazon ist es umgekehrt.
• Werte, die in der Beschreibung ausdrücklich genannt sind, trägt die API mit einer Abdeckung von 96,0 % in Kaufland bis 98,0 % in ETIM ein. Werte, die aus der Beschreibung abgeleitet werden müssen, trägt sie seltener ein (79,7 %). Am häufigsten lässt sie abgeleitete Ja/Nein-Merkmale aus, z. B. dass ein Wasserkocher kabellos ist.
• Die Sprache der Beschreibung spielt eine geringe Rolle: von 92,6 % für Polnisch bis 93,8 % für Englisch.
• Median der Qualität einer einzelnen Antwort: ETIM 95,2 %, Amazon 94,0 %, Kaufland 92,3 %.

Das Ergebnis hängt von der Beschreibung ab, nicht nur von der API. Die API kann nur eintragen, was in der Beschreibung steht. Ein kurzes Angebot in drei Sätzen nennt weniger Merkmale als ein technisches Datenblatt, also kann auch die API daraus weniger eintragen. Würde der Test zählen, wie viele Attribute einer Klasse ausgefüllt wurden, würde er die Beschreibung messen, nicht die API. Deshalb haben wir für jede Beschreibung eine eigene ideale Antwort erstellt, die Referenz: die vollständige Menge der Attributwerte, die sich aus dieser Beschreibung ergeben. Über alle Beschreibungen waren es 7994, und mit ihnen haben wir die Antworten der API verglichen. Wir nennen sie erforderliche Werte: Wenn die Beschreibung sie liefert, sollte die API sie eintragen. „Erforderlich“ bedeutet hier nicht verpflichtend in der Klassifikation oder auf dem Marktplatz.

Nicht alles steht ausdrücklich da. Ein Wasserkocher, der sich „beim Abnehmen vom Sockel abschaltet“, ist kabellos, auch wenn dieses Wort in der Beschreibung nicht vorkommt. Ein einzeln verkauftes Produkt hat die Stückzahl 1. Aber Abmessungen „410 × 230 × 195 mm“ ohne Achsangabe sagen nicht, welche davon die Breite ist. Die Grenze zwischen einer sicheren Ableitung und einer Vermutung haben wir für jeden solchen Wert einzeln gezogen.

Dasselbe Feld bedeutet in verschiedenen Klassifikationen etwas anderes. „Bodenbereich“ ist auf dem polnischen und dem deutschen Amazon die Fläche, die das Produkt einnimmt, auf dem britischen Amazon die Raumfläche, die ein Luftreiniger bedient. Die Bewertung muss die Bedeutung des Feldes kennen, nicht nur seinen Namen.

Die Referenz ist ein Ideal, kein Mensch. Die ideale Antwort haben wir ohne Zeitdruck erstellt und viele Male geprüft. So füllt niemand im Alltag Produktdatensätze aus. Der richtige Vergleichsmaßstab wäre ein Mensch, der dieselbe Arbeit unter realen Bedingungen erledigt: nach mehreren Stunden monotoner Arbeit, mit der Müdigkeit und Ermüdung, die dann kommen, und oft ohne tiefes Wissen über die Branche, aus der das Produkt stammt. Niemand hat behauptet, er würde Attribute mit einer Qualität von 100 % ausfüllen. Eine solche Messung haben wir noch nicht, daher sagt das Ergebnis in diesem Artikel, wie weit die API vom Ideal entfernt ist, nicht vom Menschen.

getName.ai erhält eine Produktbeschreibung und eine Klasse in der gewählten Klassifikation. Es liefert die Werte der Attribute dieser Klasse im Format der Klassifikation: Werte aus der Werteliste, Zahlen in der Einheit des Feldes, Ja/Nein, Bereiche und Text. Der Test betraf genau diesen Schritt. Die Klasse haben wir vorgegeben, die Erkennung der Klasse misst dieser Test also nicht.

Beschreibung und Klassifikation waren immer in derselben Sprache:

Kaufland hat keine englische Version, deshalb gingen die englischen Beschreibungen nur an ETIM und Amazon. Jede Anfrage besteht aus einer Beschreibung und einer Klasse. Der Test umfasste 672 API-Anfragen:

Die Zahl der Produkte ist unterschiedlich, weil wir nur Produkte bewertet haben, zu denen die Klasse sicher passt (mehr dazu in den Regeln der Referenz unten). Die Antworten der API ergaben 10.703 bewertete Positionen, also Werte aus der Referenz und von der API zurückgegebene Werte. Der Median der Dauer eines Aufrufs lag bei 3,2 Sekunden, 90 % der Aufrufe dauerten weniger als 6,5 Sekunden.

Die Anfragen an ETIM und Kaufland haben wir am 24. Oktober 2026 gesendet, die an Amazon am 6. November.

Eine Beschreibung im Stil einer Aufzählung (polnisches Original, übersetzt):

Wasserkocher Bosch DesignLine TWK3P420 – Edelstahl / schwarz, 1,7 l, 2400 W

• Schnelles Kochen dank 2400 W und verdecktem flachem Heizelement – das Innere lässt sich leicht sauber halten
• Fassungsvermögen 1,7 l (Mindestfüllmenge 0,5 l), gut sichtbare Wasserstandsanzeige außen am Gehäuse
• Gehäuse aus gebürstetem Edelstahl mit Anti-Fingerabdruck-Beschichtung, schwarzer Griff und Sockel
• Herausnehmbarer Kalkfilter in der Ausgießtülle – keine Kalkpartikel in der Tasse
• Sicherheit: automatische Abschaltung nach dem Kochen, Abschaltung beim Abnehmen vom Sockel, Trockengehschutz
• Deckel mit Tastenöffnung, breite Öffnung zum Befüllen und Reinigen, Betriebskontrollleuchte
• Ohne Temperaturregelung und ohne Warmhaltefunktion

Technische Daten: Spannung 220–240 V, 50/60 Hz
• Kabellänge 75 cm
• Maße (H × B × T) 27,5 × 21,6 × 15 cm
• Gewicht 1,2 kg

Die ideale Antwort für die Wasserkocher-Klasse in ETIM hat 15 Werte. So fiel der Vergleich mit der Antwort der API auf die polnische Beschreibung aus (ETIM-Merkmale und -Werte auf Deutsch):

Aus diesem Vergleich berechnen wir drei Kennzahlen:

• Treffer: 13, also korrekte Werte;
• Präzision = Treffer / zurückgegebene Werte = 13 / 14 = 92,9 %. Die API hat 14 Werte eingetragen, und einer davon, der Werkstoff des Behälters, ist eine Vermutung;
• Abdeckung = Treffer / erforderliche Werte der Referenz = 13 / 15 = 86,7 %. Die API hat zwei Werte ausgelassen, die sich aus der Beschreibung ergeben;
• Qualität (F1) = 2 × Treffer / (zurückgegebene Werte + erforderliche Werte der Referenz) = 2 × 13 / (14 + 15) = 89,7 %.

Dieselbe Beschreibung in den anderen Klassifikationen (Attributnamen auf Deutsch):

Die Qualität der Antworten für dieses Produkt lag in Amazon bei 93,9 % und in Kaufland bei 86,7 %. Auf Englisch erreichte ETIM 93,3 % und Amazon 93,5 %.

Bewertungskategorien

In einem erforderlichen Feld zählt ein falscher Wert oder eine Vermutung doppelt: als zurückgegebener Wert ohne Treffer und als Referenzwert ohne Treffer. Ein optionaler Wert oder ein Wert außerhalb der Referenz zählt, wenn er korrekt eingetragen ist, weder positiv noch negativ. Eine Vermutung zählen wir wie einen falschen Wert. Sie kann stimmen, aber im Katalog sieht sie aus wie eine Tatsache, und niemand hat sie geprüft.

Eine Liste erhält den Teil eines Treffers, in dem sie mit der Referenz übereinstimmt. Beispiel: Die Referenz hat das Material [Aluminium], die API lieferte [Aluminium, Titan]. Die Hälfte der gelieferten Liste ist korrekt, und die ganze Referenz ist darin enthalten, also beträgt der Treffer 0,67.

Kennzahlen

• Präzision = Treffer / von der API zurückgegebene Werte. Sie sagt, wie viel von dem, was die API eingetragen hat, stimmt.
• Abdeckung = Treffer / erforderliche Werte der Referenz. Sie sagt, wie viel der idealen Antwort die API geliefert hat.
• Qualität = 2 × Treffer / (zurückgegebene Werte + erforderliche Werte der Referenz). Das ist das F1-Maß, also das harmonische Mittel aus Präzision und Abdeckung.

F1 ist das Standardmaß für die Bewertung der Informationsextraktion aus Text und in Tests von Sprachmodellen. So berechnet zum Beispiel SimpleQA sein Ergebnis, ein Test des Faktenwissens von Sprachmodellen von OpenAI. Eine Qualität von 100 % hat nur die ideale Antwort. Eine leere und eine völlig falsche Antwort haben 0 %, und das Ergebnis fällt nie unter null. Raten lohnt sich nicht: Ein Wert, den die Beschreibung nicht liefert, senkt die Präzision und erhöht die Abdeckung nicht.

Das Runden eines Werts auf weniger signifikante Stellen werten wir als korrekt, z. B. 0,353 m als 0,35 m. getName.ai schreibt Zahlen absichtlich so. Im gesamten Test betraf das 16 Werte.

Wer bewertet

• Strukturierte Felder bewertet ein Skript. Es vergleicht Zahlen (mit einer Toleranz von 0,5 %), Ja/Nein-Werte, Bereiche und Werte aus Wertelisten. Hier ist das Ergebnis eindeutig: Der Wert stimmt mit der Referenz überein oder nicht.
• Textfelder und Werte außerhalb der Referenz bewertet ein LLM-Bewerter, das Sprachmodell Claude Opus 5.5 von Anthropic. Der Bewerter sieht die Beschreibung und vergleicht die Bedeutung, nicht den Wortlaut. „Stal szlachetna, czarny“ bedeutet dasselbe wie „Edelstahl / schwarz“. Er darf kein Wissen über das konkrete Produkt nutzen und allgemeines Wissen nur dann, wenn es für jedes Produkt dieser Art gilt. In Amazon erhält der Bewerter zusätzlich Amazons Anleitung für Verkäufer, denn sie bestimmt die Bedeutung des Feldes, nicht der Name allein. Der vollständige Prompt des Bewerters ist in den Downloads.

Jede Fehlerart an einem Beispiel aus dem Test (polnische Beschreibungen, Zitate übersetzt, Attributnamen auf Deutsch).

Fehlender erforderlicher Wert

Die Beschreibung nennt den Wert, und die API hat ihn nicht eingetragen.

Fehlender erforderlicher Wert, abgeleitet

Die Beschreibung nennt den Wert nicht ausdrücklich, er ergibt sich aber sicher aus ihr, und die API hat ihn nicht eingetragen.

Falscher Wert

Die API hat einen Wert eingetragen, der falsch ist oder nicht zur Bedeutung des Attributs passt.

Die Beschreibung nennt Sicherheitsfunktionen, das Attribut betrifft Hinweise. Der Wert stimmt, ist aber in einem Attribut mit anderer Bedeutung gelandet.

Vermutung

Die API hat einen möglichen Wert eingetragen, der sich jedoch nicht sicher aus der Beschreibung ergibt.

Falsches Listenelement

Das Attribut nimmt mehrere Werte aus der Werteliste an, und die API hat zu den korrekten einen falschen hinzugefügt.

Titan nennt die Beschreibung nur bei der Beschichtung, nicht als Material der Pfanne.

Unvollständiger Wert

Die API hat einen Wert eingetragen, der stimmt, aber deutlich unvollständig ist.

Die API hat die Akkutechnik angegeben, aber ohne Spannung und Kapazität.

Wie häufig jede Fehlerart vorkommt

So verteilt sich die Lücke zu 100 % auf die Fehlerarten über alle Klassifikationen:

Die Zahl der Werte und der Anteil an der Lücke gehen nicht Hand in Hand, weil die Fehlerarten unterschiedlich gewichtet sind. Ein falscher Wert in einem erforderlichen Feld zählt doppelt: als zurückgegebener Wert ohne Treffer und als fehlender Referenzwert. Ein unvollständiger Wert zählt nur in einem erforderlichen Feld (81 von 133) und erhält einen halben Treffer, und eine Liste verliert nur den Teil, in dem sie von der Referenz abweicht.

Den größten Teil der Lücke bilden ausgelassene erforderliche Werte. Drei Viertel davon (320 von 440) sind abgeleitete Werte, die die Beschreibung nicht ausdrücklich nennt, am häufigsten in Ja/Nein-Feldern, wie die stufenlose Leistungsregelung bei einem Handrührer mit vier Geschwindigkeiten. Die Stückzahl 1 bei einem einzeln verkauften Produkt trägt die API fast immer ein: Von 849 solchen Feldern in Amazon (Anzahl der Artikel, Einheiten, Packungen und Packungsmenge) hat sie 840 korrekt ausgefüllt.

Vermutungen und falsche Werte trägt die API vor allem in Felder ein, zu denen die Beschreibung nichts sagt oder die wir nicht verlangen: So ist es in 477 von 506 Fällen. Unter den 7994 erforderlichen Werten hat die API in 81 Fällen einen falschen Wert oder eine Vermutung eingetragen, darunter 52 Listen mit einem falschen oder geratenen Element.

Unter den falschen Werten ist am häufigsten ein wahrer Wert, der in ein Feld mit anderer Bedeutung eingetragen wurde, wie im Beispiel mit dem Winkelschleifer: Das betrifft 141 von 212 (die falschen Werte haben wir mithilfe des Modells Claude Mustern zugeordnet). Weitere Beispiele: ein Fassungsvermögen von 75 ml im Feld für die Maße, die grüne Farbe des Laserstrahls als Produktfarbe, die Bildschirmdiagonale in einem Feld, das auf dem britischen Amazon die unterstützten Farben bedeutet.

Dieselbe Beschreibung ergibt in jeder Klassifikation eine andere Menge an Feldern. Die Klassifikationen unterscheiden sich in der Zahl der Felder, ihrem Typ und darin, wie oft ein Wert aus der Beschreibung abgeleitet werden muss, und Kaufland hat keine englischen Beschreibungen erhalten. Die Unterschiede in der Qualität sind daher nicht als Vergleich unter gleichen Bedingungen zu lesen: Jede Klassifikation stellt der API eine andere Aufgabe.

• ETIM ist eine technische Klassifikation. Jedes Feld hat eine genau festgelegte Bedeutung, Einheit oder Werteliste, und Textfelder gibt es überhaupt nicht. Abgeleitete Werte gibt es hier am wenigsten. ETIM verliert am meisten bei Ja/Nein-Feldern, in denen die API Merkmale auslässt, die sich aus der Beschreibung ergeben, und bei Wertelisten, in denen sie manchmal einen typischen Wert wählt, den die Beschreibung nicht nennt.
• Amazon hat die meisten Felder pro Produkt, und mehr als ein Viertel der Werte seiner Referenz ist abgeleitet, am häufigsten die Stückzahl. Solche Werte trägt die API hier am häufigsten ein: Die Abdeckung abgeleiteter Werte liegt in Amazon bei 86,9 %, in Kaufland bei 61,4 % und in ETIM bei 58,8 %. Die Feldnamen sind oft allgemein, ihre Bedeutung legt erst Amazons Anleitung für Verkäufer fest. Ausgelassene erforderliche Werte und Vermutungen machen in Amazon je etwa ein Drittel der Lücke zu 100 % aus.
• Kaufland hat die wenigsten Felder pro Produkt, aber jedes dritte ist ein Textfeld. Textfelder schneiden hier schwächer ab (88,7 %) als strukturierte (93,2 %). Falsche Werte machen hier einen größeren Teil der Lücke zu 100 % aus als in den anderen Klassifikationen, und 46 von 55 davon sind Werte in einem Feld mit anderer Bedeutung, wie „Sicherheitshinweise“, die mit Sicherheitsfunktionen gefüllt wurden.

Die Spalten ETIM, Amazon und Kaufland zeigen die Qualität. Ein Strich bedeutet, dass die Klassifikation keine Felder dieses Typs hat. Die letzten drei Spalten gelten für alle Klassifikationen zusammen.

Der Feldtyp allein ändert wenig. Ausdrücklich genannte Werte trägt die API in jedem Typ mit einer Abdeckung von 93,8 % (Text) bis 100 % (Bereich) ein. Die Unterschiede zwischen den Typen kommen daher, wie oft ein Wert dieses Typs aus der Beschreibung abgeleitet werden muss und wie schwer diese Ableitung ist. Maße, Leistung und Fassungsvermögen nennt die Beschreibung fast immer als Zahl, deshalb schneiden Dezimalzahlen in jeder Klassifikation gut ab. Ganzzahlen sind vor allem Stückzahlen, die eine Beschreibung meist weglässt, weil sie selbstverständlich sind. Fast vier Fünftel davon müssen abgeleitet werden, aber die Ableitung ist einfach: Bei einem einzeln verkauften Produkt ist die Stückzahl 1. Die API trägt sie fast immer ein, deshalb haben Ganzzahlen die höchste Qualität (98,0 %). Ja/Nein-Felder schneiden am schwächsten ab (86,1 %): „ohne Temperaturregelung“ ist ein ausdrücklich genannter Wert, „kabellos“ muss aber aus der Beschreibung des Sockels abgeleitet werden, und solche Schlüsse zieht die API nur in 60,7 % der Fälle.

Fehlerarten nach Feldtyp:

Die Anteile in den Spalten von „korrekt“ bis „unvollständig“ beziehen sich auf die zurückgegebenen Werte, der fehlende erforderliche Wert auf die erforderlichen Werte der Referenz. Die Tabelle umfasst alle Klassifikationen zusammen, eine Tabelle für jede Klassifikation einzeln steht in der Statistikdatei. Eine Mehrfachauswahlliste zählt hier als ein Wert: Von 51 falschen Listen haben 36 ein falsches Element neben korrekten.

• Von der API gelieferte Zahlen sind am zuverlässigsten: etwa 97 % korrekt, wenige Vermutungen und Fehler.
• Ja/Nein-Felder bleiben am häufigsten leer: Die API lässt 17,7 % der erforderlichen Werte aus, in den anderen Typen 1,6 % bis 7,2 %.
• Wertelisten mit einem Wert sind selten falsch (1,5 %), aber öfter geraten (8,5 %). Die API wählt einen typischen Wert, den die Beschreibung nicht nennt.
• Mehrfachauswahllisten sind am seltensten vollständig korrekt (84,7 %), weil schon ein falsches oder fehlendes Element reicht. Eine teilweise getroffene Liste erhält jedoch einen Teil des Treffers, daher schneiden sie in der Qualität gut ab: 92,2 % in Amazon und 94,7 % in Kaufland.
• Im Text ist der unvollständige Wert am häufigsten (5,3 %), und falsche Werte gibt es hier in absoluten Zahlen am meisten (89).

Nach Sprache

Die Unterschiede zwischen den Sprachen sind gering: bis zu 0,9 Prozentpunkte in strukturierten Feldern und bis zu 1,8 Punkte in Textfeldern. Am schwächsten schneiden die Textfelder des polnischen Kaufland ab (87,2 %). Der Vergleich ist nicht ganz gleichwertig, weil englische Beschreibungen nicht an Kaufland gingen.

Nach Produktkategorie

Die höchste Qualität haben Werkzeuge (95,0 %) sowie Garten und Haus und Küche (je 94,5 %). Niedriger liegen Küchenkleingeräte (92,2 %), Spielzeug (91,1 %) und Beauty (90,0 %). Einige Kategorien haben im Test nur 1-4 Produkte, daher betrachten wir ihre Ergebnisse als Richtwerte. Die vollständige Tabelle steht in der Statistikdatei.

Verteilung der Ergebnisse einzelner Antworten

• Kühlschrank, chaotischer Shop-Export. Die Beschreibung nennt drei Fassungsvermögen: Kühlteil 260 l, Gefrierteil 103 l, gesamt 363 l. Die API hat jedes in allen drei Klassifikationen in das richtige Feld eingetragen. Die Maße 203 × 60 × 66,5 cm hat sie für ETIM in Millimeter und für Kaufland in Meter umgerechnet und für Amazon in der Reihenfolge T × B × H angeordnet. Die direkt daneben stehenden Maße und das Gewicht der Verpackung hat sie nicht verwendet.
• Bohrschrauber, Kurzangebot in drei Sätzen. Zwei Gänge 0-500 und 0-1900 U/min landeten in den Feldern für den ersten und zweiten Gang. Bei zwei Akkus mit 3,0 Ah gab die API die Kapazität eines Akkus an (3,0 Ah), nicht die Summe, und ihre Anzahl (2) separat. Der Spannbereich des Bohrfutters 1,5-13 mm landete nicht in den Feldern für den Bohrdurchmesser in Stahl und Holz. Eine Falle hat sie übersehen: In ETIM trug sie 50 Nm in das Feld für den Einstellbereich des Drehmoments ein, obwohl die Beschreibung nur das maximale Drehmoment und 21 Kupplungsstufen nennt.
• Fernseher. Der in kWh pro 1000 Stunden angegebene Energieverbrauch wurde nicht als Jahresverbrauch eingetragen. Die Bildschirmdiagonale von 55 Zoll rechnete die API in 139 cm um.

Zahlen, Einheiten und ausdrücklich genannte Merkmale liest die API sehr genau: Die Abdeckung ausdrücklich genannter Werte liegt zwischen 96,0 % in Kaufland und 98,0 % in ETIM. Die Lücke zu 100 % entsteht vor allem aus drei Dingen, und keines davon besteht darin, dass die API falsch liest, was die Beschreibung ausdrücklich nennt:

• Werte, die sich aus der Beschreibung ergeben, obwohl sie nicht darin stehen, z. B. dass ein Wasserkocher kabellos ist. Die API lässt sie häufiger aus, als dass sie sie falsch einträgt;
• Antworten in Feldern, zu denen die Beschreibung nichts sagt, meist Werte, die für diese Art von Produkt typisch sind;
• die Verwechslung der Bedeutung eines Feldes, z. B. Sicherheitshinweise mit Sicherheitsfunktionen, wo der Attributname allein nicht klar sagt, worum es in dem Feld geht.

An allen drei arbeiten wir.

Was bedeutet das in der Praxis? Im Folgenden unsere Schlussfolgerungen aus den Zahlen in diesem Artikel, nicht das Ergebnis einer eigenen Messung:

• Zahlen aus der Beschreibung trägt die API am zuverlässigsten ein, samt Umrechnung der Einheiten. Von den Zahlen, die sie geliefert hat, sind etwa 97 % korrekt;
• die meiste Aufmerksamkeit brauchen Ja/Nein-Felder und Wertelisten mit einem Wert, in denen die API häufiger rät, sowie Textfelder, deren Bedeutung sich nicht am Namen allein erkennen lässt;
• Merkmale, die für einen Menschen selbstverständlich sind, wie dass ein Wasserkocher kabellos ist, sollte man in die Beschreibung schreiben. Ausdrücklich genannte Werte trägt die API mit einer Abdeckung von 96,0 % bis 98,0 % ein, abgeleitete seltener (79,7 %).

Alle Testdateien stehen zum Download bereit, sodass jeder den Vergleich mit einem Menschen durchführen kann, von dem wir am Anfang schreiben. Wenn Sie ihn durchführen, schreiben Sie uns.

100 echte Produkte (konkrete Marke und konkretes Modell) aus 17 Kategorien eines breiten Marktplatzes. Darunter sind Elektroinstallation und Beleuchtung, Werkzeuge, kleine und große Haushaltsgeräte, Elektronik, Garten, Haustechnik, Haus und Küche, Mode, Beauty, Spielzeug, Sport, Babybedarf, Tierbedarf, Auto und Lebensmittel. Die technischen Daten stammen aus Datenblättern der Hersteller und großer Shops.

5 Beschreibungsstile mit je 20 Produkten, weil Beschreibungen in echten Katalogen sehr unterschiedlich aussehen:

3 Sprachen: Polnisch, Deutsch und Englisch. Jede Beschreibung ist so geschrieben, wie ein lokaler Händler sie schreiben würde, nicht als Übersetzung. Die Fakten sind in allen Sprachen dieselben. Die durchschnittliche Länge einer Beschreibung beträgt etwa 750-800 Zeichen.

Die Beschreibungen haben KI-Agenten nach einer schriftlichen Anleitung auf Grundlage der Quelldaten jedes Produkts erstellt. Dieselben Agenten haben die ideale Antwort zusammengestellt (mehr dazu unten).

409 Fallen. In die Beschreibungen haben wir bewusst Stellen eingebaut, an denen man sich leicht irrt:

• Umrechnung von Einheiten, z. B. Maße in Zentimetern, wenn ETIM Millimeter und Kaufland Meter erwartet;
• Verneinungen, z. B. „ohne Temperaturregelung“ oder „nicht spülmaschinengeeignet“;
• mehrere ähnliche Zahlen auf einmal, z. B. drei Fassungsvermögen eines Kühlschranks oder zwei Gänge einer Bohrmaschine;
• Lockzahlen, z. B. Maße und Gewicht der Verpackung, Garantiezeit oder Lieferzeit;
• ein Bereich, wo das Feld eine einzelne Zahl annimmt;
• Erwähnungen kompatibler Produkte, die kein Merkmal des Produkts selbst sind.

Für jedes Produkt und jede Klassifikation haben wir eine vollständige Liste der Attributwerte erstellt, die sich aus der Beschreibung ergeben. Mit ihr haben wir die Antworten der API verglichen.

Regeln

• Die Referenz enthält nur, was sich aus der Beschreibung ergibt. Wissen über das konkrete Produkt außerhalb der Beschreibung zählt nicht. Wenn die Beschreibung keine Farbe nennt, hat die Referenz keine Farbe, auch wenn wir wissen, welche es ist.
• Ein sicherer Wert gehört in die Referenz, eine Vermutung nicht. Ein Wert muss nicht ausdrücklich in der Beschreibung stehen. Er gehört auch dann in die Referenz, wenn er sich sicher aus der Beschreibung ergibt: aus einer Umrechnung, aus der Art des Produkts (ein Haarglätter macht glattes Haar, eine Steckdosenleiste mit Steckdosen Typ F hat einen Stecker Typ F), aus einem Merkmal, das für jedes Produkt dieser Art gilt (ein Kosmetikum hat ein Mindesthaltbarkeitsdatum), oder daraus, dass das Produkt einzeln verkauft wird (Stückzahl 1). Eine allgemeine Regel gibt es hier nicht, daher haben wir jeden solchen Wert einzeln bewertet. Ein Wert, der nur typisch oder wahrscheinlich ist, z. B. „leicht“, „klassischer Stil“ oder die Annahme, dass eines der nicht bezeichneten Maße die Breite ist, ist eine Vermutung.
• Erforderliche und optionale Werte. Erforderlich sind Werte, die die Beschreibung nennt oder die sich sicher aus ihr ergeben. „Erforderlich“ heißt hier nur, dass die API den Wert eintragen sollte, wenn die Beschreibung ihn liefert. Es geht nicht um Pflichtattribute der Klassifikation. Ein Attribut, zu dem die Beschreibung nichts sagt, hat keinen Wert in der Referenz und beeinflusst das Ergebnis nicht, solange die API es nicht ausfüllt. Optional sind nur allgemeine Felder (z. B. Stil oder eine beschreibende Größe), Felder, bei denen die Beschreibung mehrere Lesarten zulässt (z. B. welcher Code die Produktversion bezeichnet), und ungefähre Entsprechungen in der Werteliste. Ein fehlender optionaler Wert ist kein Fehler.
• Alternative Werte. Wenn es mehrere korrekte Antworten gibt (z. B. 230 V oder ein Bereich 220-240 V), akzeptiert die Referenz jede davon.
• Nur sichere Klassen. Attribute haben wir nur bewertet, wenn die Klasse sicher zum Produkt passt. ETIM umfasst keine Kleidung, kein Spielzeug und keine Lebensmittel, daher haben wir in ETIM 66 Produkte bewertet, in Kaufland 93 und in Amazon 96.
• Der Test misst das Lesen der Beschreibung, nicht die Qualität der Klassifikationen selbst. Wenn die Definition der Klassifikation eine korrekte Antwort erschwerte (z. B. eine Werteliste ohne passenden Wert oder eine unklare Bezeichnung), war das Feld optional.
• Keine Felder für die Suchoptimierung. Die Amazon-Felder für allgemeine Suchbegriffe und Themen-Suchbegriffe sind Formulierungen, nach denen Kunden suchen, keine Merkmale des Produkts. Der Test bewertet sie nicht.

Wie sie entstanden ist

Die Referenz haben KI-Agenten nach einer schriftlichen Anleitung erstellt. Jeder der 10 Autoren-Agenten hat 10 Produkte bearbeitet: Beschreibungen in drei Sprachen und die ideale Antwort für jede Klassifikation. Danach haben 6 andere Agenten, die keine Autoren waren, alles geprüft und 193 Korrekturen vorgenommen. Über Regeln und Streitfälle, z. B. die Grenze zwischen einem sicheren Wert und einer Vermutung, hat ein Mensch entschieden.

Nach der ersten Bewertung durchlief die Referenz noch vier Prüfrunden:

• Lücken. Wenn die API einen Wert lieferte, den die Referenz nicht hatte, und der Bewerter feststellte, dass er sich aus der Beschreibung ergibt, kam der Wert in die Referenz. Nach der ersten Bewertung gab es 675 solche Werte, die meisten davon optional. Dieselbe Prüfung haben wir nach den weiteren Amazon-Durchläufen wiederholt, mit der unten beschriebenen Ausnahme.
• Konsistenz zwischen den Sprachen. Dasselbe Feld desselben Produkts muss in jeder Sprache dieselbe Bewertung erhalten. Jede Abweichung haben wir in der Referenz aufgelöst, statt sie dem Bewerter zu überlassen.
• Bedeutung der Felder laut Amazon. Amazons Anleitungen für Verkäufer haben gezeigt, dass manche Felder etwas anderes bedeuten, als der Name vermuten lässt. „Zusätzliche Markeninformationen“ (Untermarke) umfassen auch eine Lizenz, z. B. Minecraft auf einem Puzzle. Die Amazon-Referenz haben wir Feld für Feld nach diesen Anleitungen und nach den Amazon-Wertelisten in getName.ai vom 27. Oktober 2026 durchgesehen. Zusammen mit den Lücken haben wir 393 Felder in 95 Produkten geändert oder ergänzt, davon 246 neue. In jedem Marktplatz hat ein Feld die Bedeutung aus der Anleitung dieses Marktplatzes.
• Abgeleitete Werte. Werte, die die Beschreibung nicht ausdrücklich nennt, die sich aber aus ihr ergeben, waren zunächst optional. Jeden von ihnen, insgesamt 674, haben wir einzeln darauf geprüft, ob er sich sicher aus der Beschreibung ergibt. 568 sind jetzt erforderlich, 84 haben wir als Vermutungen eingestuft, und 22 sind optional geblieben (allgemeine Felder, Annäherungen in der Werteliste und Listen, in denen nur ein Teil der Elemente sicher ist). Geprüft hat das Modell Claude Opus 5.5 nach Regeln, die ein Mensch festgelegt hat.

• Die Stichprobe reicht für den Vergleich von Klassifikationen und Feldtypen, aber nicht für engere Auswertungen. 100 Produkte und 7994 erforderliche Werte reichen, um Klassifikationen und Attributtypen zu vergleichen. Eine einzelne Produktkategorie hat im Test 1 bis 14 Produkte, daher betrachten wir die Ergebnisse der Kategorien als Richtwerte.
• Die Klasse war vorgegeben. Der Test misst nicht die Erkennung der Klasse, und in der Praxis bedeutet eine falsche Klasse falsche Attribute.
• Die Beschreibungen wurden für den Test geschrieben, auf Grundlage echter Produktdaten. Sie sollen die Vielfalt echter Kataloge abbilden, aber echte Beschreibungen sind manchmal noch kürzer und ärmer.
• Beschreibungen und Referenz haben KI-Agenten unter menschlicher Kontrolle erstellt, und Textfelder bewertet ein LLM-Bewerter. Die Referenz hat eine unabhängige Prüfung und eine Konsistenzkontrolle durchlaufen, kann aber einzelne Fehler enthalten. Deshalb veröffentlichen wir sie vollständig.
• Die Referenz haben wir ergänzt, nachdem wir die Antworten der API gesehen hatten. In der Lückenrunde haben wir Werte hinzugefügt, die die API geliefert hat und die der Bewerter als sich aus der Beschreibung ergebend eingestuft hat (mehr dazu unter „Wie sie entstanden ist“). Wir haben keine separate Stichprobe, für die die Referenz ohne Einblick in die Antworten der API entstanden wäre. Diese Runde wirkte in beide Richtungen: Ein als erforderlich hinzugefügtes Attribut senkt das Ergebnis in den Sprachen, in denen die API es nicht ausgefüllt hat. Abgeleitete Werte haben wir ohne die Antworten der API geprüft.
• Ein LLM-Bewerter ist auch ein Modell. Bei einer erneuten Bewertung derselben Antworten (nach der Präzisierung seiner Anleitung) hat er etwa ein Dutzend von rund 3000 Bewertungen von Textfeldern geändert, vor allem zwischen „unvollständig“ und „korrekt“.
• Ein Durchlauf. Der Haupttest ist ein einziger Durchlauf. Amazon haben wir noch zweimal wiederholt, und in den drei Durchläufen lag die Qualität zwischen 93,0 % und 93,1 % in PL, zwischen 92,7 % und 92,9 % in DE und zwischen 93,4 % und 93,7 % in UK. Für ETIM und Kaufland haben wir keine Wiederholungen gemacht.
• Drei Klassifikationen und drei Sprachen von vielen, die getName.ai unterstützt. Bei anderen Klassifikationen kann das Ergebnis anders ausfallen.

Alles in einem Archiv: pakiet_testowy_getname.zip (1,8 MB). Oder einzeln (Bezeichnungen und Spaltenwerte in den Dateien sind teilweise auf Polnisch):

Spalten der Datei wyniki_atrybuty.csv (Trennzeichen: Semikolon):

Die Qualität einer beliebigen Gruppe von Zeilen ist 2 × Summe hit / (Summe gold_count + Summe returned_count).

So wiederholen Sie den Test

• Nehmen Sie eine Beschreibung aus opisy_<Sprache>.csv und die Klasse aus wzorzec.xlsx für dieselbe Klassifikation (Spalte „klasa“, nur Zeilen mit „klasa pewna“ = „tak“, also sichere Klasse = ja).
• Senden Sie beides an getName.ai und speichern Sie die gelieferten Attribute.
• Vergleichen Sie sie mit dem Referenzwert, den alternativen Werten und dem Feld „erforderlich“ nach den oben beschriebenen Regeln. Textfelder und Werte außerhalb der Referenz bewerten Sie mithilfe von prompt_sedziego.txt, bei Amazon zusammen mit Amazons Anleitung für Verkäufer zum jeweiligen Attribut. Diese Anleitungen legen wir nicht bei, weil es sich um Inhalte von Amazon für Verkäufer handelt.
• Berechnen Sie Präzision, Abdeckung und Qualität nach den Formeln im Abschnitt „Kennzahlen“.

Wenn Sie in der Referenz einen Fehler finden, schreiben Sie uns. Wir korrigieren ihn und berechnen das Ergebnis neu.