Vergleiche sind nicht vergleichbar

Top 10, Praxistests, Bestenlisten und vergleichende Bewertungen haben Konjunktur. Der Kunde soll zum Kauf animiert und vorher beraten werden. In allen Fachzeitschriften werden laufend Vergleichstests und Produktbewertungen durchgeführt. Auch in jeder Computerzeitschrift sind sie zu finden. ComputerBild beispielsweise führt in der aktuellen Ausgabe 1/2004 unter dem Stichwort 'Einkaufsführer' eine Bestenliste, in der mindestens 1.300 Produkte in ungefähr 200 Kategorien aufgeführt werden. Was sind solche Bestenlisten wert?

Für die Digitalcameras am Ende des Jahres 2003 werden hier solche Bewertungen beispielhaft zusammengestellt (in Ausschnitten, s.u.). Die Auswahl ist zufällig und nicht repräsentativ, das Ergebnis aber ist eindeutig: Jede Zeitschrift stellt eine andere Camera auf das Siegerpodest, keine Bestenliste stimmt auch nur annähernd mit der der Konkurrenz überein. Der Kunde wird von selbst ernannten Fachleuten beraten, aber wehe, er testet die Bewertungen und Vergleiche: Sie sind nicht vergleichbar weil es sich in allen Fällen nicht um objektive Messungen, sondern um subjektive Bewertungen handelt. Urteilen Sie selbst:

CHIP

Januar 2004 (22.12.03)

Februar 2004 (25.01.04)

BESTENLISTE PC PPROFESSIONELL Nr. 1 Dezember 2003

PC-WELT
Mehr Fehler kann man kaum machen ...!

12/2003

ComputerBILD

1/2004

2/2004

AudioVideoFoto-BILD

2/2004

3/2004

fotoMagazin 1/2004
Ultrakompaktkameras im Praxisvergleich

PCgo 1/04

Guter Rat Computer Nr. 04/2003

Originaler Text: * Die Tabelle zeigt alle aktuellen Kameras, die im Testlabor geprüft wurden (32)

Digital.WORLD 1/04 - Dezember/Jan/Feb

TOP 10
der methodischen Fehler

Bestenlisten, Punktbewertungen, Rangfolgen, Vergleiche und Tests sind prinzipiell subjektiv. Sie sind grundsätzlich nicht zu objektivieren. Das gilt generell und für alle Produkte! Zusätzlich werden solche Bewertungen durch gravierende methodische Fehler als Entscheidungshilfen unbrauchbar, irreführend und damit sogar kontraproduktiv.

Das sind die häufigsten methodischen Fehler:

1. Das zu bewertende Produkt ist nicht eindeutig definiert, klassifiziert und/oder spezifiziert.
2. Das Testfeld der Produkte ist nicht repräsentativ, weil unvollständig oder willkürlich ausgewählt.
3. Die Bewertungskriterien sind nicht repräsentativ und/oder nicht eindeutig definiert.
4. Das Gesamtergebnis wird unter einem speziellen Blickwinkel noch einmal bewertet.
5. Bei den Bewertungskriterien wird nicht zwischen subjektiven und objektiven Kriterien unterschieden, sie werden nicht sorgfältig und möglichst objektiv ermittelt.
6. Bei Punkt- oder Prozentbewertungen ist die Referenzeigenschaft (100 %, 10 Punkte) nicht repräsentativ, nicht eindeutig und/oder gar nicht definiert.
7. Ohne erkennbaren Grund existieren sehr grosse Unterschiede in aufeinander folgenden ( z.B. monatlichen) Listen.
8. Die Bewertungskriterien werden gegeneinander willkürlich gewichtet.
9. Die Zuordnung von Punkten/Prozenten zu ermittelten Testergebnissen ist undurchsichtig.
10. Gute Produkte werden nicht mehr berücksichtigt, weil sie nicht mehr aktuell sind.

Beispiele für solche Fehler bei der Bewertung von Digitalcameras

1. 'Digitalcamera' statt 'Digitalcamera, kompakt mit fünf Megapixel und dreifach Zoom'
2. 'Aktuelle Digitalcameras' statt 'Alle derzeitig angebotenen kompakten Digitalcameras mit fünf Megapixel und dreifach Zoom'
3. Was bedeutet das Kriterium 'Belichtungssystem' und welche Wertigkeit besitzt es?
4. Nach der Punktbewertung wird das Gesamtergebnis noch einmal, beispielsweise unter den Gesichtspunkten Preis-Leistungsverhältnis, Design oder Qualität (des Bildes, der Verarbeitung oder ...?) bewertet. Solche Bewertungskriterien sind sehr schwierig oder überhaupt nicht allgemeingültig zu definieren, das Testergebnis ist exotisch.
5. Die Auflösung *) ist eindeutig messbar (Pixel in x,y), wird aber in Prozent angegeben (PC-Welt). Wie wird das Belichtungssystem (objektiv und subjektiv) untersucht und dann bewertet?
6. Wie ist beispielsweise 'Bildqualität 100 %' definiert? (ein Dissertationsthema). Wann wird bei subjektiven Kriterien (Design, Ergonomie, Service ...) die maximale Punktzahl vergeben?
7. Ein Schulbeispiel bei PC-Welt (s.o.): Man beobachte beispielsweise die Position von Casio QV-5700, HP PhotoSmart 435 und Nikon Coolpix 4300 in den Top 10. Da kann man auch würfeln ...!
8. Welche Wertigkeit besitzt beispielsweise der Preis im Vergleich zur Bildqualität? Da es sich um Äpfel und Birnen handelt, sind Preis und Bildqualität objektiv miteinander nicht vergleichbar. Bei einer Bewertung aber müssen Äpfel mit Birnen und die mit Pflaumen verglichen werden. **)
9. Nach welcher Bewertungsfunktion erhält beispielsweise die Farbtreue 6,2 oder 8,4 Punkte?! Das verwirrende Ergebnis: Bei zwei Bild-Zeitungen findet sich nicht eine der 10 Cameras in der anderen Liste wieder (s.o.)!
10. Das Problem der 'ewigen Bestenliste': Zum Beispiel ist die Canon PowerShot G5 ein Spitzenprodukt und seit einem Jahr auf dem Markt. Es ist sehr verdächtig, wenn diese Camera unter den Top 10 ihrer Klasse nicht mehr auftaucht. ... nützlicher Tipp: Gerade über solche 'Auslaufmodelle' kommt man preiswert an eine wirklich gute Camera!

*) Auflösung wird auch als 'Detailgenauigkeit' oder 'optimal druckbare Grösse ohne Qualitätsverlust' definiert.
Objektiv zu messen sind nur Pixel x,y. Gleiche Probleme bei Bildqualität, Schärfe, Farbtreue, Kontrast ... s. Punkt 6.

**) Einen guten Ausweg bietet CHIP, denn dort kann man im Testcenter und auf der CD unter TOP HARDWARE INTERACTIVE die Gewichtung der einzelnen Bewertungskriterien nach seinem subjektiven Urteil verändern. Das löst zwar das prinzipielle Bewertungsproblem nicht, ermöglicht aber in Grenzen eine individuelle Anpassung.

Hier wurden als Beispiele Digitalcameras untersucht. Digitalcameras sind kein Sonderfall. Alle diese Fehler treten bei ausnahmslos allen Produkten auf: Von Autos über Geldanlagen bis zu Virenschutzprogrammen und Zylinderstiften ...!

Nachfrage und Bestseller

Nachfragestatistiken und Bestseller-Listen besitzen im Gegensatz zu Produktbewertungen objektiven Charakter. Voraussetzung ist allerdings, dass bei der Erhebung und Auswertung der statistischen Daten keine wesentlichen Fehler gemacht wurden.

Kaum ein Verbraucher aber scheint zu wissen, dass solche Listen nichts über die Qualität des Produkts aussagen. Das beste Beispiel sind Bestseller Listen: Daraus kann man zwar erkennen, dass Harry Potter im Jahr 2003 'mega in' war. Ob es sich aber bei diesen Büchern um Literatur oder gar Weltliteratur handelt, ist nur durch (subjektive !!) Bewertung zu entscheiden.

Nachfragehäufigkeit - Stand 26.12.2003

Bestseller Listen - AudioVideoFoto-Bild 2 /08.01.2004

Bestseller Listen - DER SPIEGEL, Nr. 1 /29.12.2003

Ein Facit

Bei Bestenlisten, TOP 10 und Vergleichstests ist generell VORSICHT geboten. Sie sind immer subjektiv und prinzipiell nicht zu objektivieren. Für eine Kaufentscheidung sind solche Produktbewertungen vielleicht notwendig, aber keinesfalls hinreichend.

In erster Linie ist entscheidend, dass der Kunde eine klare Vorstellung davon hat, was das anvisierte Produkt für Eigenschaften haben soll. Der Verbraucher muss wissen, was er will, sonst wird er (gerade) durch solche Produktbewertungen manipuliert. Produktbewertungen dienen natürlich auch der Werbung. Firmen werden auf die Produktbewertung Einfluss nehmen, wo immer das möglich ist. Auch diesen Aspekt sollte man immer im Hinterkopf haben: Pseudowissenschaftliche Aussagen und die Meinung vorgeblicher Experten eignen sich hervorragend zur Beeinflussung der Kaufentscheidung.

Das geringste Risiko liegt bei Tests, die sich auf die Ermittlung objektiven Messwerte beschränken und sich mit Bewertungen zurückhalten. So sind die Tests seriöser Fachzeitschriften aufgebaut, beispielsweise die des Magazins für Computertechnik, c't, oder des fotoMAGAZINs. Berücksichtigt man ausserdem die TOP 10 der möglichen Fehler (s.o.), kann man die Glaubwürdigkeit einer Produktbewertung gut abschätzen.

Ein Jahr später ... 06. Dezember 2004

Hat sich nach einem Jahr etwas geändert? Nein. Generell sind keine Verbesserungen erkennbar, die damaligen Fehler sind heute immer noch zu beobachten. Das ist kaum verwunderlich, denn hinter solchen Fehlern stecken nicht selten handfeste, wirtschaftliche Interessen. Mehr ...

Es kann nur wiederholt zur Vorsicht beim Umgang mit Top 10 und Bestenlisten gewarnt werden. Bilden Sie sich selber ein Urteil und verlassen Sie sich nicht auf angebliche Experten! Im Besonderen sind die Bewertungen der PC-WELT in Zweifel zu ziehen. Mir ist völlig schleierhaft, wie sie zustande kommen, denn die methodischen Erläuterungen und die tatsächlichen Ergebnisse haben nichts miteinander zu tun. Der Kunde wird in die Irre geführt ... vorsichtig ausgedrückt.