In der Marktforschung unterscheiden wir ja grundsätzlich drei Bereiche: Befragung, Beobachtung und Experiment – hier kümmern wir uns mal um das Experiment. Im Alltagssprachgebrauch bedeutet Experiment schlicht: probieren und sehen, was passiert – und in der Marktforschung ist die Definition eines Experimentes nicht so weit davon entfernt. Aber natürlich steckt auch hier der Teufel im Detail. Wie immer. Insbesondere in der Abgrenzung zu einer Beobachtung.
Was soll ein Experiment überhaupt?
In der Marktforschung führen wir grundsätzlich KEIN Experiment einfach nur mal so durch – erstens, weil es aufwändig und teuer ist und zweitens, weil es nichts bringt, irgendetwas zu erforschen, wenn wir nicht wissen, was wir eigentlich wissen wollen.
Einem Experiment geht also immer eine Fragestellung und meistens eine Hypothese oder zumindest eine Zielsetzung voraus (Zielsetzung und Fragestellung sind oftmals identisch).
Eine weitere Anforderung an ein Experiment ist, dass die Ergebnisse in irgend einer sinnvollen Weise für eine Aussage oder eine Schlussfolgerung benutzt werden können. Das wiederum bedeutet, dass die Grundlage, auf der das Experiment basiert, bekannt und reproduzierbar sein muss. Vereinfacht ausgedrückt: ein Experiment muss zwingend in einer kontrollierten Umgebung stattfinden, wobei „kontrolliert“ hier nicht „konstruiert“ bedeuten muss, sondern lediglich bekannt und in einem gewissen Maße beeinflussbar.
Der Sinn dahinter ist einfach zu verstehen: Aus den Ergebnissen eines Experimentes wollen wir erkennen, welche Faktoren zu welchen Veränderungen führen – wir müssen also in der Lage sein, die Rahmenbedingungen in einem Experiment so stabil zu halten, dass wir an einzelnen Parameter drehen können während die anderen stabil bleiben – nur so ist es möglich, zu erkennen, welche Veränderungen welche Reaktionen hervorrufen.
Wissenschaftlich ausgedrückt: Ein Experiment dient der Überprüfung einer Kausalhypothese, wobei eine oder mehrere unabhängige Variable(n) durch den Experimentator bei gleichzeitiger Kontrolle aller anderen Einflussfaktoren variiert werden, um die Wirkung der unabhängigen auf die abhängigen Variablen messen zu können. (Quelle: Hamman, Erichson: Marktforschung, 4. Auflage, S. 180ff).
Unterschied zur Beobachtung
In einem Experiment werden einzelne Rahmenbedingungen verändert, um deren Einfluss zu erfahren. In einer Beobachtung finden diese Veränderungen nicht statt, hier wird einfach nur beobachtet, wie sich eine Personengruppe in einer bestimmten (unveränderlichen) Situation benimmt.
Wir unterscheiden generell zwischen
- Feldexperiment
- Laborexperiment
Feldexperiment
Diese Form findet „im Markt“ statt – also unter möglichst realen Bedingungen, die den Teilnehmer des Experimentes nicht beeinflussen, so dass er sich möglichst vollkommen „natürlich“ verhält. Dabei kann das Experiment auf verschiedene Arten überprüft werden: durch reine Messung, durch Beobachtung oder auch durch eine Befragung NACH dem Experiment.
Aus ethischer Sicht taucht bei Feld-Experimenten immer wieder die Frage auf, ob die Probanden (die ja unbewusst an einem Experiment teilgenommen hatten) zumindest im Nachhinein informiert werden müssen um die Möglichkeit zu erhalten, dass die Beobachtungen (und damit die Daten) gelöscht werden – Datenschutz, Persönlichkeitsrechte, Sie verstehen… Die Meinungen sind geteilt.
Beispiel
Wir wollen herausfinden, ob die Farbe bei CtA-Buttons auf einer Webseite einen Einfluss auf die Konversionsrate hat. Dazu brauchen wir erst eine Grundhypothese, welche da lautet: Die Farbe der Call-to-Actions HAT einen Einfluss auf die Konversionsrate (Man kann die Hypothese auch negativ formulieren, ist aber doof).
Dann brauchen wir mindestens zwei Farben – nehmen wir mal rot und grün.
Wir brauchen einen experimentellen Aufbau, der von Nutzern nicht als solcher erkannt werden kann (hier lesen sie sinnvollerweise mal unter „biotisch“ nach) – also bauen wir zwei identische Webseiten, die sich lediglich in der Farbe der Call-to-Action-Elemente unterscheiden: auf der einen Webseite sind sie grün, auf der anderen rot – ist jetzt nicht so schwierig zu begreifen. Dann schalten wir die beiden Webseiten live und steuern die Auslieferung so, dass random-mäßig mal die eine oder andere Version dargestellt wird – und zwar jeweils zu 50%. Und dann messen wir die Ergebnisse und können unsere Hypothese überprüfen (verifzieren). Folgende Ergebnisse sind möglich:
- Die Konversionsrate ist bei beiden Varianten gleich (im Rahmen der statistischen Wahrscheinlichkeit, die Ergebnisse unterscheiden sich also nicht signifikant voneinander)
- Die Konversionsrate der beiden Varianten unterscheiden sich signifikant voneinander.
Daraus ziehen wir dann unsere Schlussfolgerungen – im aktuellen Fall würde mit hoher Wahrscheinlichkeit sichtbar werden, dass grüne Call-to-Action-Felder eine signifikant höher Konversionsrate nach sich ziehen als rote Felder.
Laborexperiment
Bei dieser Form des Experimentes fällt ein Faktor weg: nämlich der, dass sich die Teilnehmer vollkommen unbeobachtet fühlen, Laborexperimente sind also grundsätzlich niemals Voll-Biotisch. Niemals. Gar nie! Ganz egal, wer Ihnen das erzählt: Er lügt! Ist ja auch klar, wer in ein Labor geht, der weiß schon, dass irgendwas geprüft wird. Nur halt nicht zwingend was. Ein Laborexperiment hat also eine deutlich höhere „Basiskontrolle“ – man nennt das deshalb auch „unter kontrollierten Bedingungen“. Alle Teilnehmer haben die exakt gleiche Ausgangslage: Situation, Ort, Licht. Das mag die Teilnehmer beeinflussen, aber da die Rahmenbedingungen für alle gleich ist, ist diese Beeinflussung zumindest kalkulierbar, damit berechenbar und – weil es so schön ist mit den gedanklichen Ableitungen: Es entsteht zumindest diesbezüglich kein systematischer Fehler.
Beispiel:
Wir wollen feststellen, welcher Zuckergehalt in einer neuen Marmelade der Zielgruppe am besten schmeckt. Dazu brauchen wir ein paar Produkte – der Einfachheit halber drei Marmeladen mit unterschiedlichem Zuckergehalt: niedrig, mittel, hoch.
Dann brauchen wir ein Labor, heißt einen Raum, in welchem sich die Teilnehmer am Experiment ungestört von anderen Einflüssen um die Marmelade kümmern können – wir brauchen dazu auch für alle Teilnehmer die gleichen Rahmenbedingungen: gleiche Temperatur, gleiches Licht, gleiche Löffel, gleiches Brot etc. – und natürlich dürfen sich die Teilnehmer während des Experimentes nicht miteinander unterhalten oder sonst wie kommunizieren.
Dann lassen wir die Teilnehmer die Marmeladen ausprobieren – die sind natürlich nicht mit dem Zuckergehalt beschriftet, sondern höchstens mit A, B oder C – und am besten so, dass der Teilnehmer die Kennzeichnung nicht erkennen kann. Die Fragestellung lautet: „Welche Marmelade schmeckt Ihnen am besten? Bitte stellen Sie Ihren Favoriten auf das grüne Feld auf dem Tisch“.
Und dann warten wir – am Schluss betrachten wir das Ergebnis und können im Idealfall feststellen, ob eines unserer Produkte besonders oft als bestes gewählt wurde. Folgende Ergebnisse sind möglich:
- Ein Produkt sticht in der Beliebtheit deutlich (= signifikant) heraus (ob positiv oder negativ)
- Kein Produkt sticht signifikant heraus
Die beiden Formen des Experimentes unterscheiden sich vor allem in den Bereichen der externen und internen Validität.