Ich verwette den kleinen Finger meiner linken Hand, dass eine signifikante Anzahl derer, die diesen Text lesen, an einer Prüfung gefragt wurden oder noch werden: Was ist eigentlich Signifikanz. Und ich verwette einen zweiten Finger, dass ein signifikanter Anteil der Befragten darauf keine vernünftige Antwort geben konnte – und wahrscheinlich trotz dieses Textes auch nicht geben wird.
Nun denn – versuchen wir dennoch, dem Begriff mal auf den Grund zu gehen. Was ist Signifikanz? (Zu den anderen Begriffen wie Signifikanz-Niveau etc. kommen wir dann auch noch, lieber klein anfangen).
Signifikanz als Begriff
Signifikanz stammt von Lateinischen „significantia“ und bedeutet „Deutlichkeit“. Wir sollten genau diesen Begriff verwenden, um uns langsam und aus dem Hinterhalt an die Bedeutung und Aussage in der Statistik heranzuschleichen: Deutlichkeit. „Signifikanz“ bedeutet also für uns im Marketing bzw. der Marketingstatistik im Prinzip nichts anderes als „deutlich“. Meistens brauchen wir das, um Unterschiede zu qualifizieren: „Sind Unterschiede signifikan?“ heisst also „Gibt es zwischen diesen (beiden) Messwerten einen deutlichen Unterschied?“. Bingo! Nur – definiere „deutlich“. Wir stehen wieder am Anfang.
Ein Unterschied ist dann als deutlich zu bezeichnen, wenn zwei (oder mehrere) Werte sich nicht zufällig voneinander unterscheiden, sondern aufgrund einer Hypothese bzw. einer Handlung, Vorgabe oder etwas Ähnlichem. Alleine zwei Werte zu betrachten und zu fragen, ob diese sich signifikant voneinander unterscheiden, ist Schwachsinn – auf so eine blöde (und falsche) Frage kann man gar keine Antwort geben.
Ein Ergebnis gilt im Allgemeinen dann als signifikant, wenn die Wahrscheinlichkeit, dass die Ungleichheit rein zufällig ist ohne einen wahren Unterschied, höchstens 5% beträgt, was mit dem Ausdruck p≤0,05 angegeben wird.
(Anmerkung: dieses 5%-Level hat natürlich überhaupt keinen tieferen Sinn, ist eigentlich völliger Quatsch, wir kommen noch drauf – es ist willkürlich festgelegt, hat sich aber als international akzeptierte Konvention durchgesetzt. Das macht es aber nicht richtiger).
Signifikanz ist in der Statistik die heilige Kuh der Beweisführung – und wie alle heiligen Kühe wird da etwas angebetet, was schlicht nicht anbetungswürdig ist. Jeder Wissenschaftler, jeder Marketer wirft mit dem Begriff der Signifikanz um sich, um seinen erhobenen Werten in den Adelsstand der Richtigkeit und Wahrheit zu erheben.
Signifikanz hat übrigens auch nichts mit Relevanz zu tun – dazu mehr unter Scheinkausalitäten.
Bleibt zu sagen, dass Signifikanz überbewertet ist oder ihr Sinn zumindest tiefer analysiert werden muss – vor allem in Anbetracht der 5%-Regel, denn das bedeutet ja nichts anderes, als dass ein 5%iges Risiko für falsch positive Ergebnisse akzeptiert werden (man nennt dies auch: Fehler erster Art). Das entspricht dem Feuermelder, der Alarm schlägt, auch wenn es gar nicht brennt…