Was ist eigentlich Crowdtesting? „The crowd“ bedeutet zu Deutsch „die Menschenmenge“. Crowdtesting bezeichnet das Betatesten von Soft- und Hardware mit Hilfe einer Masse von Testenden, die wiederum ihre Testergebnisse veröffentlichen. Im Zusammenhang mit Crowdtesting wird auch oft der Begriff „Feldtests“ (Technical Fieldtrials) verwendet.
Warum ist Crowdtesting ein so wichtiger Teil einer Firmware-Zertifizierung von Kabelmodems
Crowdtesting ist unerlässlich, weil es den Blick von einem künstlichen Test-Szenario auf eine echte Kund*innen-Umgebung im „Livenetz“ erweitert. Die Vielfalt von Geräte-Konstellationen bei der Kundschaft kann im Labor nicht zu 100% abgebildet werden. Das Abarbeiten von Test-Cases und die daraus folgenden Laborergebnisse können nur bedingt Aufschluss über die Fehlerhäufigkeit im echten Benutzungsalltag (real user scenario) geben.
Heutzutage wird Crowdtesting sehr gerne als unterstützendes Element für die Firmware-Zertifizierung von Kund*innen-Modems eingesetzt. Oftmals wird das Crowdtesting am Ende der Zertifizierungsphase aufgesetzt. Bevor man den endgültigen Rollout der neuen Software startet, wird ein sog. Friendly User Test (FUT) mit der finalen Software-Version ausgerollt. Friendly User sind in der Regel Testende, die aus dem Arbeitsumfeld gewonnen werden (Mitarbeitende, Familienangehörige etc.). Alternativ zum FUT wird auch in limitierter Form auf die Kundschaft ausgerollt. Beide Verfahren besitzen ein letztes mögliches Rettungsanker, denn falls Probleme im Live mit der neuen Software auftreten, kann man immer noch in dieser Phase den finalen Rollout stoppen! Der Nachteil hiervon ist, dass der Testzyklus wieder von vorne startet. Das verbrennt unnötig Geld und verzögert den Launch-Termin.
Eine Alternative ist, das Crowdtesting bereits im frühen Test-Prozess zu starten; nämlich möglichst am Anfang der Zertifizierungsphase eine Beta-Version an die Testenden auszuspielen. Die Anwender*innen testen die neue Software auf ihren eigenen Geräten in alltäglichen Nutzungssituationen. Es gibt zwei Möglichkeiten der Rückmeldung: (1) Alles was negativ auffällt, wird an den/die Entwickler*in oder TK-Anbieter*in, z. B. über eine Kund*innen-Plattform rückgemeldet. (2) Alternativ kann man auch Feedback über Fragekataloge einholen. In beiden Fällen werden die Testergebnisse sofort von den Softwareentwickler*innen aufgenommen und in den nächsten Software-Drop integriert. Das Verfahren wiederholt sich so oft, bis eine finale Software-Version entwickelt ist, die keinerlei Probleme mehr im Netz verursacht. Wichtig ist, dass bei Start des Crowdtestings die ausgespielte Test-Version in Hinblick auf Internet und Telefonie funktioniert, da sonst die Testenden eingeschränkte Dienste haben. Das führt zu Unmut und muss unbedingt verhindert werden. An dieser Stelle sind im Vorfeld ein gewisser Grad an Labor-Tests unumgänglich.
Warum testen Kunden und Kundinnen Beta-Versionen?
Für bestimmte testende Gruppen ist es sehr positiv, wenn sie über ihre TK-Anbieter*innen neue Upgrades testen dürfen. Wenn sich hinter den Upgrades auch noch neue Produkte und Features verbergen, ist das Testen für diese Gruppen noch interessanter. Alternativ könnte man auch Testende bezahlen – das ist durchaus üblich. Die Bezahl-Methode ist dann interessant, wenn die zu testende Software keine Neuheiten enthält, z. B. nur reines Bugfixing (Beseitigung von Softwarefehlern).
Das Betreiben von Crowdtesting
Um den eigenen Aufwand gering zu halten, empfiehlt es sich das Crowdtesting auszusourcen. Anbieter*innen betreiben in der Regel eine professionelle Plattform, worüber sämtliche organisatorische Themen abgewickelt werden. Es können ohne Probleme Tausende von Testenden betreut werden. Typische Dienstleistungen sind z. B. das Registrieren auf der Plattform, die komplette Kommunikation zu den Testenden sowie die gesamte Abwicklung der Testzyklen. Falls Fragebogen und statistische Auswertungen verlangt werden, können auch diese geliefert werden. Ganz wichtig sind auch die AGB’s der TK-Anbieter*innen. Die Testenden müssen beim Registrieren den AGB’s zustimmen, somit verhindert man, dass ungewollte Informationen an die Öffentlichkeit kommen.
Eigene Erfahrung mit Crowdtesting – Mehr Mut für Crowdtesting mit End-Consumer-Geräten!
Meine Erfahrung hat gezeigt, dass ein Großteil im Live getestet werden kann. Die Voraussetzung ist eine gutbetreute Plattform, neugierige Testende und ein/e Device-Hersteller*in, der/die bereit ist über diesen Weg die Firmware zu zertifizieren! Das Ergebnis war absolut zufriedenstellend. Die ausgerollte Firmware zeigte keinerlei Probleme im Massen-Rollout (ca. 500.000 Kund*innen). Wichtig ist auch zu erwähnen, dass so gut wie keine Testenden abgesprungen sind – ganz im Gegenteil, der/die TK-Anbieter*in bekam jede Menge Lob/Anerkennung, weil Kund*innen als Testende an einem neuen Firmware-Rollout beteiligt waren.