Wie eine NetApp Prüfung entsteht: Aus Sicht eines SME

Von | 5. September 2018

Kapitel 1: Wie alles begann

Mir wurde letzten Monat die Ehre zu teil, für NetApp bzw die NetApp University an der Entwicklung einer neuen Examens-Prüfung teilzunehmen.

Jemand bei NetApp hat mich wohl ausgewählt, dass ich die perfekte Besetzung für diesen Job bin. Denn man kommt dort nur auf explizite Einladung hin und kann sich dafür nicht bewerben. Zustande gekommen ist das ganze über meine Mitgliedschaft im NetApp United Programm, dem ich seit 2017 angehöre. Die verantwortliche Managerin Petya Stefanova (@PetyStefanova) hatte mich an einem Freitag Morgen angeschrieben, ob ich Lust hätte an „einem Workshop in den U.S.A.“ teilzunehmen. Stattfinden sollte das Ganze in Durham North Carolina im Research Technology Park von NetApp.

Nachdem der erste Schock verdaut war, habe ich sofort meinen Chef angerufen und um Erlaubnis gefragt daran teilzunehmen. Was soll ich sagen? Ein so schnelles „Go go go“ hab ich noch nie bekommen.

Am Montag darauf kam dann die große Überraschung. Es gehe nicht nach Durham, sondern direkt ins Hauptquartier von NetApp im Silicon Valley und übrigens „du entwickelst da eine neue Prüfung für die NetApp University, bekommst danach den Titel für die Prüfung, die du entwickelt hast, den Titel des Subject Matter Expert und NetApp zahlt alles.“ Wow!

Ich zitiere: „The SME’s are documented experts with at least 2 years experience performing the job role.  As a reward for their participation a badge is presented to individuals who have demonstrated NetApp subject matter expertise through their participation in the development of either a technical accreditation, certification or training material.“

Kapitel 2: Die Reise ins Silicon Valley

Und zack, schon hatte ich Stress. Ich war noch nie ausserhalb Europas und eine Reise in die U.S.A. war schon immer ein großer Traum von mir. Da es schon in zwei Wochen losgehen sollte hatte ich das Problem, dass ich keinen Reisepass habe. Durchschnittliche Dauer für so einen Reisepass ist 6-8 Wochen. Es gibt aber auch eine Express Option, mit der ihr einen vollwertigen Reisepass innerhalb von 4 Werktagen bekommt. Das lässt sich die Stadt mit 92€ fürstlich bezahlen. 

Dann noch schnell das ESTA Formular für die Einreise in die U.S.A. online ausgefüllt (Nein ich bin wirklich kein Terrorist, nein ich will keine Drogen in den U.S.A. verkaufen, etc.) und nach einer Stunde kam das Approval, dass ich einreisen darf.

Binnen eines Tages hatte NetApp dann für mich die Flüge gebucht, das Hotel Reserviert und einen Mietwagen bestellt. Kein Gemecker, kein Rumdrucksen, einfach machen und fertig. Beeindruckend!

Zu meinem großen Glück war ich nicht alleine auf meiner Reise. NetApp United Mitglied Stefan Assler (@Data_Stefan) aus der Schweiz war ebenfalls mit von der Partie. So konnten wir uns gut abstimmen welchen Flug wir nehmen und uns auch einen Mietwagen teilen.

Kapitel 3: Der erste Tag im Silicon Valley

Da wir schon am Samstag vor dem Workshop in San Francisco angekommen sind hatten wir noch ein Bisschen Zeit für Sightseeing. Was im Fall von IT-lern das Posen vor den Silicon Valley Konzernen bedeutet 😉

Kapitel 4: Der Item Development Workshop

Zur Entwicklung einer Prüfung bei NetApp werden sogenannte Item Development Workshops (IDW) durchgeführt. In unserem IDW waren wir 13 SMEs die an den Fragen arbeiten sollten. Dabei war stets zu beachten, dass immer mindestens 6 SMEs im Raum sein mussten, wenn es darum ging eine Frage zu genehmigen. 

Dadurch wird der ganze Prozess juristisch nicht anfechtbar bzw. es wird vermieden, dass sich zwei SMEs einmal tief in die Augen schauen und sagen: „Jo das passt so!“ und die Antworten sind fachlich nicht korrekt.

Kapitel 4.1: Der erste Tag

Der erste Tag begann, wie so oft üblich, mit einer Vorstellungsrunde. Danach wurde uns erklärt wie wir Fragen zu schreiben haben. Die Vorgehensweise sah dabei wie folgt aus:

Kongruent bedeutet in dem Fall, ob die Frage „geradlinig“ ist. Also zum Thema der Prüfung passt.

Ist die Frage relevant für die Prüfung oder wird nach Schwachsinn gefragt?

3-Foot-Fence bedeutet in dem Fall, kann der Prüfling die Frage nach kurzem nachdenken beantworten oder ist es ein 1-Foot-Fence wo der Prüfling auf die Frage schaut und sofort die richtige Antwort erkennt ohne die Frage zu lesen. Ein 5-Foot-Fence wäre dann entsprechend eine Frage, die nur sehr schwer zu beantworten ist.

Distraktoren sind in dem Fall die falschen Antworten. Diese müssen so gestaltet sein, dass man nicht sofort erkennt, dass dies die falschen Antworten sind. Frage ich beispielsweise nach einem Netzwerk Thema und zwei der Antworten sind „Ernie“ & „Bert“, dann sind das KEINE plausiblen Distraktoren.

Bevor uns die richtigen Antworten gezeigt wurden, mussten wir selbst die Frage beantworten.

Alle SMEs diskutieren gemeinsam die Frage und die Antworten.

Sechs einfache Punkte für jede Frage. Das sollte zu schaffen sein. Jeder von uns sollte 12 Fragen aus verschiedenen Themengebieten entwickeln. Da es sich um die Prüfung zum NetApp Certified Hybrid Cloud Administrator (NCHCA) handelt war das Themenspektrum entsprechend groß.

Für jeden Themenbereich gab es entsprechende Vorgaben wie viele Fragen vom Typ „reason“ und wie viele Fragen vom Typ „recall“ sein müssen. Für den Typ „reason“ mussten wir Szenarien entwickeln und der Prüfling muss aus dem Szenario heraus die richtige Lösung zu einer Fragestellung finden.

Für den Fragentyp „recall“ konnten wir Fragen nach dem Schema „Was von den aufgeführten Punkten ist richtig“ entwickeln.

Um uns ständig vor Augen zu führen, für welchen Skilllevel wir die Prüfung entwickeln prangte diese Zeichnung am Whiteboard:

Der gesamte Workshop wurde von einem sogenannten Psychometriker geleitet. Psychometriker sind Menschen, die ein besonderes Augenmerk auf die psychologische Betrachtungsweise einer Prüfung haben. Wie nimmt der Prüfling die Fragen wahr? Kann der Prüfling anhand der Schreibweise die richtige Antwort zu schnell erkennen? Ist der Satzbau zu komplex? Und vieles mehr.

Kapitel 4.2: Der zweite Tag

Am zweiten Tag haben wir durchgehend Fragen geschrieben, diese mit den anderen Kollegen diskutiert, korrigiert und gegebenenfalls wieder neu geschrieben. Also nicht wirklich spannend. Dafür aber anstrengend. 

Eine kleine Besonderheit gab es in diesem Workshop.
NetApp baut seine akademischen Allianzen aus und hatte aus diesen Grund Dr. Ann Beheler vom National Convergence Technology Center eingeladen, um sich die Entwicklung einer Prüfung mit anzuschauen. 

Für mich war sie eine große Hilfe bei Rechtschreibfragen 😉 Danke Ann.

Kapitel 4.3: Der dritte Tag

Am dritten Tag ging es ans Eingemachte. Jede der bisher 174 Fragen wurde vom Psychometriker auf die Leinwand geworfen und auf die sechs Kriterien Kongruenz, Relevanz, 3-Foot-Fence, plausible Distraktoren, beantworte die Frage und diskutiert die Frage mit der gesamten Gruppe geprüft. 

Die Herausforderung dabei: Für jede Frage hatten wir nur 3 Minuten Zeit. Konnte in den 3 Minuten kein Konsens über den Inhalt und die Richtigkeit der Frage erzielt werden, wurde die Frage zurückgewiesen und musste neu geschrieben werden. Ich hatte etwas Pech. Musste zehn meiner Fragen überarbeiten.

Alle Fragen die überarbeitet werden müssen

Zumindest hatten wir dann aber am Abend 110 von 174 Fragen auf diese Weise überprüft.

Kapitel 4.4: Der vierte Tag

Am vierten Tag ging es weiter mit der Durchsicht der Fragen und anschließend ging es dann an die Überarbeitung der abgelehnten Fragen. Einige Fragen waren dabei so komplex, dass man ca. eine Seite Code durchlesen musste um einen Fehler in der Syntax zu finden. Fragen mit so hoher Komplexität wurden dann aber durch den Überprüfungsprozess herausgefiltert und neu geschrieben.

Beim Neuschreiben der Fragen

Besonders wichtig war auch, für jede Frage und die richtigen Antworten eine offizielle Referenz anzugeben. In den meisten Fällen war das dann die offizielle Dokumentationsseite von NetApp. 

Ihr seht also, die Fragen kommen nicht einfach aus heiterem Himmel, sondern die Antworten müssen nachweisbar in einem Technischen Report oder Admin Guide oder ähnlichem zu finden sein. 

Kapitel 4.5: Der letzte Tag

Am letzten Tag unseres Workshops wurden die Fragen dann finalisiert und in einer Bewertungsmatrix der Schwierigkeitsgrad der Frage bestimmt.

Dazu wurde jede Frage für 30 Sekunden auf die Leinwand geworfen, jeder musste schnell die Frage und Antwort erfassen und eine „gefühlte“ Bewertung abgeben. 

Kann der Prüfling die Frage beim ersten Versuch beantworten? Ist der Schwierigkeitsgrad gering, mittel oder hoch?

Danach wurden unsere Bewertungen konsolidiert und „auffällige“ Fragen wurden nochmals an die Leinwand geworfen. Auffällige Fragen waren in dem Fall die, bei denen es vermehrt zu der Bewertung kam, dass man die Frage nicht beantworten kann.

Also wurden diese Fragen erneut umgeschrieben und korrigiert bis alle SMEs einen Konsens erzielt hatten.

Kapitel 5: Die Hybrid Cloud Admin Prüfung

Warum solltet ihr die Prüfung unbedingt ablegen?

Zuerst einmal solltet ihr die Prüfung natürlich ablegen, weil ich daran mitgearbeitet habe 😉
Spaß beiseite…

Die „Cloud“ existiert seit vielen Jahren. Jeder hat schon Mal was von ihr gehört, alle reden darüber. Nun hat man aber über die Jahre in denen die Cloud existiert auch gemerkt, dass „Die Cloud“ nicht die Lösung für alle Herausforderungen in einer schnelllebigen IT Welt ist. 

Die Lösung liegt irgendwo dazwischen. Also zwischen Cloud und On-Premise Lösungen. Die Hybride Cloud. Teile meiner Daten und Workloads habe ich in meinem eigenen Rechenzentrum, andere Teile betreibe ich in der Cloud. 

Das birgt großes Potenzial, viele Chancen, aber auch einige Stolpersteine.

Um zu demonstrieren, dass ihr wisst, wie die Hybride Cloud funktioniert, wie sie zu bedienen und zu administrieren ist, wie die Konnektivität zu Hyperscalern funktioniert und welche technischen Möglichkeiten bestehen, solltet ihr diese Prüfung auf jeden Fall machen.

Sei einer der Ersten der diese Prüfung ablegt. Es wird deiner Karriere sicherlich nicht schaden. Die Prüfung wird zur NetApp Insight 2018 veröffentlicht und trägt den Namen NetApp Certified Hybrid Cloud Administrator (NCHCA) NS0-300. 

Wie ihr wisst könnt ihr die Prüfungen auf der Insight kostenlos ablegen. Also probiert es einfach.
Hier geht´s zur NetApp Insight 2018 Anmeldung.

Vielen Dank fürs Lesen

Grüße aus San Francisco

Der Schmitz

Ein kleiner Teil des Teams

P.S.: Nein ich habe kein Fotografisches Gedächtnis. Nein ich kann euch nicht sagen wie die Antworten auf die Fragen sind. Bitte seht daher von derlei Anfragen ab.

Special thanks to...

@Mercedes_Adams für deinen fast schon mütterlichen Einsatz für uns,
@Haley_Heter für die Organisation,
@Linda Dolen für die Hilfe bei organisatorischen Dingen,
@Scott_Gelb für deine Erfahrung beim Schreiben von Prüfungsfragen,
@Stefan_Assler dass du mit mir da warst 😉
@Petya_Stefanova für deine Empfehlung,
@NetApp and @NetApp University für die überragende Gastfreundschaft.

DISCLAIMER: Dieser Beitrag stellt meine persönlichen Beobachtungen dar und ist nicht offiziell durch NetApp oder andere autorisiert. Fehlinterpretationen oder Missverständnisse vorbehalten.

Kommentar verfassen

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.