Learning Analytics als Querschnittsdisziplin in der Praxis
Im betrieblichen Umfeld können Learning Analytics heute als eine «Querschnittsdisziplin» aus Data Science, Statistik, Learning & Development sowie Storytelling betrachtet werden. Mit der Digitalisierung des Trainingsbusiness’ und dem Shift zum Online-Lernen mit multimedialen Formaten rücken Algorithmen und der Datenschutz stärker ins Zentrum eines datenbasierten Corporate Learning. Individuelle Lernbedürfnisse und unternehmerische Bedarfe dabei in Balance zu halten, bleibt eine Daueraufgabe. Ein Einblick in die Praxis bei Swisscom.
Im Unterschied zu Schulen und Hochschulen sind in der betrieblichen Aus- und Weiterbildung («Corporate Learning & Development») die Voraussetzungen der Teilnehmenden in Bezug auf Alter, Vorkenntnisse, Erfahrung und Interessen um einiges heterogener. Dadurch sind auch die Lernbedürfnisse entlang der gesamten Anstellungsdauer der Mitarbeitenden vielfältiger, von den Lernenden in der Berufsausbildung bis zu den Mitarbeitenden, die vor der Pensionierung stehen. Die Ziele des Unternehmens und der Businessbereiche sind ebenfalls vielfältig. Daraus abgeleitete Bedarfe können sich rasch ändern.
Vielfältige Lernbedürfnisse – rasch ändernde Bedarfe
Damit wird lebenslanges Lernen und Entwickeln eine Investition in die Zukunft: in die Wettbewerbsfähigkeit von Swisscom und in die Arbeitsmarktfähigkeit der Mitarbeitenden. Die berufliche Entwicklung bei Swisscom basiert darauf, die Lernbereitschaft und Ambitionen der Mitarbeitenden mit den Anforderungen der businessspezifischen Strategien und der Unternehmensziele zu verbinden. Das bedeutet konkret, dass beim Corporate Learning die «Outcome-Orientierung» eine zentrale Rolle spielt: Jobs, Funktionen und Rollen werden unter anderem mit Skillsets ausdifferenziert. Ändern sich aufgrund des technologischen Wandels die Anforderungen und Aufgaben bei den Jobprofilen, können sich auch erforderliche Skillsets verändern. Zusammen mit der demographischen Veränderung entstehen daraus unternehmerische Bedarfe nach Re- und Upskilling in der gesamten Belegschaft. Zudem führt die Marktdynamik in den Bereichen Telekommunikation, Informatik und Entertainment dazu, dass das Produktwissen in immer kürzeren Abständen aktualisiert werden muss. Diese Anpassungen werden in einer grossen Organisation dezentral in regelmässigen Entwicklungsdialogen mit den Mitarbeitenden besprochen und mit ihren individuellen Lernbedürfnissen, Leistungsbeiträgen und beruflichen Zielen abgeglichen. Diese Veränderungen in den Themen, Skills und Bedarfen transparent zu machen, zu aggregieren und nutzbringend in die Planung einfliessen zu lassen, geht nicht ohne die entsprechende Infrastruktur an Lernplattformen und den Einsatz von Analytics.
Swisscom legt dabei folgende Arbeitsdefinition zugrunde: «Learning Analytics» verwenden statische und dynamische, in Arbeits- und Lernumgebungen gesammelte Daten über Aktivitäten (und den Kontext) der Mitarbeitenden. Diese werden laufend auf ihre Wirkung auf die Business-Ziele analysiert, um mit den gewonnenen Erkenntnissen die Lern- und Entwicklungsprozesse und die entsprechenden Umgebungen evidenzbasiert verbessern zu können (angelehnt an SOLAR).
Die verschiedenen Anspruchsgruppen in den Business-Bereichen haben unterschiedliche Bedarfe und Nutzenerwartungen, die durchaus auch mal in Konkurrenz zueinander stehen können. Zum Beispiel möchte der lernende Mitarbeitende Orientierung zu den heute und morgen erforderlichen Skills mit entsprechend personalisierten Lernempfehlungen für die individuelle berufliche Entwicklung. Auftraggeber wollen ihre Businessinitiativen – etwa Produkteinführungen oder Leadership-Curricula – zeitnah und bei allen gut verankert sehen. Lerndesigner und Trainer wiederum sind vor allem an Feedback zu ihren Lernangeboten interessiert. Und auf Unternehmensebene geht es um Vergleiche bezüglich Investitionen, Engagement und Leistungsbeiträgen sowie das Monitoring von Compliance- und Security-Aspekten.
Herausforderungen und Erfahrungen
Die digitale Transformation durchdringt den Weiterbildungs- und Trainingsmarkt ebenso stark wie andere Bereiche: Entwicklungen wie Big Data & Analytics, künstliche Intelligenz sowie neue Inhaltsanbieter wie LinkedIn Learning, edx oder coursera führen zu signifikanten Veränderungen in der Art und Weise, wie wir individuell, organisatorisch und gesellschaftlich arbeiten und lernen. Zentrale Frage dabei ist, welche Skills und Kompetenzen dazu wie entwickelt werden sollen (siehe scil). Daraus ergeben sich folgende Herausforderungen für die Learning Analytics:
- die riesige Menge an Daten, die aus unterschiedlichen Quellen anfallen und aufbereitet werden müssen,
- die verschiedensten Typen von Daten, die es sinnvoll zu verknüpfen gilt,
- die Geschwindigkeit, mit der die Daten fliessen und verarbeitet werden sowie
- die Richtigkeit der Daten (Bias, Ausreisser, Aktualität) für die Analysen.
Das erfordert neben dem Aufbau von zusätzlichen Ressourcen auch neue Skills und Kompetenzen bei den Mitarbeitenden im Bereich Corporate Learning & Development. Learning Analytics lassen sich nicht einfach an ein dezidiertes Team von Spezialisten delegieren, sondern werden als «Querschnittsdisziplin» zunehmend relevant für alle Jobrollen in der betrieblichen Aus- und Weiterbildung. Mit einem internen, für alle frei zugänglichen Lernplan «Learning Analytics@Swisscom» wurden die Grundlagen dazu gelegt; diese werden thematisch laufend weiterentwickelt.
Evaluation von Lern- & Entwicklungsaktivitäten
In der Praxis liegt der Fokus noch stark auf der Evaluation und Qualitätskontrolle von Lernprogrammen und Trainingsinitiativen nach der Durchführung und der deskriptiven Darstellung der Ergebnisse in Dashboards im Sinne von «Was wurde von wem wie gelernt?». In einem jährlichen «Learning Report» werden den Anspruchsgruppen bei Swisscom die Investitionen, Aktivitäten und Wirkungen anhand zentraler Kennzahlen und entlang den einzelnen Business-Bereichen aufgezeigt. So lassen sich zum Beispiel anhand der vereinbarten Entwicklungsrichtungen, der Ausbildungszeit pro Kopf sowie den häufigsten Themen und Formaten über eine Zeitreihe Zusammenhänge und Trends erkennen und nutzbar machen.
Diagnostische Analysen
Erste diagnostische Analysen zeigen zudem die Wirkungen von Lernaktivitäten bei ausgewählten Themen wie Sprachen, Leadership Grundausbildung, Kundendialog & Sales sowie Performance: Bezüglich Sprachskills konnten beispielsweise die Auswirkungen auf eine verbesserte Kommunikation im Arbeitsalltag, auf Erweiterung des Aufgabenfeldes und der Arbeitsmarktfähigkeit nachgewiesen werden. Bei der Leadership Grundausbildung waren es neue Denk- und Sichtweisen, die zunehmende Arbeitszufriedenheit und Produktivität bei den Mitarbeitenden, was anfangs 2022 auch durch einen bronzenen Learning Award des LPI (Learning und Performance Institut) anerkannt wurde. Und beim Themenfeld Kundendialog & Sales konnte der statistische Zusammenhang zwischen Gruppen von Swisscom Shop Mitarbeitenden mit unterschiedlichen Lernaktivitäten auf die Kundenzufriedenheit und Problemlösefähigkeit aufgezeigt werden.
Bei diagnostischen Analysen bestätigen sich zwar auch gängige Erkenntnisse aus der Forschung, entscheidend ist jedoch die Interpretation der Ergebnisse gemeinsam mit Business- und HR-Vertreter*innen, denn die spezifischen Arbeits- und Organisationskontexte, in denen gelernt wird, können sich stark unterscheiden: In agilen Settings mit viel Selbstorganisation in Teams, wie zum Beispiel in der Softwareentwicklung, bestehen andere Freiräume für das gemeinsame Lernen und kontinuierliche Verbessern als in geplanten Bereichen mit direktem Kundenkontakt, wie in den Shops oder an der Hotline. Deshalb steht neben dem angepassten Bereitstellen von Lern- und Entwicklungsangeboten auch die Gestaltung der Rahmenbedingungen für das Lernen auf der Agenda. So erhalten alle Mitarbeitenden im Gesamtarbeitsvertrag mindestens 5 Ausbildungstage pro Jahr, die sie individuell für ihre persönliche berufliche Entwicklung einsetzen können.
Prädiktive und preskriptive Analysen
Für prädiktive («Was wird gelernt werden?») und preskriptive («Wie können wir das Lernen beeinflussen?») Studien und Analysen wird eine Infrastruktur notwendig, die die Datenströme zu Lern- und Entwicklungsaktivitäten im Unternehmen in Echtzeit und möglichst automatisiert bündelt. Aktuell wird im Rahmen eines Piloten geprüft, wie ein solcher «Learning Record Store» aufgebaut werden kann, um darauf basierend mit verschiedenen Datenmodellen und A/B-Tests (Vergleich von verschiedenen Trainingsformaten mit gleichen Lernzielen in einer Pilot- und in einer Kontrollgruppe) weitere Analysen durchführen zu können. Eine Ambition dabei ist, die «time to competency» (Zeitraum vom Start einer Lernreise bis zur Aneignung der erforderlichen Skills für eine neue bzw. andere Aufgabe und Rolle) transparent und besser planbar zu machen. Eine grosse Herausforderung dabei ist, die internen Anspruchsgruppen davon zu überzeugen, bereits heute zu messen und Datenströme zu erfassen, während der genaue Zweck und Nutzen der Datenverarbeitung erst morgen benannt werden kann. Wie in der agilen Zusammenarbeit üblich, bietet sich auch hier ein iteratives Vorgehen aus Exploration von modularen Lösungsansätzen, Beschreiben von konkreten Use Cases und Aufzeigen von Ergebnissen an. Neue technische Standards wie xAPI1 für die Interoperabilität der Systeme unterstützen den Aufbau einer entsprechenden Infrastruktur.
Bausteine eines datenbasierten Corporate Learning & Development
Die folgende Abbildung zeigt im Überblick die Bausteine eines datenbasierten Corporate Learning & Development mit den Learning Analytics im Zentrum. Entlang der Wertschöpfungskette (erste Reihe) ausgehend von der Bedarfs- und Auftragsklärung über die Bereitstellung und den Transfer bis hin zur Evaluation bestehen spezifische Fragestellungen, bei denen Datenverarbeitung und die daraus gezogenen Erkenntnisse genutzt werden können. Dabei spielen vor dem Hintergrund der baldigen Einführung des neuen Datenschutzgesetzes2 in der Schweiz die Data Governance und der Umgang mit personenbezogenen Daten eine zentrale Rolle, da dem Mitarbeitenden neue Betroffenenrechte zur Verfügung stehen werden. Dazu haben wir bei Swisscom für alle HR-Anwendungen eine gemeinsame Datenschutzinformation erarbeitet.
Und als Basis für alle Bausteine gilt es, kontinuierlich Zahlen, Key Performance Indicators und Erkenntnisse aus den Analysen sinnvoll visualisiert mit den verschiedenen Anspruchsgruppen in der Organisation zu teilen, damit diese evidenzbasiert bessere Entscheidungen treffen und ihr Lernen selbstständig steuern können. Für Letzteres werden die Zahlen und Statistiken rollenbasiert wo möglich direkt in den verschiedenen HR-Systemen integriert. Zudem ermöglichen Algorithmen in der neu eingeführten Lernplattform automatisierte und personalisierte Lernempfehlungen gestützt auf den bisher erledigten Lernaktivitäten, den Skills, die von den Mitarbeitenden in den Fokus ihrer Entwicklung gerückt werden und den geteilten und selbsterstellten Lernpfaden von internen Fachexpert*innen und Führungskräften.
Wie in agilen Settings üblich, gilt es diese Bausteine und deren Zusammenspiel regelmässig zu überprüfen, daraus zu lernen und kontinuierlich zu verbessern («Plan – Do – Check – Act»).
Ein erstes Fazit
Learning Analytics sind zunächst einmal Fleissaufgaben. Denn ein grosser Teil der Arbeit besteht im Sammeln, Organisieren, Aufbereiten und Bereinigen von Daten aller Art. Und für gewisse Daten gilt es in der Organisation zuerst, neue Methoden, Prozesse oder Verhalten einzuüben, damit sie überhaupt anfallen: Z.B. followen statt anmelden, als «erledigt» markieren statt Anwesenheitskontrolle, Skilllevels regelmässig einschätzen statt Kursbestätigungen sammeln. Mitarbeitende müssen sich daran gewöhnen und steuern somit den Datensammlungsprozess mit.
Eine gute Datenqualität ist Voraussetzung für weitergehende Analysen. Die Grundlagen für deskriptive und diagnostische Analysen z.B. mit dem Learning Report und standardisierten Wirkungsevaluationen sind gelegt. Beim Learning Record Store und den darauf basierenden Analysen für Vorhersagen und der Frage, wie sich verschiedene Vorgehensweisen auf die Businessziele und Arbeitsmarktfähigkeit der Mitarbeitenden auswirken können, stehen wir noch am Anfang. Zentral für die Umsetzung ist, dass sinnvolle Hypothesen und Use Cases zur Nutzung von Lernangeboten, dem Skills- und Wissenserwerb und den Business-Zielen formuliert und überprüft werden. Zum Beispiel: «Spielerische Formate verbessern den Lernerfolg und damit die Kundenzufriedenheit in den Shops» oder «Eine einheitliche Grundausbildung für neue Führungskräfte verbessert die Arbeitszufriedenheit». Aus diesen Use Cases lassen sich gute Stories entwickeln, die für bestimmte Zielgruppen relevante Erkenntnisse und nachvollziehbare Massnahmenvorschläge aufzeigen.
In jedem Fall sind Learning Analytics der zentrale Baustein für ein datenbasiertes Corporate Learning & Development, das sich in grösseren Organisationen nach der Pandemie definitiv etabliert hat. Folgende Voraussetzungen sind für die Umsetzung notwendig:
- die technische Infrastruktur, um Lernplattformen und Anwendungen für den Datenaustausch verbinden zu können,
- die Bereitschaft der Organisation, mit Pioniergeist und Ausdauer Use Cases ergebnisoffen zu ermöglichen,
- und vor allem die neu zu erwerbenden Skills und notwendige Kompetenzverschiebung bei den Mitarbeitenden im Corporate Learning & Development, mit diesen Datenmengen umgehen zu können. Es braucht Motivation und die Einsicht, anstelle der Entwicklung von Lerndesigns nun neue Aufgaben zu übernehmen, wozu das Sammeln, Aggregieren, Normalisieren und Analysieren von Lerndaten gehört.
Das Erfassen, Aggregieren und Hinterfragen von business- und rollenspezifischen Bedarfen und den damit dezentral in der Organisation austarierten individuellen beruflichen Lern- und Entwicklungszielen bleibt dabei eine spannende Daueraufgabe.
- xAPI ist eine e-Learning-Software-Spezifikation, die es ermöglicht, dass Lerninhalte und Lernsysteme so miteinander kommunizieren, dass sie alle Arten von Lernerfahrungen über mehrere Kontexte aufzeichnen und verfolgen.
- Das neue Schweizer Datenschutzgesetz wird voraussichtlich im September 2023 eingeführt.
Quellenverweis
SOLAR; Society for Learning Analytics Research: https://www.solaresearch.org/
LPI; The Learning & Performance Institut: https://www.thelpi.org/the-learning-awards/
Scil, Swiss Competence Center in Innovations for Learning: https://www.scil.ch/scil-research/
Emmerich Stoffel ist Learning Analyst bei der One Swisscom Academy. Kontakt: emmerich.stoffel@swisscom.com