O6 Evaluation der Wirksamkeit von Digital Skills für Kulturkurs, Qualitätssicherung und Nachhaltigkeit
Dieser Output beschäftigt sich mit der Evaluation, Qualitätssicherung und Nachhaltigkeit des Projekts und seiner Ergebnisse.
Die Evaluierungsstrategie von Digital Skills for Culture ist Teil der sozio-kognitiven Engineering-Methodik (Sharples, 2002), die während dieses Projekts implementiert wird, und ist ein fortlaufender Prozess. Die Evaluation besteht aus verschiedenen Stufen und wird an jedem Ausgang durchgeführt: Evaluation des Konzepts und der Richtlinien (O1), Prüfung der VLH auf ihre eigenen Anforderungen an die Gebrauchstauglichkeit (O2); Evaluation der Curricula und Inhalte des Kurses anhand der Bedürfnisse der Zielgruppe (O3), Evaluation der E-Assessment-Tools für digitale Kompetenzen anhand ihrer spezifischen Anforderungen (O4) und Evaluation der Wirksamkeit der Pilotprojekte zur Verbesserung der digitalen Kompetenzen der beteiligten Erwachsenen (O5 ) .
Effektivität wird als das Erreichen von Benutzerzielen definiert. Für das Online-Lernen gibt es viele Tools und Techniken, die verwendet werden, um die Effektivität zu bewerten (Andone, 2012; Mosakhani, 2010).
Die Evaluierung der Effektivität des Kurses und der Pilotprojekte wird kontinuierlich durchgeführt und konzentriert sich auf Dimensionen, die sich direkt auf die Effektivität von MOOC auswirken: Interaktivität, Zusammenarbeit, Pädagogik, Inhalt, Technologie, Benutzerfreundlichkeit, Motivation, Bewertung und Unterstützung für Lernende. Zur Bewertung der Wirksamkeit wird ein Mix aus qualitativen und quantitativen Methoden verwendet, um die Sichtweise der Teilnehmer zur Wirksamkeit von MOOCs besser zu verstehen. Dazu gehören ein Online-Fragebogen sowie qualitative Einblicke in ihre Erfahrungen während des Kurses durch Testimonials, Interviews und Fokusgruppen. Sie werden mit den Ergebnissen aus dem Learning Analytics Report (O2) untermauert, um ein vollständiges Bild für den abschließenden Evaluationsbericht zu erstellen.
Die Arbeit in diesem Output gliedert sich in vier Aktivitäten – den Qualitätssicherungsrahmen (6.1), den Gesamtbewertungsrahmen (6.2), die Wirksamkeitsbewertung des Kurses und des Pilotprojekts (6.3) und den Nachhaltigkeitsplan (6.4). Diese Aktivitäten sind entscheidend für den Erfolg des Projekts und leiten die Arbeit nicht nur innerhalb der Partnerschaft, sondern auch in Bezug auf die breitere Kultur- und Kulturerbegemeinschaft sowie für Interessenvertreter aus anderen Bereichen, die an der Politikgestaltung oder -umsetzung in der Erwachsenenbildung durch Nachhaltigkeit von Projektergebnisse.
Dieses Ergebnis wendet Konzepte der Innovationstheorie an, wie den Ansatz der „Community of Innovation“ zur Definition des Qualitätssicherungsrahmens und das Modell der „Diffusion von Innovation“ für die Entwicklung des Nachhaltigkeitsplans (Rogers, 1995; von Hippel, 1985).
Output-Typ: Methodiken / Leitlinien – Bewertungsmethode und -instrument
O6.1 Qualitätssicherungsrahmen
Diese Aktivität wird einen Qualitätssicherungsrahmen für die Umsetzung des gesamten Projekts und seiner Komponenten definieren. Die Qualitätssicherung ist ein entscheidendes Thema bei der Gestaltung jeder Lernintervention, insbesondere aber im Fall von OERs, MOOCs und allen Formen des offenen oder Fernunterrichts, bei denen die Schüler ohne Anleitung eines Lehrers auf Materialien zugreifen.
Die Methodik umfasst
– die Gestaltung von Qualitätssicherungsstandards für einzelne Komponenten des Projekts (insbesondere O1.2, O2.2, O4.1 und O5.3)
– die Gestaltung von Qualitätssicherungsprozessen zur Verknüpfung und Integration von Qualitätsstandards in alle Phasen der Entwicklung intellektueller Ergebnisse, z. B. durch Anwendung effektiver Design- und Entwicklungsmethodiken wie qualitätsgetriebener agiler Entwicklung, Peer-Reviews von Iterationen und Endergebnissen sowie Qualität Implementierungsprozess und mögliche Korrekturmaßnahmen
– zweimonatliche Bewertung der Arbeitsqualität im Projekt und Ergebnisberichte zur weiteren Umsetzung des Projekts.
Meilensteine:
O6.1.1.Gestaltung von Qualitätssicherungsstandards
O6.1.2. Gestaltung des Qualitätssicherungsprozesses
O6.1.3. Gestaltung von Evaluationsinstrumenten und periodischen Fortschrittsberichten zur Orientierung der Projektdurchführung
Führend: JMEA
Teilnehmend: alle
O6.2 Bewertungsrahmen
Im Gegensatz zur laufenden Qualitätssicherung ist die Projektbewertung episodisch und muss sowohl am Ende des Projekts als auch in wichtigen Phasen des Projekts (insbesondere O2.5, O3.4, O5.3 und O5.4) durchgeführt werden. Es verwendet sowohl intern gesammelte Daten als auch vergleicht sie mit Informationen aus anderen Ressourcen.
Am Ende jeder Intervention wird eine Evaluation durchgeführt, an der externe Parteien aus den Zielgruppen beteiligt sind, denen das Projekt helfen soll (O5.2, O5.3 und O5.4).
Die Evaluation wird durch persönliche Interviews und Fokusgruppen während Projektmeetings und anderen Interventionen sowie durch Online-Tools (Umfragen) für größere Stichproben durchgeführt.
Die abschließende Bewertung am Ende des Projekts umfasst, ob das Projekt kosteneffektiv ist, ob es skaliert und an anderer Stelle repliziert werden kann und ob es sich selbst trägt.
Für die abschließende Bewertung kann das Projekt einen Berater oder eine externe Organisation beauftragen, um eine neue Perspektive auf seine Ergebnisse zu bieten.
Meilensteine:
O6.2.1 Identifizierung von Evaluationsepisoden
O6.2.2 Gestaltung quantitativer Bewertungsinstrumente
O6.2.3 Gestaltung qualitativer Evaluationsinstrumente
O6.2.4 Gestaltung und Durchführung der Abschlussbewertung
Führend: JMEA
Teilnehmend: alle
O6.3 Wirksamkeit des Kurses Digitale Kompetenzen für Kultur
Um den Kurs und das Pilotprojekt auf der Grundlage der Sozio-Engineering-Methode zu evaluieren, verwenden wir auch eine Mischung aus qualitativen und quantitativen Methoden, um sowohl den Kurs zu evaluieren als auch die Sicht der Teilnehmer zur Wirksamkeit von MOOCs allgemeiner zu erfassen (O3.4 und O3 .5). Dazu wird ein Online-Fragebogen mit einer Vielzahl von Fragetypen verwendet, zusammen mit der Verwendung qualitativer Tools, um Meinungen zu Erfahrungen während des Kurses zu sammeln, einschließlich Testimonials, Interviews und Fokusgruppen. Die Evaluierung wird für alle Partnerkurse und in allen Sprachen sowohl für vollständig Online- als auch für Blended-Learning-Implementierungen durchgeführt. Das Endziel besteht darin, zu evaluieren und zu validieren, welche der verwendeten Lehrmethoden (vollständiges Online- oder Blended-Learning) besser geeignet ist, um Erwachsenenbildung zur Verbesserung der digitalen Kompetenzen anzubieten.
Meilensteine:
O.6.3.1. Gestaltung des Evaluationsplans für den Digital Skills Kurs
O6.3.2 Durchführung der quantitativen Bewertung
O.6.3.3. Durchführung der qualitativen Evaluation
O.6.3.4. Der Evaluierungsbericht
Führend: JMEA
Teilnehmend: alle
O6.4 Nachhaltigkeitsplan
Diese Aktivität konzentriert sich auf die Entwicklung eines Nachhaltigkeitsplans für die Projektergebnisse über die Projektlaufzeit hinaus einschließlich der Integration in nationale und EU-Politiken. Die verwendete Methodik basiert auf relevanten Konzepten der Innovationstheorie, einschließlich der Diffusion von Innovation und der Übernahme von Innovationsmodellen.
Die Validierung der Strategie wird durch verschiedene Methoden wie Umfragen, Workshops und öffentliche Sitzungen erreicht. Der endgültige Nachhaltigkeitsplan wird sich auf Führung, Ziele, Strategien, Reichweite und Aktivitäten konzentrieren. Der Nachhaltigkeitsplan wird in enger Verbindung mit dem Qualitätssicherungsplan und unter Einbeziehung wichtiger politischer Organisationen innerhalb und außerhalb der Partnerschaft wie TM2021, EDEN, Rijeka2020, NoviSad2021, Kaunas2022, italienische Fondazione Idis-Città della Scienza, Foundation InterArt Triade . entwickelt , Foundation ArtEncounters, European Architects Association, Network of European Museum Organizations (NEMO), etc.
Meilensteine:
6.4.1 Gestaltung des Nachhaltigkeitsplans
6.4.2 Verbreitung des Plans innerhalb der Partnerschaft
6.4.3 Verbreitung des Plans mit externen Organisationen
Führend: JMEA
Teilnehmend: alle
