O6 Valutazione dell'efficacia del Corso Competenze Digitali per la Cultura, Assicurazione Qualità e Sostenibilità
Questo output riguarda la valutazione, la garanzia della qualità e la sostenibilità del progetto e dei suoi risultati.
La strategia di valutazione delle competenze digitali per la cultura fa parte della metodologia di ingegneria socio-cognitiva (Sharples, 2002) implementata in questo progetto ed è un processo continuo. La valutazione consisterà in diverse fasi e sarà implementata ad ogni output: valutazione del concetto e delle linee guida (O1), test VLH rispetto ai propri requisiti di usabilità (O2); valutare i curricula e i contenuti del corso rispetto alle esigenze del gruppo target (O3), valutare gli strumenti di e-assessment per le competenze digitali rispetto ai loro requisiti specifici (O4) e valutare l'efficacia dei progetti pilota nel migliorare le competenze digitali degli adulti coinvolti (O5 ).
L'efficacia è definita come il raggiungimento degli obiettivi dell'utente. Per l'apprendimento online, ci sono molti strumenti e tecniche che vengono utilizzati per valutare l'efficacia (Andone, 2012; Mosakhani, 2010).
La valutazione dell'efficacia del corso e dei progetti pilota sarà condotta continuamente e si concentrerà su dimensioni che influenzano direttamente l'efficacia del MOOC: interattività, collaborazione, pedagogia, contenuto, tecnologia, usabilità, motivazione, valutazione e supporto per gli studenti. Verrà utilizzato un mix di metodi qualitativi e quantitativi per valutare l'efficacia al fine di comprendere meglio le prospettive dei partecipanti sull'efficacia dei MOOC. Questi includeranno un questionario online e approfondimenti qualitativi sulla loro esperienza durante il corso attraverso testimonianze, interviste e focus group. Saranno corroborati con i risultati del rapporto di analisi dell'apprendimento (O2) al fine di creare un quadro completo per il rapporto di valutazione finale.
Il lavoro in questo output è suddiviso in quattro attività: il quadro di garanzia della qualità (6.1), il quadro di valutazione generale (6.2), la valutazione dell'efficacia del corso e del progetto pilota (6.3) e il piano di sostenibilità (6.4). Queste attività sono fondamentali per garantire il successo del progetto e guideranno il lavoro non solo all'interno del partenariato ma anche in relazione alla più ampia comunità culturale e del patrimonio e alle parti interessate di altri settori interessati alla formazione o all'attuazione di politiche nell'educazione degli adulti attraverso la sostenibilità di risultati del progetto.
Questo risultato applica concetti della teoria dell'innovazione, come l'approccio "comunità dell'innovazione" per definire il quadro di garanzia della qualità e il modello "diffusione dell'innovazione" per lo sviluppo del Piano di sostenibilità (Rogers, 1995; von Hippel, 1985).
Tipo di output: Metodologie/linee guida – Metodo e strumento di valutazione
O6.1 Quadro di garanzia della qualità
Questa attività definirà un quadro di garanzia della qualità per l'attuazione dell'intero progetto e delle sue componenti. La garanzia della qualità è una questione cruciale nella progettazione di qualsiasi intervento di apprendimento, ma in particolare nel caso di OER, MOOC e qualsiasi forma o istruzione aperta oa distanza in cui gli studenti accedono ai materiali senza la guida di un insegnante.
La metodologia includerà
– la progettazione di standard di garanzia della qualità per le singole componenti del progetto (in particolare O1.2, O2.2, O4.1 e O5.3)
– la progettazione di un processo di garanzia della qualità per collegare e integrare gli standard di qualità a tutte le fasi di sviluppo dei prodotti intellettuali, ad esempio applicando un'efficace metodologia di progettazione e sviluppo come lo sviluppo agile basato sulla qualità, revisioni paritarie delle iterazioni e dei risultati finali, nonché la qualità processo di attuazione e possibili azioni correttive
– valutazione bimestrale della qualità del lavoro nel progetto e relazioni sui risultati per favorire l'attuazione del progetto.
Pietre miliari:
O6.1.1.Progettazione di standard di garanzia della qualità
O6.1.2. Progettazione del processo di assicurazione della qualità
O6.1.3. Progettazione di strumenti di valutazione e relazioni periodiche sullo stato di avanzamento per guidare l'attuazione del progetto
Leader: JMEA
Partecipanti: tutti
O6.2 Quadro di valutazione
A differenza della QA che è in corso, la valutazione del progetto è episodica e dovrà essere condotta sia alla fine del progetto che nelle fasi chiave durante il progetto (in particolare O2.5, O3.4, O5.3 e O5.4). Utilizzerà entrambi i dati raccolti internamente e li confronterà con le informazioni di altre risorse.
La valutazione sarà condotta alla fine di ogni intervento che coinvolga soggetti esterni ai gruppi target che il progetto è progettato per aiutare (O5.2, O5.3 e O5.4).
La valutazione sarà condotta utilizzando interviste faccia a faccia e focus group durante gli incontri di progetto e altri interventi, e mediante strumenti online (sondaggi) per campioni più ampi.
La valutazione finale alla fine del progetto includerà se il progetto è redditizio, se può essere ampliato e replicato altrove e se è autosufficiente.
Per la valutazione finale, il progetto può avvalersi di un consulente o di un'organizzazione esterna per fornire una nuova prospettiva sui suoi risultati.
Pietre miliari:
O6.2.1 Identificazione degli episodi di valutazione
O6.2.2 Progettazione di strumenti di valutazione quantitativa
O6.2.3 Progettazione di strumenti di valutazione qualitativa
O6.2.4 Progettazione e attuazione della valutazione finale
Leader: JMEA
Partecipanti: tutti
O6.3 Efficacia del corso Competenze digitali per la cultura
Per valutare il corso e il pilota basato sul metodo socio-ingegneristico, utilizzeremo anche una combinazione di metodi qualitativi e quantitativi per valutare il corso e raccogliere la prospettiva dei partecipanti sull'efficacia dei MOOC più in generale (O3.4 e O3 .5). Questo farà uso di un questionario online con una varietà di tipi di domande, insieme all'uso di strumenti qualitativi per raccogliere opinioni sull'esperienza durante il corso, comprese testimonianze, interviste e focus group. La valutazione sarà eseguita su tutti i corsi dei partner e in tutte le lingue per implementazioni di apprendimento sia completamente online che misto. L'obiettivo finale è valutare e convalidare quale dei metodi di insegnamento utilizzati (completamente online o blended learning) è più appropriato per erogare l'educazione degli adulti per il miglioramento delle competenze digitali.
Pietre miliari:
O.6.3.1. Progettazione del piano di valutazione per il corso Digital Skills
O6.3.2 Attuazione della valutazione quantitativa
O.6.3.3. Attuazione della valutazione qualitativa
O.6.3.4. Il rapporto di valutazione
Leader: JMEA
Partecipanti: tutti
O6.4 Piano di sostenibilità
Questa attività si concentra sullo sviluppo di un piano di sostenibilità per i risultati del progetto oltre la durata del progetto, compresa l'integrazione nelle politiche nazionali e dell'UE. La metodologia utilizzata si basa su concetti rilevanti della teoria dell'innovazione, compresa la diffusione dell'innovazione e l'adozione di modelli di innovazione.
La convalida della strategia sarà ottenuta attraverso vari metodi come sondaggi, workshop e incontri pubblici. Il piano di sostenibilità finale si concentrerà su leadership, obiettivi, strategie, sensibilizzazione e attività. Il piano di sostenibilità sarà sviluppato in stretta connessione con il piano di garanzia della qualità e con il coinvolgimento di importanti organizzazioni politiche all'interno e all'esterno della partnership come TM2021, EDEN, Rijeka2020, NoviSad2021, Kaunas2022, Fondazione italiana Idis-Città della Scienza, Fondazione InterArt Triade , Fondazione ArtEncounters, European Architects Association, Network of European Museum Organizations (NEMO), ecc.
Pietre miliari:
6.4.1 Progettazione del Piano di Sostenibilità
6.4.2 Diffusione del Piano all'interno della partnership
6.4.3 Diffusione del Piano con organizzazioni esterne
Leader: JMEA
Partecipanti: tutti
