No lo sabemos. ¿Porque no lo sabemos? Sencillamente, por qué no lo hemos evaluado.
Existen, efectivamente, algunas experiencias de evaluación de proceso, lo que conocemos como niveles bajos de Kilpatrick (evaluación de la satisfacción), pero hemos llegado con dificultades a la evaluación de la transferencia y (casi) nunca a la de impacto.
Recientemente, en un debate en la comunidad Formación del INAP Social, uno de los cinco aspectos que se debatían acerca del estado actual de la formación en empleados públicos, precisamente, se enfocaba en la evaluación de la transferencia y del impacto. Aún no están preparadas las conclusiones (ni concluida una hoja de ruta realista para continuar con la reflexión), pero ya podemos avanzar que las opiniones no eran unánimes. Por un lado, existían profesionales que se decantaba por continuar esforzándose por conseguir completar el proceso de evaluación, también en transferencia impacto. Pero, en otros casos,- en los que yo me incluyo- se pensaba que el modelo de evaluación tradicional de niveles respondía más a preguntas del modelo tradicional de formación en aula y separada del flujo de trabajo. La tesis que defienden (defendemos) no es tanto rebatir la validez del modelo Kilpatricck ( o similares) sino, replantearlo por razones prácticas: puestos a invertir recursos ( sobre todo humanos, siempre escasos), es mejor redireccionar la inversión hacia un modelo de formación alternativo ( complementario mientras dure la larga transición /convivencia entre modelos).
Y es que ya cada vez son más las experiencias que se decantan por establecer programas de aprendizaje directamente ligados al puesto de trabajo-como los que provienen de las metodologías 70 20 10, Aprender Haciendo, Accion Learning, etc., que exigen otro tipo de evaluación diferente.
Y aquí hay que anotar todas las limitaciones que este nuevo modelo conlleva. La formación, tal y como la conocemos, no deja de ser un subsistema de lo que podríamos llamar políticas de recursos humanos dentro de la Función Pública. Está muy reglamentada, y para modificarla se necesita tocar todo el sistema. EBEP de por medio. Y eso, lo sabemos en reiteradas ocasiones, no está al alcance ni de Escuelas ni de Institutos por si mismos, los cuales, incluidos los gestores de formación y los profesionales, no dejamos de ser actores secundarios en una obra más general.
Pero lo que quería explicar en este post es otra cosa. Y es si podemos aprender algo de aquello que funciona en la formación permanente en otros subsistemas que sí lo han evaluado. Concretamente, qué podemos aprender de la formación permanente de los profesores.
El pasado miércoles, atraído por esta interesante propuesta, asistí a la presentación de las conclusiones del estudio de Ivàlua y de la Fundació Bofill, en la que se hacían públicos los resultados de una investigación que identificaba los elementos que funcionaban en la formación permanente del profesorado.
El informe completo lo podéis descargar aquí, pero para los que no podáis leerlo completo, los aspectos que más me han llamado la atención son los siguientes:
No enterremos demasiado pronto a la formación tradicional.
No estaba directamente recogida en la investigación, pero Ismael Palacín, director de la Fundación, vino a decirnos que los datos que ellos manejaban es que en el top de lo que valoraban más los profesores para mantenerse actualizados, en primer lugar y con un consenso del 80%, estaba el aprendizaje a través de la práctica y la reflexión posterior. Pero, después, se situaba el aprendizaje en las fórmulas tradicionales. Me llamó la atención que estuviera por encima del aprendizaje de los compañeros. Es algo sobre lo que reflexionar y seguir profundizando para comprobar si se repite en otros ámbitos profesionales.
Los aspectos directamente ligados a la investigación fueron los siguientes:
- Toda la investigación se base en meta-análisis. Concretamente, 10 grandes investigaciones . Con lo cual, se constata que hay una cultura de evaluación en los sistemas educativos . Específicamente europeos y más concretamente anglosajones. Ninguno situado en nuestro contexto próximo.
- En el punto de mira sobre la eficiencia de la formación permanente del profesorado siempre se situaba el resultado que obtenían los alumnos. Con lo cual, el debate sobre el impacto estaba cerrado. Un buen profesor es el que facilita que los alumnos tengan más éxito. Sí en la Administración Pública tuviésemos tan claro el objetivo de nuestros programas, y tuviésemos indicadores de retorno tan objetivos como éstos, estoy seguro que hubiéramos avanzado mucho más en la evaluación del impacto.
- Los programas que se estudiaron contemplaban dos tipos de contenidos: habilidades cognitivas, socio emocionales y conductuales para la mejora del profesorado; y el trabajo con el alumno, familias y comunidad. También se diferenciaba en si la formación permanente se hacía integrada/ separada de la práctica profesional. Además se consideró la duración de los programas y el tipo de formato (si era individual, en grupo o formación en red ); y si la modalidad era virtual o presencial.
- Los programas más efectivos son aquellos en los que el contenido de la formación está integrado y es coherente con el contexto educativo en el que se inserta el profesorado y el alumnado.
- Son especialmente efectivos los programas de formación que abordan las cuestiones nucleares de la profesión. Concretamente, en el ámbito de la formación permanente de profesores, las cuestiones pedagógicas relevantes para cada área de conocimiento o de competencia.
- Los programas destinados a aspectos generales, desligados de una materia y de un contenido sustantivo particular, tienen efectos pequeños o nulos.
- Los programas más eficientes son aquellos que integran este tipo de componentes:
- Disponen de espacios para la reflexión sobre la propia práctica profesional.
- Aprendizaje basado en la acción.
- Existe feedback de algún experto.
- Seguimiento a lo largo del tiempo que asegure su puesta en práctica.
- Existe acompañamiento en la transferencia -a través de coaching o mentoría-, los cuales potencian los resultados.
¿Qué podemos aprender de todo ello? Quizás, lo más importante sea el establecer la cultura de la evaluación para apoyarnos en evidencias a la hora de introducir mejora/innovación. Con lo cual, y volviendo al ámbito de la formación de empleados públicos, parece que estamos aún muy lejos de llegar a este estadio.
No desfallezcamos;)