El mercado de la evaluación del aprendizaje: indicadores para los países – parte 2

Por Silvia Montoya, Directora, Instituto de Estadística de la UNESCO ( UIS ) y Luis Crouch, Economista Principal,  RTI International  [1]

En un blog anterior , argumentamos que el mercado para la evaluación del aprendizaje es muy ineficiente y, por lo tanto, justifica la acción pública. Como son las cosas:

• Más de la mitad de los países no participan en una evaluación transnacional, lo que hace que sea difícil para ellos y para la comunidad internacional evaluar su progreso hacia los indicadores de resultados de aprendizaje en SDG 4.
• Los países que quieran participar en una evaluación transnacional, y las agencias que podrían cubrir el costo, se enfrentan a obstáculos que se interponen en el camino de soluciones eficaces y rentables.

Hoy queremos contribuir aún más al proponer una serie de soluciones posibles para cinco formas de ineficiencia y el problema de la inequidad. Si bien las soluciones tienen diferentes costos políticos y monetarios, todas son relativamente fáciles de adoptar. Y, en un mundo ideal, todos se llevarían a cabo de forma más o menos simultánea, ya que son altamente complementarios entre sí.

Ineficiencia 1: los países no tienen toda la información para tomar una decisión informada sobre el producto de evaluación que necesitan

Solución: Producir una guía para el consumidor sobre los diferentes tipos de evaluaciones . La actual falta de información significa que los países deben hacer su propia investigación para evaluar las opciones. Como mínimo, deben comprender cómo se pueden utilizar las evaluaciones internacionales para: apoyar la agenda nacional; informe sobre los ODS; y ayudar a sus ministerios a tomar decisiones de gestión.

Idealmente, los países desean una evaluación para satisfacer todas estas necesidades de una sola vez. Pero encontrar el ajuste correcto puede ser difícil, por lo que necesitan una mejor orientación. Por ejemplo, un país podría estar pensando en participar en una evaluación internacional aunque tenga una evaluación nacional en el mismo nivel educativo. Para evaluar las opciones, debe comparar los costos y beneficios generales, así como más información técnica para decidir las cuestiones específicas, como los elementos y las construcciones. Al igual que con cualquier producto costoso, los países necesitan una guía para el consumidor que brinde información precisa y objetiva para comparar opciones.

Ineficiencia 2: el costo de participación en evaluaciones transnacionales no es transparente ni uniforme

Solución: Proporcionar información de precios más transparente . En el mercado actual, los consumidores a menudo tienen que regatear, como en un puesto de verduras en la carretera, en lugar de elegir sus productos en un mercado con precios claramente publicados. Si bien el regateo puede llevar a mejores precios para algunos, suele haber gastos ocultos y costos de transacción más altos, y quizás precios más altos para otros. Todos estamos a favor de las negociaciones, pero deben basarse en información de precios transparente. Un organismo oficial podría producir información precisa, completa y actualizada sobre los costos actuales de las evaluaciones, al tiempo que documenta los pasos o las condiciones que pueden ayudar a los países a negociar.

La información de precios debe incluir, como mínimo, los honorarios pagados a la organización de evaluación internacional; costos de oportunidad del conocimiento técnico requerido dentro de las agencias nacionales; costos financieros del despliegue de campo; costos de oportunidad del despliegue de campo si se usa el personal existente. Hoy en día, no hay claridad sobre cuánto cuesta desarrollar un ítem de evaluación, por ejemplo, o realizar una prueba piloto. Y parte de la información es en realidad contradictoria. Por ejemplo, a los países a menudo se les hace creer que al unirse a una evaluación internacional se beneficiarán de las economías de escala. Sin embargo, ¿por qué las tarifas nunca disminuyen a medida que crece el número de participantes?

Ineficiencia 3: los países no necesariamente tienen las herramientas que utilizan sus evaluaciones para los informes globales

Solución: Desarrollar metodologías para vincular las evaluaciones a un nivel de competencia mínimo global. Si los países y las agencias de desarrollo saben más sobre cómo una evaluación se «traduce» en otra, no sentirían la misma presión para «comprar» todas las pruebas posibles, además de su propia evaluación nacional. Los países pueden evaluar mejor las opciones y su relevancia para la formulación de políticas si pueden ver el nivel en el que una evaluación está vinculada a un criterio global. Si uno sabe cómo convertir metros en yardas, no necesita dos palos de medición. Esta información también ayudará a mejorar las habilidades técnicas del personal nacional, al mismo tiempo que apoyará a los socios de desarrollo que financian las evaluaciones como parte de su contribución al ODS 4.

Ineficiencia 4: las barreras técnicas impiden que los productores (incluidos los propios países) ingresen al mercado

Solución: cree bancos de artículos para ayudar a crear evaluaciones sensatas que puedan usarse para informes internacionales.

Uno esperaría que con 25 años de experiencia intensiva en la preparación de evaluaciones transnacionales, sería sencillo copiar este proceso. Nadie argumenta que absolutamente toda la información debe estar en el dominio público, ya que es importante garantizar que las evaluaciones sean válidas y mantener ciertos aspectos confidenciales. Pero el proceso de producir evaluaciones, y el conocimiento de fondo necesario, se ha estandarizado lo suficiente como para que los altos costos actuales no estén justificados.

Un paso hacia la generación de capacidad en los países y la reducción de costos es el uso de inteligencia artificial aplicada a un banco de artículos debidamente alineados con los diferentes ciclos educativos de los países. La plataforma incluiría un banco de preguntas con propiedades técnicas conocidas y probadas. El enfoque también sugeriría formas de combinar los elementos de una manera adecuada, según sea necesario para la presentación de informes. Los países podrían obtener y contribuir con artículos, para construir la evaluación completa si fuera necesario, para ejecutar el modelado que produce los resultados sin tener que comprometerse con los paquetes donde se reduce su propiedad y voz. Un motor de aprendizaje automático permitiría, en un escenario ambicioso, realizar pruebas adaptativas a bajo costo. De manera similar, una forma de avanzar sería desarrollar un conjunto de elementos de las evaluaciones existentes,

Piénselo en términos de un medicamento genérico que sea ligeramente diferente a una alternativa de marca costosa. El banco de ítems y las herramientas de software asociadas podrían ayudar a los nuevos proveedores o países que se auto-proporcionarían, de una manera similar a como la comunidad global ha ayudado a los fabricantes de medicamentos genéricos a desarrollar productos.

Ineficiencia 5: los procesos por los cuales los consumidores y los productores interactúan son una caja negra y no se pueden replicar

Solución: Crear más mercados físicos.A la mayoría de nosotros nos gusta tocar y sentir cosas que compramos. Si estamos comprando una bicicleta o un automóvil, es sensato intentarlo, incluso si terminamos haciendo la compra final en línea. El mercado de evaluación de aprendizaje debe ofrecer la misma experiencia, un lugar donde los usuarios, productores y organizaciones internacionales pueden reunirse y hacer presentaciones de ventas. Algo de esto ya ocurre en conferencias, con eventos paralelos organizados por productores que tratan de educar a los consumidores (pero pocos en los que los consumidores tratan de educar a los productores, en sí mismos una causa de falla del mercado). Pero tal vez debería haber más espacios físicos en el mercado para permitir no solo la comparación de compras, sino también los intercambios donde los consumidores pueden aprender más sobre cómo se producen las evaluaciones y por qué las buenas no tienen que ser tan caras como se podría pensar.

Inequidad: los recursos disponibles para participar en evaluaciones transnacionales y desarrollar capacidades nacionales se asignan de manera desigual.

Solución: transferir poder adquisitivo y habilidades técnicas a los países . Como se señala en el blog anterior.Incluso a los mercados más eficientes no les importa si los consumidores disfrutan de un producto de acuerdo con sus necesidades. Los costos de evaluación son altos, en relación con otros mecanismos de garantía de calidad discrecionales, para los países más pobres. Es posible que necesiten subsidios para cubrir el costo de la participación y el desarrollo de habilidades técnicas, o como un empujón de comportamiento. A medida que el precio de las evaluaciones transnacionales se estandariza y se vuelve transparente, las agencias internacionales deben garantizar que las subvenciones se pongan a disposición de los países con una perspectiva a largo plazo, para garantizar que todos los países se beneficien por igual de acuerdo con sus necesidades. El diseño de un esquema de este tipo no es trivial y debe pensarse cuidadosamente para no crear más desigualdades o incentivos perversos (por ejemplo, pretender una falta de interés para merecer el empuje del comportamiento).

Esperamos que estos dos blogs hayan brindado algunas opciones para mejorar el mercado de evaluaciones. Hemos tratado de ser medidos y no controvertidos. Sin embargo, al mismo tiempo, queremos estimular un debate. Así que dinos qué piensas al publicar comentarios en este blog y unirte a la conversación en #LearningMarket.

[1] Revelación completa: el segundo autor está asociado con los orígenes de EGRA y EGMA.

Fuente; https://gemreportunesco.wordpress.com/2019/05/20/the-learning-assessment-market-pointers-for-countries-part-2/