Crítica a las pruebas estandarizadas

Por Silvia Montoya, Directora, Instituto de Estadística de la UNESCO ( UIS ) y Luis Crouch, Economista Principal,  RTI International  [1]

En un blog anterior , argumentamos que el mercado para la evaluación del aprendizaje es muy ineficiente y, por lo tanto, justifica la acción pública. Como son las cosas:

• Más de la mitad de los países no participan en una evaluación transnacional, lo que hace que sea difícil para ellos y para la comunidad internacional evaluar su progreso hacia los indicadores de resultados de aprendizaje en SDG 4.
• Los países que quieran participar en una evaluación transnacional, y las agencias que podrían cubrir el costo, se enfrentan a obstáculos que se interponen en el camino de soluciones eficaces y rentables.

Hoy queremos contribuir aún más al proponer una serie de soluciones posibles para cinco formas de ineficiencia y el problema de la inequidad. Si bien las soluciones tienen diferentes costos políticos y monetarios, todas son relativamente fáciles de adoptar. Y, en un mundo ideal, todos se llevarían a cabo de forma más o menos simultánea, ya que son altamente complementarios entre sí.

Ineficiencia 1: los países no tienen toda la información para tomar una decisión informada sobre el producto de evaluación que necesitan

Solución: Producir una guía para el consumidor sobre los diferentes tipos de evaluaciones . La actual falta de información significa que los países deben hacer su propia investigación para evaluar las opciones. Como mínimo, deben comprender cómo se pueden utilizar las evaluaciones internacionales para: apoyar la agenda nacional; informe sobre los ODS; y ayudar a sus ministerios a tomar decisiones de gestión.

Idealmente, los países desean una evaluación para satisfacer todas estas necesidades de una sola vez. Pero encontrar el ajuste correcto puede ser difícil, por lo que necesitan una mejor orientación. Por ejemplo, un país podría estar pensando en participar en una evaluación internacional aunque tenga una evaluación nacional en el mismo nivel educativo. Para evaluar las opciones, debe comparar los costos y beneficios generales, así como más información técnica para decidir las cuestiones específicas, como los elementos y las construcciones. Al igual que con cualquier producto costoso, los países necesitan una guía para el consumidor que brinde información precisa y objetiva para comparar opciones.

Ineficiencia 2: el costo de participación en evaluaciones transnacionales no es transparente ni uniforme

Solución: Proporcionar información de precios más transparente . En el mercado actual, los consumidores a menudo tienen que regatear, como en un puesto de verduras en la carretera, en lugar de elegir sus productos en un mercado con precios claramente publicados. Si bien el regateo puede llevar a mejores precios para algunos, suele haber gastos ocultos y costos de transacción más altos, y quizás precios más altos para otros. Todos estamos a favor de las negociaciones, pero deben basarse en información de precios transparente. Un organismo oficial podría producir información precisa, completa y actualizada sobre los costos actuales de las evaluaciones, al tiempo que documenta los pasos o las condiciones que pueden ayudar a los países a negociar.

La información de precios debe incluir, como mínimo, los honorarios pagados a la organización de evaluación internacional; costos de oportunidad del conocimiento técnico requerido dentro de las agencias nacionales; costos financieros del despliegue de campo; costos de oportunidad del despliegue de campo si se usa el personal existente. Hoy en día, no hay claridad sobre cuánto cuesta desarrollar un ítem de evaluación, por ejemplo, o realizar una prueba piloto. Y parte de la información es en realidad contradictoria. Por ejemplo, a los países a menudo se les hace creer que al unirse a una evaluación internacional se beneficiarán de las economías de escala. Sin embargo, ¿por qué las tarifas nunca disminuyen a medida que crece el número de participantes?

Ineficiencia 3: los países no necesariamente tienen las herramientas que utilizan sus evaluaciones para los informes globales

Solución: Desarrollar metodologías para vincular las evaluaciones a un nivel de competencia mínimo global. Si los países y las agencias de desarrollo saben más sobre cómo una evaluación se «traduce» en otra, no sentirían la misma presión para «comprar» todas las pruebas posibles, además de su propia evaluación nacional. Los países pueden evaluar mejor las opciones y su relevancia para la formulación de políticas si pueden ver el nivel en el que una evaluación está vinculada a un criterio global. Si uno sabe cómo convertir metros en yardas, no necesita dos palos de medición. Esta información también ayudará a mejorar las habilidades técnicas del personal nacional, al mismo tiempo que apoyará a los socios de desarrollo que financian las evaluaciones como parte de su contribución al ODS 4.

Ineficiencia 4: las barreras técnicas impiden que los productores (incluidos los propios países) ingresen al mercado

Solución: cree bancos de artículos para ayudar a crear evaluaciones sensatas que puedan usarse para informes internacionales.

Uno esperaría que con 25 años de experiencia intensiva en la preparación de evaluaciones transnacionales, sería sencillo copiar este proceso. Nadie argumenta que absolutamente toda la información debe estar en el dominio público, ya que es importante garantizar que las evaluaciones sean válidas y mantener ciertos aspectos confidenciales. Pero el proceso de producir evaluaciones, y el conocimiento de fondo necesario, se ha estandarizado lo suficiente como para que los altos costos actuales no estén justificados.

Un paso hacia la generación de capacidad en los países y la reducción de costos es el uso de inteligencia artificial aplicada a un banco de artículos debidamente alineados con los diferentes ciclos educativos de los países. La plataforma incluiría un banco de preguntas con propiedades técnicas conocidas y probadas. El enfoque también sugeriría formas de combinar los elementos de una manera adecuada, según sea necesario para la presentación de informes. Los países podrían obtener y contribuir con artículos, para construir la evaluación completa si fuera necesario, para ejecutar el modelado que produce los resultados sin tener que comprometerse con los paquetes donde se reduce su propiedad y voz. Un motor de aprendizaje automático permitiría, en un escenario ambicioso, realizar pruebas adaptativas a bajo costo. De manera similar, una forma de avanzar sería desarrollar un conjunto de elementos de las evaluaciones existentes,

Piénselo en términos de un medicamento genérico que sea ligeramente diferente a una alternativa de marca costosa. El banco de ítems y las herramientas de software asociadas podrían ayudar a los nuevos proveedores o países que se auto-proporcionarían, de una manera similar a como la comunidad global ha ayudado a los fabricantes de medicamentos genéricos a desarrollar productos.

Ineficiencia 5: los procesos por los cuales los consumidores y los productores interactúan son una caja negra y no se pueden replicar

Solución: Crear más mercados físicos.A la mayoría de nosotros nos gusta tocar y sentir cosas que compramos. Si estamos comprando una bicicleta o un automóvil, es sensato intentarlo, incluso si terminamos haciendo la compra final en línea. El mercado de evaluación de aprendizaje debe ofrecer la misma experiencia, un lugar donde los usuarios, productores y organizaciones internacionales pueden reunirse y hacer presentaciones de ventas. Algo de esto ya ocurre en conferencias, con eventos paralelos organizados por productores que tratan de educar a los consumidores (pero pocos en los que los consumidores tratan de educar a los productores, en sí mismos una causa de falla del mercado). Pero tal vez debería haber más espacios físicos en el mercado para permitir no solo la comparación de compras, sino también los intercambios donde los consumidores pueden aprender más sobre cómo se producen las evaluaciones y por qué las buenas no tienen que ser tan caras como se podría pensar.

Inequidad: los recursos disponibles para participar en evaluaciones transnacionales y desarrollar capacidades nacionales se asignan de manera desigual.

Solución: transferir poder adquisitivo y habilidades técnicas a los países . Como se señala en el blog anterior.Incluso a los mercados más eficientes no les importa si los consumidores disfrutan de un producto de acuerdo con sus necesidades. Los costos de evaluación son altos, en relación con otros mecanismos de garantía de calidad discrecionales, para los países más pobres. Es posible que necesiten subsidios para cubrir el costo de la participación y el desarrollo de habilidades técnicas, o como un empujón de comportamiento. A medida que el precio de las evaluaciones transnacionales se estandariza y se vuelve transparente, las agencias internacionales deben garantizar que las subvenciones se pongan a disposición de los países con una perspectiva a largo plazo, para garantizar que todos los países se beneficien por igual de acuerdo con sus necesidades. El diseño de un esquema de este tipo no es trivial y debe pensarse cuidadosamente para no crear más desigualdades o incentivos perversos (por ejemplo, pretender una falta de interés para merecer el empuje del comportamiento).

Esperamos que estos dos blogs hayan brindado algunas opciones para mejorar el mercado de evaluaciones. Hemos tratado de ser medidos y no controvertidos. Sin embargo, al mismo tiempo, queremos estimular un debate. Así que dinos qué piensas al publicar comentarios en este blog y unirte a la conversación en #LearningMarket.

[1] Revelación completa: el segundo autor está asociado con los orígenes de EGRA y EGMA.

Fuente; https://gemreportunesco.wordpress.com/2019/05/20/the-learning-assessment-market-pointers-for-countries-part-2/

Por Silvia Montoya, Directora, Instituto de Estadística de la UNESCO ( UIS ) y Luis Crouch, Economista Principal, RTI International [1]

La medición de los resultados de aprendizaje es clave para el Objetivo de Desarrollo Sostenible para la educación (ODS 4). Hay alrededor de una docena de indicadores que miden los resultados de aprendizaje.

Los datos para estos indicadores se proporcionan a través de un mercado. Puede parecer extraño pensar así, pero piénselo por un momento: hay productores de datos, hay consumidores de datos (países, políticos, agencias internacionales e investigadores), y se intercambian bienes y servicios por dinero (precios) para producir datos de evaluación.

Wikipedia, por ejemplo, caracteriza a los mercados como instituciones que “ facilitan el comercio y permiten la distribución y la asignación de recursos en una sociedad. Los mercados permiten que cualquier artículo comercializable sea evaluado y valorado. «Un mercado emerge más o menos espontáneamente o puede ser construido deliberadamente por la interacción humana para permitir el intercambio … de servicios y bienes».

Si bien las características específicas de un mercado varían obviamente, hay dos preguntas centrales: ¿asigna los recursos de manera eficiente y equitativa? En este blog, pedimos esto al mercado de evaluación de aprendizaje, y encontramos que las respuestas se quedan cortas.

¿Es el mercado para evaluaciones de aprendizaje eficiente o equitativo?

Empecemos por la eficiencia . En un mercado eficiente:

1. Hay muchos productores y consumidores que compiten entre sí por el mismo producto.
2. Los productos comercializados son uniformes e indiferenciados.
3. Los consumidores tienen toda la información que necesitan sobre los productos,incluidos detalles sobre cómo se producen (en la jerga de los economistas, no hay «asimetría de la información»)
4. Las técnicas de producción son conocidas por todos y pueden ser copiadas.
5. No hay economías de escala significativas ni barreras de entrada.
6. No hay discriminación de precios: los precios son transparentes y uniformes.

Pero con las evaluaciones de aprendizaje, hay diferenciación de productos. De hecho, ningún «producto» importante vendido en el mercado de evaluación de aprendizaje es el mismo que cualquier otro, y las organizaciones se diferencian a propósito. Algunas evaluaciones tratan sobre las habilidades necesarias para el mercado laboral, otras se basan en el currículo. Algunos están diseñados para la educación primaria, otros se centran en la secundaria inferior. Algunos son dirigidos por los ciudadanos, otros son dirigidos por el gobierno. Y así.

Los consumidores no están bien informados sobre cómo se fabrican los diferentes productos de medición del aprendizaje y cómo se corresponden con sus necesidades específicas. Les cuesta mucho evaluar los diferentes precios y esfuerzos necesarios para desarrollar un producto razonable. Los productores no pueden copiarse fácilmente entre sí, y el conocimiento necesario para producir un producto de buena calidad es arcano.

También existen barreras importantes para que los posibles competidores ingresen al mercado porque es costoso construir un conjunto de buenas preguntas de evaluación de aprendizaje. Los nuevos proveedores generalmente surgen solo para proporcionar un producto diferenciado. Por ejemplo, hay evaluaciones que sirven a diferentes geografías (como iniciativas en Asia Oriental) u ofrecen diferentes formas de administrar e interactuar con la comunidad ( evaluaciones dirigidas por los ciudadanos ) , así como diferentes niveles de educación (por ejemplo, la Evaluación de aprendizaje colegiada , una educación superior). prueba estandarizada en los Estados Unidos ).

También hay discriminación de precios. No todos los países pagan lo mismo. Hay alguna negociación sobre precios y diferentes niveles de subsidios. También hay intermediación. En muchos casos, los precios se negocian entre terceros pagadores (por ejemplo, socios de desarrollo) y el productor. Esto puede ser bueno en algunos aspectos (por ejemplo, los pobres pagan menos), pero también resulta en la no transparencia de los precios.

Ahora pasemos a la equidad . La conclusión es que a los mercados no les importa la igualdad o la justicia. Un mercado puede simplemente no funcionar para aquellos sin poder adquisitivo. Un mercado puede tener un problema de capital importante y aún no puede considerarse un fracaso en el sentido clásico.

Ningún mercado del mundo real cumple todas las condiciones enumeradas en el artículo de Wikipedia. En la mayoría de los casos, algunas de las condiciones citadas anteriormente se violan al menos un poco.

El problema es que en el mercado se violan todas las condiciones para las evaluaciones de aprendizaje, y no solo un poco: al menos algunas características son el opuesto diametral de las necesarias para los mercados eficientes y equitativos.

Cómo arreglar una falla de mercado

Cuando los mercados son ineficientes de esta manera, se dice que hay un «fallo de mercado». Esto podría justificar una acción pública o colectiva.

Alguien podría abogar por una toma pública de estas funciones. Otro enfoque es la «conformación del mercado»: el sector público puede inducir a los mercados a ser más eficientes. En el sector de la salud , las organizaciones internacionales dieron forma al mercado de los medicamentos antirretrovirales para el VIH / SIDA para mejorar la producción, las adquisiciones y los precios. Este ha sido, posiblemente, una de las intervenciones individuales más exitosas de los últimos 30 años, lo que probablemente ayudó a salvar millones de vidas.

Para mejorar tanto la eficiencia como la equidad en el mercado de evaluación, piense en tres soluciones:

Una es sistematizar la información del mercado publicando más información para los usuarios sobre qué evaluación es adecuada para su propósito, cuál es un precio razonable para pagar, etc. Varias agencias públicas, como el Banco Mundial, han publicado dichas guías. Se podría hacer más, especialmente con respecto a la información de precios, y se podría hacer más para difundir este conocimiento.

Otra idea es crear información gratuita sobre cómo elaborar una evaluación decente. Un banco de ítems de preguntas de evaluación que funcionan bien e información sobre cómo juntar tales preguntas podría ser un ejemplo. Una idea similar es establecer políticas y procedimientos técnicos para las evaluaciones , como las evaluaciones dirigidas por los ciudadanos o las evaluaciones de grado inicial. El UIS ha comenzado a trabajar en esta dirección, pero se podría hacer más.

Finalmente, desde el punto de vista de la equidad, sería útil considerar transferir el poder de compra a quienes lo necesitan , ya sea porque son muy pobres o simplemente porque necesitan el empuje del comportamiento. Pero tales mecanismos de subsidio deben ser transparentes, explícitos y diseñados cuidadosamente.

Esta es una discusión importante para cualquiera que trabaje en SDG 4. El deseo global de progresar en el aprendizaje, y no solo en el acceso, es un pilar central, pero también puede haber contribuido, quizás sin quererlo, al mercado con el que nos encontramos hoy. Pero a los mercados no les importa la justicia o la igualdad; rara vez se configuran para trabajar para aquellos sin poder adquisitivo. Algo debe hacerse, por lo tanto, para nivelar el campo de juego.

Estén atentos para más detalles e ideas.

Mientras tanto, agradecemos sus comentarios aquí y utilizando #LearningMarket.

[1] Divulgación completa: uno de los autores está asociado con los orígenes de las evaluaciones EGRA y EGMA.

Fuente: https://gemreportunesco.wordpress.com/2019/04/26/the-learning-assessment-market-pointers-for-countries-part-1/