sábado, 22 de diciembre de 2012

Los logros de aprendizaje en el Plan de Estudios



Los logros de aprendizaje en el Plan de Estudios

Logros o Actividades?
Antes de que los distintos individuos comiencen a elaborar el plan de estudios, es necesario distinguir claramente cuáles serán los logros de aprendizaje y cuáles los contenidos y actividades que estructurarán el plan.

Los logros de aprendizaje
Son el resultado que se propone alcanzar el programa de educación y capacitación: es decir qué tipo de estudiante deberá graduarse en este programa de estudios. Según el enfoque de conocimiento-aptitudes-actitudes, estos logros deben fijarse separadamente en esas tres áreas.
El plan de estudios por lo tanto tendrá que establecer:

  • lo que los estudiantes deben saber cuando termine el curso (conocimiento)
  • lo que deben saber hacer (aptitudes); y
  • qué clase de personas deberán ser (actitudes).

El plan de estudios
Abarca tanto los logros de aprendizaje, como el programa que los estudiantes emprenderán, además del contexto en donde se llevarán a cabo las actividades que les ayudarán a alcanzar esos logros.

No siempre es fácil mantener una distinción entre los logros de aprendizaje y el programa en sí. Cuando se hable del componente de conocimientos necesarios, por ejemplo, algunos participantes harán una lista considerable de áreas de conocimientos que ellos consideran deban adquirir los graduados de cualquier curso. Esto hará inevitable que se entable un debate sobre cuál área de actividades aportará ese conocimiento. Sin embargo, determinar lo que deberían saber los graduados y cómo estos deberían adquirir ese conocimiento, son cosas diferentes, dado que existen distintas maneras de adquirir nuevos conocimientos. Por lo tanto, será útil que estos dos elementos se mantengan separados cuando se redacte el plan de estudios.

Muchos individuos estarán más interesados en determinar cuáles deben ser los logros de aprendizaje y no las actividades de aprendizaje en sí. Esto es lo máximo que podrá esperarse de ellos. Algunos considerarán que no saben cuál sea la mejor manera de alcanzar esos logros. Otros podrían no saber con cuáles recursos se cuenta para poder alcanzarlos. Es probable que algunos de ellos ignoren cuáles expectativas traerán los estudiantes consigo, o qué tipo de actividades desean o pueden emprender. Estos individuos preferirán dejar en manos de otros, los temas que consideran ser, más bien, una prerrogativa de los expertos.


Enfoques de elaboración basados en conocimiento-aptitudes- actitudes

La mayoría de los individuos habrá sido educada en el sistema de educación formal, en donde se hace hincapié en la transferencia de conocimiento. Por lo tanto, sus consideraciones serán muy semejantes a la de muchos docentes: los estudiantes deben aprender del maestro y/o libros de texto y repetir lo que han aprendido mediante algún tipo de examen. Lo que es más, la mayoría de ellos formará parte del grupo que más se ha beneficiado con ese tipo de sistema. Estos habrán aprobado exámenes, acumulado certificados y otras calificaciones y tenderán a creer que la educación significa conocimiento, y sobre todo, considerarán, que la teoría es algo superior al conocimiento práctico.
Pero esta definición no corresponderá a todos los individuos. Los patronos, por ejemplo, pondrán mayor énfasis en el conocimiento práctico y no en la teoría. Los agricultores, que suelen tener una educación menos formal, pondrán mayor énfasis en las aptitudes prácticas y a veces en las características personales que se poseen respecto al conocimiento práctico.
Es por ello que para mantener un equilibrio entre el conocimiento, las aptitudes y las actitudes, es necesario involucrar en la elaboración del plan de estudios, a una amplia gama de individuos, tales como los agricultores y otros.
Una de las maneras de garantizar que existe una participación eficaz de los individuos, consiste en tomar en cuenta sus intereses particulares. Por ejemplo, solicitando a los individuos provenientes del patronato, que expresen detalladamente las características que debería tener un empleado potencial si les tocara a ellos hacer la entrevista, por ejemplo:
  • qué tipo de conocimiento consideran debería tener un empleado potencial;
  • qué clase de aptitudes debería haber desarrollado ya; y
  • qué clase de actitudes desearían que este tuviera.
Lo mismo podría hacerse con otros grupos de individuos, sea a través del debate o de una dramatización. El análisis de las tareas y la redacción de facsímiles de descripciones de trabajo también podrán ser herramientas para trabajar con los diferentes individuos, dado que cada uno de ellos verá el trabajo y las tareas de manera distinta. En cada caso, los elementos para el crecimiento personal, vinculados a los logros de aprendizaje, serán tan importantes como los logros de conocimiento y aptitudes.

Redactando los logros de aprendizaje
Como vemos un objetivo equivale a resumir lo que los estudiantes deberían ser o lo que deberían ser capaces de hacer después de haber concluido, con éxito, un curso, una capacitación, o una experiencia didáctica determinada. Es decir, que debería haber un cambio en la conducta del estudiante, el cual pueda ser medido de alguna manera. A veces los logros pueden dividirse en dos categorías: generales y específicos; en otros casos, estos se expresan sólo mediante descripciones específicas.


Muchos docentes y capacitadores planifican la enseñanza en términos de lo que harán ellos. El punto más importante es recordar que los logros deben estar expresados en términos de lo que el estudiante será capaz de hacer después del período de aprendizaje. Pero para lograrlo se necesita quitar énfasis a lo que los docentes/capacitadores harán y poner más hincapié en lo que los estudiantes deberán hacer. Si se aferra este concepto se tiene la clave para redactar los logros de aprendizaje.

Cuando preparen los logros específicos, los elaboradores del plan de estudios deberán tratar de asegurarse que:

  • los logros estén descritos en términos de lo que los estudiantes serán capaces de hacer después del curso
  • la conducta deseada haya sido identificada en términos precisos y especificar que esta conducta podrá ser observada (una evaluación de estas actividades debería ser posible). Dicha conducta estará relacionada con el conocimiento, las aptitudes o actitudes;
  • las condiciones en que la conducta deseada deba manifestarse hayan sido estableadas;
  • el criterio o desempeño estándar que el estudiante debe lograr para que se le considere aceptable haya sido fijado.

Por ejemplo:

Al final de esta clase, el estudiante debería ser capaz de escribir, de manera lo suficientemente específica, los logros de conducta necesarios para impartir un curso en agricultura

Por lo tanto, cuando se escriban los logros hay que tomar en cuenta una serie de pasos:
  • determinar el cambio de conducta: Para lograr este objetivo, el estudiante debe cambiar su conducta. Para evaluar si esto ha ocurrido, es necesario contar con evidencias. Esto se puede lograr al incluir un verbo que describa la acción que el estudiante deberá ser capaz de realizar después de haber concluido su período de aprendizaje, por ejemplo, resolver, definir, identificar, reconocer, hacer una lista, enumerar, construir, expresar, explicar, o seleccionar. Algunos verbos deberían ser evitados en la medida de lo posible, por ejemplo, saber, entender, disfrutar, pensar, o apreciar.
  • establecer la condición bajo la cual el cambio de conducta debería manifestarse (por ejemplo, período de tiempo, etc.); y
  • especificar criterios de desempeño aceptables.

Considere un ejemplo de objetivo que establezca lo que un estudiante debería hacer para construir un gallinero. Es aceptable este objetivo  tal como lo describió?

-
Conducta: qué esperamos que el estudiante haga? Para "saber como" construir un gallinero o llevar a cabo esa construcción? Supongamos que esperamos que los estudiantes realicen la actividad de construcción - esto puede ser evaluado.
-

Estableciendo las condiciones: es necesario establecer claramente bajo cuáles condiciones se debe lograr ese objetivo. Si hubiera que indicar que el estudiante "debería ser capaz de construir un gallinero", en cuánto tiempo debería lograrlo? Un mes? Un año?
Podemos establecer una medida para este objetivo al indicar que, "al final del curso, el estudiante debería ser capaz de construir un gallinero dentro de un período establecido".
-
Especificando los criterios: Es necesario que nos preguntemos algunas cosas más sobre la tarea que el estudiante debe realizar. Cuán grande debe ser el gallinero? Cuántas gallinas debería tener? Es para gallinas u otro tipo de aves? de qué materiales debería estar hecho? Cuánto espacio debería tener cada ave? Y por supuesto debería estar bien construido, ser estable, sólido y duradero, capaz de resistir a la intemperie.
Es evidente que hay que especificar con cuáles criterios deberá cumplir el estudiante, por ejemplo, el gallinero debería estar hecho de madera y techado de paja, y tener capacidad para 50 gallinas ponedoras.

Nuestro objetivo final podría ser, por lo tanto:

Afínales de este curso, los estudiantes serán capaces de construir, en  un período de tiempo determinado, un gallinero bien hecho, de madera  y con techado de paja, con capacidad para 50 gallinas ponedoras, y el  espacio individual recomendado para cada ave.
Una manera abreviada para recordar que los objetivos deberían estar escritos según el enfoque es pensar en logros "INTELIGENTES". Esto significa que los logros deberían ser:

E = específicos
M = mensurables
A = alcanzables
R = realistas
T = tener un tiempo determinado

Límites a los logros
Los logros específicos son más útiles cuando se tratan las áreas de conocimiento y aptitudes, pues existen muchas maneras de evaluar la adquisición de ambos. En cambio, la adquisición de actitudes es mucho más difícil de medir, porque ello implica un grado de subjetividad mayor, tanto de parte de los estudiantes, como de los docentes. Esto significa que, dada la utilidad de los logros, es probable que los docentes vean al grupo de estudiantes como un todo homogéneo.

La utilización de logros no debería suprimir la individualidad de los estudiantes en su manera de enfocar el aprendizaje, o ignorar la diversidad de experiencias que estos poseen. Tampoco debería limitar la apreciación de lo que puede ser aprendido de manera inesperada, respecto a los logros fijados, dado que mucho del aprendizaje importante resulta ser imprevisto.

Podría interesarle considerar las siguientes preguntas:

Cuáles son los logros de aprendizaje que desea alcancen los estudiantes en términos de:
  • el conocimiento que deberían tener

  •  las aptitudes que necesitan desarrollar

  •  las actitudes que desea que refuercen


Seleccionando los logros de aprendizaje.

Uno de los elementos que emergen a partir del trabajo con enfoques participativos, aplicados a la elaboración de un plan de estudios, es que los puntos de vista de los distintos grupos de individuos son muy diferentes entre sí. Un breve momento de reflexión nos dirá que esto es comprensible. Lo que un ministerio de agricultura desea que aprendan los estudiantes, no siempre corresponderá a lo que los patronos o .agricultores desean obtener de los graduados. Un grupo de individuos puede esperar que los estudiantes acepten sin ningún cuestionamiento un conjunto de conocimientos, a fin de que lo transmitan a otros sin cometer errores y a medida que lo necesiten. Otros individuos esperaran que los estudiantes se vuelvan ‘planteadores de problemas' - personas que cuestionan, que desafían el ambiente circunstante, que quieren cambiar la sociedad, novadores y creadores que experimentan y prueban cosas nuevas, aun si en el proceso cometen errores

Seleccionando los Logros de aprendizaje:

El área en donde suele haber más saturación de propuestas es la que se encargo de definir el contenido del curso, es decir la que deberá incluir los conocimientos básicos que los distintos grupos consideran necesarios.
Es sorprendente observar cuán intensos pueden ser los debates relativos a la materia de enseñanza en un curso. Distintos miembros del personal debatirán largamente para que una determinada cantidad de conocimientos de su respectivo campo sea incluida en el plan de estudios. El personal externo de un instituto y otros grupos argumentarán con igual énfasis que es necesario establecer distintas áreas de conocimiento.

Todos sabemos cuán difícil es incorporar materias nuevas en un plan de estudios ya establecido.
 Todos hemos escuchado esta lamentación: "si hay que incluir clases en esta u otra materia, más de alguna habrá que excluir, pero cuál?" Sin embargo, hay que tomar en cuenta que el conocimiento nuevo se produce constantemente.

Sin embargo, las decisiones difíciles forman parte de la enseñanza, creación y planificación de la educación y capacitación.

En este caso, se manifestará todo tipo de sistemas de valores. Como ya observamos antes, mucha gente considera que la ciencia pura es superior a la ciencia aplicada, porque esta permite al estudiante resolver una serie de problemas distintos, respecto al conocimiento más elemental. Otros consideran que hay que poner más hincapié en las materias 'verdaderamente útiles', es decir en la información práctica y directamente relacionada con el tema. Cómo debe proceder el elaborador del plan de estudios para determinar cuáles conocimientos hay que incluir y cuáles hay que excluir?

Procedamos a considerar dos puntos. El primero consiste en que los elaboradores de planes de estudios raramente pueden elegir libremente. La mayoría tiene que revisar un plan ya existente. Es decir que heredaron mucho del pasado. Aún cuando tienen la ocasión de crear algo nuevo desde el principio, su propia experiencia educativa ejercerá una influencia a favor de determinadas áreas de estudio y distintas clases de actividades que estos consideran importantes. Estas consideraciones necesitan ser examinadas cuidadosamente antes de tomar una decisión final.
El segundo punto es, si los elaboradores podrán emprender una actividad completamente participativa - si podrán animar a los individuos a proporcionar tanto sus opiniones acerca de lo que se necesita incluir en el plan de estudios, como también pedirles que contribuyan a decidir qué debe ser excluido. Las circunstancias en las que se desarrolle el plan, indicarán que algunos participarán con más facilidad en un proceso plenamente participativo, que otros.
Por supuesto, al decidir cuáles áreas deberán ser incluidas y cuáles no, el grupo que elabora el plan estará influenciado por una jerarquía de valores. Algunos miembros del grupo tenderán a dar mayor importancia a las opiniones de algunos individuos respecto a otros. Estos pueden ser influenciados por el hecho de que algunas ideas sean propuestas únicamente por uno o dos individuos, mientras que otros temas aparecerán entre la lista de prioridades de cada uno de los participantes. Una vez más, los elaboradores deben tener una idea clara sobre los criterios que serán utilizados para determinar cuáles temas quedarán incluidos y cuáles no.

Un elemento clave en esta tarea, es que resulta necesario promover la capacidad y voluntad de los estudiantes para que adopten nuevo conocimiento, y que no piensen que


el aprendizaje se acaba cuando estos terminan los estudios, (ver punto clave No.9 aprendizaje futuro).

Implicaciones del aprendizaje de toda una vida en el plan de estudios
Varias consecuencias relacionadas con el plan de estudios, y por supuesto, con su aplicación práctica, se derivan a partir de aquí.

Un estudiante calificado pero no completamente capacitado
Nunca se debe dar a los estudiantes la impresión de que al terminar el curso ya aprendieron todo lo necesario para el resto de sus vidas profesionales. La práctica de otorgar certificados al final de los cursos, desafortunadamente lleva a los estudiantes (y a sus patronos, y aún a sus padres) a pensar qué ya lo saben todo porque ya fueron calificados. El diploma o certificado no los anima a seguir estudiando y aprendiendo, y tampoco contribuye a planificar su propio aprendizaje y crecimiento en materia de conocimiento y saber. Hasta ahora nadie ha aportado una solución a este problema y la proliferación de diplomas y certificados en áreas que tradicionalmente no los otorgaban, no contribuye a incentivar el aprendizaje continuo. Aprobar un exámen y obtener un certificado es una etapa del proceso de desarrollo - una etapa importante, pero sólo una de tantas.

Representatividad de las áreas de estudio
Una segunda conclusión surge a raíz de este argumento: la selección de las materias a incluir en el plan de estudios debería basarse más en la representatividad que tiene un área de estudios y no en el concepto de conocimiento público, es decir lo que los demás esperan que un graduado sepa. Hasta qué punto el estudio de esta u otra materia abrirá nuevas puertas, introducirá nuevas ideas y conceptos? Hasta dónde incentivará al estudiante a seguir aprendiendo? Hasta dónde podrá demostrar métodos de enfoque diferentes, o distintas gamas de fuentes de conocimiento? Hasta dónde puede ser utilizado por el estudiante para construir, a partir de allí, nuevos espacios de conocimiento?

Profundidad versus amplitud
Algunas áreas de estudio pueden enfrentarse mejor a través de una apreciación de conjunto, dejando que el estudiante profundice más adelante y a medida que lo necesite. Se pueden afrontar otras áreas, a través de uno o dos casos de estudio detallados, dejando todo el resto para que el estudiante lo trate sucesivamente. Es mejor aceptar la idea de que ninguna materia puede ser enseñada de manera exhaustiva. Está al docente indicar a los estudiantes que ellos sólo se encargan de abrirles las puertas, introduciéndolos a nuevos campos que deben explorar, a nuevos temas que deben tratar y a nuevas fuentes que deben utilizar.



'Aprender' más que 'enseñar'
Uno de los resultados que produce la simple inclusión de esta u otra materia, es que las actividades consisten en enseñar más, y en aprender menos. El docente cree que debe cubrir este y aquel tema, aunque los estudiantes no logren 'mantener' el ritmo del docente. Cuán a menudo se escucha decir en una clase "no puedo tratar ese tema ahora, tenemos que seguir". La presión que ejercen los exámenes, a menudo lleva al docente a correr, a tratarlo todo antes de que se realicen las pruebas. Pero de qué sirve que el docente enseñe, si los estudiantes no aprenden? Esto resulta ser una pérdida de tiempo para todos. Es mucho más importante que los estudiantes resuelvan los problemas por sí mismos, en lugar de que sea el docente quien les dice todo, aún si esto significa que no lograrán cubrir todos los argumentos.
Por lo tanto, el plan de estudios tendrá que hacer hincapié en lo que los estudiantes necesitan para adquirir nuevos conocimientos y comprensión, en lugar de concentrarse en lo que los docentes deben hacer.

Aprendiendo a aprender
A partir de aquí se desprende una cuarta conclusión Hay que animar a los estudiantes para que observen cómo aprenden. Ya vimos que los estudiantes tienen distintas maneras de aprender. Cada estudiante debería contar con la ayuda que le permita identificar y desarrollar otras maneras de aprender mejor. Estos deberían disponer de oportunidades para ‘aprender a aprender’ más y mejor, a medida que el curso se desarrolla. La mayoría de los docentes en la universidad hablan con sus estudiantes sobre lo que han aprendido, pero raramente afrontan el tema de cómo lo aprendieron. Por ejemplo, al devolver los ensayos o informes, los docentes comentan el contenido y estilo del trabajo, pero raramente el proceso -"cómo lo hiciste". Sin embargo, si los docentes deben animar a sus estudiantes a seguir aprendiendo de mejor manera, después de que los cursos hayan terminado -sobre todo porque no pueden enseñarles todo lo que necesitan saber para realizar su trabajo- entonces es mejor que los ayuden a observar por sí mismos cómo enfrentan el proceso de estudio, cómo escriben sus notas, cómo diseñan sus ensayos, etc. Sobre todo, en lo que se refiere al material escrito, que a menudo es visto como una prueba del conocimiento y no como una oportunidad de practicar las aptitudes para el aprendizaje. Tal vez los estudiantes deberían ser alentados para que vuelvan a escribir algunos de sus ensayos, ya que esto significa una práctica que les ayudará a aprender, y no exclusivamente un ejercicio de memoria.

Por lo tanto, los elaboradores del plan de estudios necesitarán espacio para incluir las actividades relacionadas con el desarrollo de aptitudes de aprendizaje, a realizar con los estudiantes mismos. El propósito principal de esta parte del plan de estudios no sólo es llenar las cabezas de los estudiantes con conocimientos, sino ayudarles a buscar el conocimiento por sí mismos. Según observamos, algunos estudiantes tendrán una buena capacidad para memorizar y repetir.



Pero aquellos que no poseen esta habilidad pueden recibir apoyo para que desarrollen sus propias maneras de adquirir conocimiento, mediante una variedad de formas, distintas al simple uso de la memoria.

Conclusión

La conclusión de este argumento es que cuando nos enfrentamos a una cantidad exagerada de materias a ser incluidas en un plan de estudios, algo inevitable cuando se utilizan métodos participativos, los elaboradores del plan deberían evitar la saturación. De preferencia, deberían seleccionar áreas de estudio representativas que ilustren cómo puede ser estudiada esa materia. El plan debería estar diseñado para asegurarse de que los estudiantes entiendan que apenas están comenzando el proceso para convertirse en agrónomos, por ejemplo. Estos deberían sentir que el curso es sólo una manera de inducirlos a comenzar un proceso y no a terminarlo.
Sin embargo, los docentes actuarán de esta manera sólo si ellos mismos continuarán su trabajo de profundización en su propia materia, si ellos mismos aprenden cosas nuevas y emprenden un estudio autónomo en su campo. Nadie puede enseñar de manera eficaz, a menos de que él mismo esté aprendiendo. El mejor docente es un docente que está aprendiendo. Ningún catedrático sabe todo lo que es necesario saber en su campo. Todos tenemos que seguir aprendiendo.

Seleccionando los logros para desarrollar aptitudes :
Es necesario recordar que estamos tratando una gran variedad de aptitudes, tanto motoras, como mentales, es decir la habilidad de hacer cosas y la habilidad de pensarlas.
Muchas de las consideraciones anteriores sobre el conocimiento, se aplican también al área de las aptitudes. Pero los estudios de caso de Namibia y Jamaica sugieren que los individuos competirán menos por el espacio en el plan de estudios. Es probable que haya más acuerdo entre los individuos y menos sobrecarga de propuestas en el área del desarrollo de aptitudes.
Sin embargo, los mismos problemas surgirán si la lista de logros para el aprendizaje de aptitudes que presentaron los distintos individuos es muy larga.

Cómo se aprenden las aptitudes?
La manera más corriente de aprender nuevas aptitudes en el campo de los programas de educación y capacitación, es a través de las demostraciones. Sin embargo, el docente debe recordar, según observamos anteriormente, que los estudiantes aprenderán tanto de la manera como se les enseña, como del contenido de lo que se les imparte. Es a partir de la manera en que el docente enseña, que estos aprenderán la mayoría de sus aptitudes para comunicar con los demás. Desde un punto de vista más formal, la dramatización y la simulación pueden ser formas importantes de ejercitar las aptitudes, pero el verdadero aprendizaje se realiza cuando los estudiantes se encuentran en situaciones que requieren

el desarrollo de aptitudes para realizar una tarea determinada, en lugar de practicar simplemente en circunstancias artificiales y bajo supervisión. La práctica, a través de pasantías y otras formas de trabajo práctico 'real' ayudará a los estudiantes a desarrollar aptitudes mientras alguien los supervisa.
Elegir cuáles estrategias utilizar para desarrollar las aptitudes, forma parte del proceso de elaboración del plan de estudios. El desarrollo del plan no es sólo una tarea de los planificadores antes de que comience el curso, también es una tarea del docente que interpretara y ejecutará el programa del curso.

Lo más importante en relación con el desarrollo de aptitudes, en el contexto del plan de estudios, es que se requieren muchas oportunidades, espacio y tiempo para practicar. Los estudiantes necesitan probar una y otra vez a fin de avanzar en sus aptitudes, se trata de un proceso que deberán continuar después de terminar el curso, ejerciéndolo en su respectiva profesión. La clave para adquirir aptitudes, al igual que conocimiento, no es enseñar a los estudiantes, sino pedirles que realicen determinadas actividades para aprender las aptitudes necesarias. La práctica, seguida de una reflexión crítica y de nueva práctica, es la manera de desarrollar aptitudes.

Entonces, tanto la reflexión crítica sobre la experiencia, como otras aptitudes mentales, tendrán que ser puestas en práctica una y otra vez, a fin de que los estudiantes las aprendan. Por lo tanto será necesario ayudar explícitamente a los estudiantes a llevar a cabo estas actividades.

Aptitudes para aprender
Las aptitudes necesarias para realizar un desarrollo autónomo, generalmente suelen ser promovidas sin ninguna planificación. Esto se debe, en gran parte, a que las instituciones educativas tradicionales hacen hincapié en la transferencia de conocimiento, y no en la promoción de la reflexión crítica, que (según vimos anteriormente) constituye el principal proceso para seguir realizando el crecimiento personal. Pero también hay aptitudes de aprendizaje que pueden seguir siendo desarrolladas. Muchas de las universidades abiertas que existen en el mundo han notado que la primera cosa que los estudiantes solicitan en sus programas de estudio, son cursos para desarrollar sus capacidades de estudiar.
Resulta extraño que la mayoría de instituciones educativas formales ignore cuan necesario sea desarrollar la capacidad de 'aprender a aprender'.

La capacidad de leer y resumir argumentos, de crear modelos para el conocimiento, de memorizar, de estructurar y escribir textos, de desarrollar procesos eficaces para tomar notas, de pensar de manera sistemática, de calcular, de analizar la experiencia, de comprobar información nueva, desafiando las opiniones ya establecidas - todas estas y otras estrategias para aprender eficazmente tienen que ser aprendidas de manera tan apropiada como cualquier materia, por ejemplo la agricultura, la enseñanza. Todas ellas tendrán que ser puestas en práctica sistemática y reiteradamente.

A lo largo de todo el proceso de desarrollo de aptitudes, será necesario contar con una supervisión cuidadosa, y sobre todo, con un apoyo constante. La mayor parte de la supervisión ha sido diseñada para corregir a los estudiantes y se basa en la crítica. Pero lo que los estudiantes requieren, más que la crítica, es el apoyo y la asistencia. Para que los estudiantes desarrollen sus aptitudes, estos deberán reforzar la confianza en sí mismos. En la mayoría de los casos, esto puede lograrse si se les hace sentir bien y no mal, respecto a su trabajo. Todo esto formará parte del plan de estudios.

Seleccionando las actitudes en el plan de estudios
La aplicación de los métodos participativos en la elaboración del plan de estudios significa que los elaboradores recolectarán una amplia gama de actitudes de parte de los distintos individuos, que a su vez, puedan ser expresadas a través del plan. Según vimos anteriormente (página 90), existe una diferencia fundamental entre aquellos que quieren animar a los estudiantes a acomodarse en el contexto social o en una organización, y quienes desean ayudarles a convertirse en personas innovadoras, que tratarán de cambiar a la sociedad y sus organizaciones.

Las actitudes se desarrollan lentamente y de manera incierta. Las actitudes que cambian, surgen más a partir de las acciones y no de la enseñanza directa. Además estas son el resultado de la interacción entre distintos grupos.

Actitudes sobre el desarrollo personal
Una de las maneras más efectivas de desarrollar actitudes positivas es a través de la formación de grupos de aprendizaje activos o subgrupos encargados de tareas, a quienes se incentiva para que desarrollen las actitudes de libertad y responsabilidad para ejecutar dichas tareas ellos mismos, así como la libertad de pronunciar sus propias opiniones respecto a lo que han logrado o no. Las formas participativas de la pedagogía figuran entre las formas más efectivas para crear el compromiso y el entusiasmo. Tratar a los estudiantes como profesionales les ayudará a sentirse más seguros y a desarrollar sus actitudes profesionales.
El personal docente de una institución educativa tendrá que servir de modelo a este respecto. Los estudiantes sólo llegarán a comprometerse, y confiar y expresar sus capacidades innovativas y apertura mental a las ideas nuevas, si ven en sus maestros actitudes que puedan servirles de modelo.

Promoviendo cambios en la conducta
La meta final de un plan de estudios es promover cambios de conducta.  Pero lograr que los programas de aprendizaje se traduzcan en cambios de conducta no es algo automático. Existen otras barreras que se interponen entre los programas y la puesta en práctica de los cambios de conducta. La mayoría de estas barreras son externas al programa de aprendizaje, por ejemplo, un programa de enseñanza sobre fertilizantes puede ser ineficaz aunque los alumnos tengan buena preparación, estén motivados y confíen en cuál sea la manera más apropiada de usar fertilizantes, si no disponen de ellos durante la estación oportuna. El plan de estudios debería tratar de identificar la mayor cantidad de barreras posible y tratar de ayudar a los estudiantes a diseñar maneras para contrarrestarlas. Esta es una parte del proceso de elaboración del plan de estudios en el cual la contribución de los individuos será particularmente valiosa.

Equilibrando los logros
Frente a una gama tan amplia de logros de aprendizaje, contenidos y procesos que habrá que incluir en el plan de estudios, y para los cuales se cuenta con un tiempo limitado, surge una interrogante: Cómo puede establecerse un equilibrio entre las diferentes áreas a crear? Para esto será necesario llevar a cabo un proceso de selección.
Tal vez el elemento clave que necesitamos enfrentar aquí es, cuáles logros deben predominar en nuestros programas? Serán los propuestos por los educadores, por los otros individuos o, por los estudiantes? Es posible alcanzar un equilibrio en esto? El debate en el capítulo relativo a la contribución y papel de los distintos individuos ponía de relieve algunas dificultades a este respecto.
Asimismo, es importante mantener cierta flexibilidad dentro del plan. Necesidades nuevas pueden surgir a partir de los estudiantes, los cuales pueden cambiar el curso a medida que este progresa. Una solución consiste en ofrecer a los estudiantes distintos cursos mediante varias opciones o módulos, que correspondan a sus necesidades y preferencias. Esto tiene implicaciones muy evidentes en el plan, especialmente en lo que concierne el diseño de calendarios, la administración y asignación de recursos, el tipo de guía que se proporciona a los estudiantes, etc.

Conclusión
Será útil hacer un resumen de las etapas de elaboración del plan de estudios en función de los individuos identificados. Los siguientes podrían ser los pasos a seguir:
  • recolectar a partir de los individuos, listas de logros de aprendizaje en las áreas de conocimientos, aptitudes y actitudes;
  • amalgamar estas listas de logros de aprendizaje; y
  • seleccionar aquellos logros que deberían ser incluidos en el plan de estudios, tomando en cuenta el tiempo y los recursos disponibles, así como aquellos que pueden ser pospuestos para programas sucesivos.
Una vez que se haya hecho esta síntesis, es posible comenzar a definir qué clase de actividades educativas y de capacitación, así como la clase de contexto necesario para desarrollar estos logros de conocimiento-aptitudes-actitudes. Este es el tema de la próxima parte del capítulo.

A veces los planificadores consideran que una vez hayan fijado los logros didácticos, el plan de estudios está listo para ser utilizado. Algunos dejan los detalles del plan a los docentes o capacitadores, dado que "ellos saben mejor cómo hacerlo". Los individuos externos, sobre todo, tenderán a creer que su trabajo ya ha terminado.

Sin embargo, la ejecución del plan es una actividad tan integral como la de determinar los logros del mismo. Como observamos antes, los métodos a utilizar en nuestros programas de enseñanza-aprendizaje no pueden ser separados del contenido de los logros. Además, es precisamente durante la fase de ejecución del plan, que el proceso suele romperse. Es por ello que se requiere una atención especial en la fase de ejecución.
En el presente y el siguiente capítulo, trataremos dos argumentos que en realidad son complementarios e interdependientes:

  • la planificación de la ejecución; y
  • el manejo del proceso de ejecución.

Planificación de la ejecución
Al reflexionar de qué manera se puede ejecutar el plan de estudios, es importante que los elaboradores tomen en cuenta las distintas maneras en que se puede impartir un curso.
Todos aquellos que se encuentran involucrados en la docencia deben también actuar como administradores. Para enseñar y facilitar el aprendizaje, es necesario tomar muchas decisiones. De igual manera, cualquiera que trabaje en una organización de capacitación, aunque no se encargue exactamente de la docencia, tendrá que tomar decisiones que pueden afectar la enseñanza y el aprendizaje dentro de esa organización.
Hay dos aspectos importantes en este proceso administrativo que están directamente relacionados con el plan de estudios.
  • la selección del contenido y los métodos; y
  • la organización de las actividades.
Es necesario que ambas actividades se compartan con los demás individuos, especialmente con los estudiantes.
Selección del contenido
Varios autores, especialistas en educación y en planes de estudios  observan que los docentes y capacitadores tienden a concentrarse en decisiones relacionadas con la enseñanza y no con el aprendizaje.
Los docentes y capacitadores piensan más acerca de lo que ellos deben hacer y menos en lo que los alumnos deberán hacer, o en las experiencias que los estudiantes tendrán que realizar para aprender.

Algunos docentes deciden que la mejor manera de manejar el aprendizaje es hablar constantemente, y 'llenar' a los estudiantes como si estos fueran recipientes vacíos.
Pero como hemos visto antes,
  • los estudiantes aprenden por sí mismos; los docentes no pueden aprender por ellos;
  • además aprenden a su medida, y a su modo;
  • cuando los estudiantes son responsables de su propio aprendizaje se sienten más motivados para aprender.


Esto significa que las decisiones que el docente-administrador toma, se refieren tanto a las actividades del estudiante como a las del docente.

Flexibilidad en el contenido

Una de las razones que puede provocar el fracaso del plan de estudios es la manera en que se estructurará la ejecución del plan, sobre todo cuando existe rigidez en la planificación del mismo. Incorporar un elemento de flexibilidad en la estructura del plan puede resolver estos problemas muy a menudo. Las técnicas como la división en módulos o el uso de un 'menú’ de opciones pueden proporcionar parte de esta flexibilidad. Al ofrecer distintas opciones de capacitación a los estudiantes, estos pueden tomar decisiones sobre la manera en que desean seguir y dirigir su propio aprendizaje. El apoyo y la guía que se proporcione individualmente a cada estudiante, también puede ser importante en este proceso.

Organizando el contenido

Para facilitar el aprendizaje, es necesario que tanto las actividades, como las experiencias puestas a disposición de los estudiantes, estén bien organizadas. A menudo esta tarea es llevada a cabo por los ejecutores del plan, es decir los docentes. Lo ideal es que también los estudiantes participen en este proceso, a través de la creación de 'contratos' de aprendizaje. Sin embargo, a menudo resulta necesario planificar estas actividades, dado que los recursos deben estar disponibles con antelación.
Dividiendo en secuencias tanto los contenidos como las actividades
El plan debe ser lo suficientemente flexible para que los estudiantes expresen sus opiniones sobre la ejecución del mismo, y para que sus necesidades sean tomadas en cuenta. Sin embargo, el docente tiene la responsabilidad de dividir en secuencias el material, a fin de que tenga coherencia y que resulte útil para aprender. Este proceso es la realización del sílabo o lista de materias.

A continuación figuran varias pautas que pueden serle de utilidad cuando divida el contenido del plan de estudios en secuencias:

Equilibrando el contenido, métodos y materiales para los cursos de educación y capacitación

El nuevo plan necesita mantener un equilibrio entre sus distintos elementos: el contenido, los métodos y los materiales. En cada caso, hay que tomar decisiones. La definición de contenidos, métodos o materiales no necesariamente debe concluir con la exclusión de unos en detrimento de otros. Estas decisiones forman parte del proceso de elaboración del plan de estudios.


Esquema de trabajo

La manera más común de organizar la ejecución de un plan de estudios es a través de un esquema de trabajo. Diseñar un esquema consiste en realizar una división secuencial de los temas y actividades, formando una serie de 'lecciones' o sesiones clásicas. Este tipo de división es un válido auxiliar para la planificación.

El esquema de trabajo que un docente desarrolla puede ser un complemento del plan de estudios. El plan no puede sustituirse a él, dado que por naturaleza esté fue diseñado para ser interpretado, adaptado y ejecutado a nivel local. Elaborar el esquema es la tarea del docente-capacitador. Por lo tanto es importante que los docentes participen, en calidad de individuos, en el proceso de elaboración del plan de estudios.

El esquema de trabajo no puede ser redactado de manera inflexible por un organismo externo porque los ámbitos de las distintas instituciones educativas varían mucho. Es importante planificar la capacitación agrícola durante las estaciones del año en que hay tareas específicas que realizar, y que correspondan a los momentos en que los participantes puedan asistir sin perjuicio de su trabajo cotidiano. En estos casos, no siempre será posible involucrar a los estudiantes en todas las actividades de planificación.
La enseñanza de materias de índole práctica en el tema de agricultura debe adaptarse al clima local, a los ciclos agrícolas, a los tipos de cultivos y de ganado, y a las distintas oportunidades y facilidades que existen para realizar el trabajo práctico, etc.

Sólo una institución educativa local y/o un docente local pueden programar sus cursos de tal manera que formen una mezcla apropiada de trabajo teórico y práctico. Asimismo, en los programas educativos no formales, el factor de tiempo de los programas de capacitación y las actividades de extensión, dependerá más de los individuos locales, que de un plan de estudios determinado.

El papel de la experiencia en el plan

Este punto pone de relieve la supremacía de la experiencia en el área del aprendizaje. Se trata de un tema de debate entre los educadores. La mayoría de los sistemas educativos prefieren impartir primero la teoría y proporcionar luego las oportunidades de ponerla en práctica. En la mayoría de los sistemas de capacitación se considera necesario que los estudiantes aprendan la teoría primero.

Qué relación existe entre el trabajo práctico y la enseñanza en las aulas que usted lleva a cabo en su curso?
Cómo desearía que cambiara esa relación?



Pero otro enfoque consiste en proporcionar la experiencia primero, y luego dejar que los estudiantes reflexionen en clase sobre lo que esta experiencia significa. Se considera que así se dará mayor sentido y significación al material de texto y al trabajo de laboratorio, motivando a los estudiantes a aprender de manera más eficaz. Los estudiantes investigarán acerca de lo que han observado con mayor facilidad, en lugar de aceptar información sobre lo que nunca han visto con sus propios ojos.
Tal vez, el enfoque ideal -si el tiempo lo permite- es llevar a cabo el aprendizaje basado en la experiencia primero, y luego reflexionar de manera crítica sobre ello, es decir, introducir nuevos elementos y aplicar luego las reflexiones y conocimientos adquiridos a una nueva experiencia sucesiva.
El debate entre la teoría y la práctica surge a raíz del tema tratado anteriormente, es decir si la educación y la capacitación consisten en decir a los estudiantes algo que necesitan memorizar, o si más bien se trata de que resuelvan problemas por sí mismos. El docente necesitará decidir a este respecto - consultando, en la medida de lo posible, a los demás individuos.

Seleccionando los Métodos y Materiales

Algunas de las decisiones relacionadas con el esquema de trabajo estarán influenciadas por el material y los métodos que se tienen a disposición. Ambos tendrán que ser seleccionados por el elaborador del plan de estudios, la institución de educación o capacitación, y/o el docente-capacitador.
En esta etapa podría interesarle considerar las siguientes preguntas:

Cuáles métodos ha experimentado o utilizado en sus programas de educación capacitación? Cómo cree que estos fueron seleccionados?
Qué individuos determinarán cuales métodos serán utilizados en las actividades de educación/capacitación?

Métodos

La primera decisión que cualquier docente-capacitador necesita tomar respecto a un plan de estudios es cuántas y qué clase de actividades llevarán a cabo los docentes y los estudiantes. En las distintas actividades educativas y de capacitación es común encontrar a los docentes frente a un pizarrón, inclinados sobre un proyector, o aún en un campo, hablando a los estudiantes.
La mayoría de los docentes-capacitadores tiende a utilizar en sus programas los mismos métodos que experimentaron mientras ellos mismos eran estudiantes. La mayoría de ellos supone que estos son los métodos 'normales' y 'correctos', y que no hay posibilidad de escoger otros. No se sienten suficientemente seguros para desafiar los métodos establecidos, o para explorar la aplicación de otros.


Pero existen tantas metodologías de enseñanza-aprendizaje disponibles para cualquier docente-capacitador que necesitarían un espacio en el plan de estudios. A este respecto, la selección resulta esencial. Aunque no se den cuenta, los docentes eligen constantemente, cuando utilizan un grupo limitado de métodos de enseñanza- aprendizaje.

Métodos para la enseñanza-aprendizaje
Si partimos del tema tratado anteriormente sobre los distintos estilos de aprender, podemos identificar cuatro categorías distintas de métodos para la enseñanza-aprendizaje.
  • Métodos de descubrimiento - a través de los cuales se incentive a los estudiantes para que exploren, investiguen, experimenten sus aptitudes por si mismos y aprendan de las experiencias (proyectos, encuestas, investigación independiente, visitas de campo, lectura, etc.)
  • Métodos participativos - a través de los cuales los estudiantes comparten en grupos sus opiniones, reflexiones y aprenden de cada uno (trabajo grupal, debates, seminarios, sesiones de reflexión, juegos etc.)
  • Métodos de presentación - a través de los cuales el docente-capacitador o los estudiantes hacen presentaciones estructuradas (lectura, demostración, películas, videos, etc.)
  • Métodos de aplicación (a veces denominados de evaluación) a través de los cuales los estudiantes aplican y comprueban lo que han aprendido retroalimentando al docente-capacitador (ejercicios, problemas, ensayos prácticos, dramatizaciones, simulaciones)

Si los estudiantes tienen un estilo de aprendizaje determinado, tendrán mayor facilidad para aprender a través de uno de estos métodos. Algunas personas prefieren dar una cátedra o demostración; otros prefieren trabajar por sí mismos. Algunos prefieren la teoría, otros el trabajo práctico.
Por lo tanto es importante que el programa incluya distintos métodos de enseñanza-aprendizaje, en lugar de depender de uno o dos. El propósito es ayudar a la mayor cantidad de estudiantes posible, a aprender de la manera más fácil y eficaz, lo cual significa que hay que adaptar los métodos a los estudiantes y no los estudiantes a los métodos.
Por lo tanto, cuando el docente necesita decidir cuáles métodos usar, este debe tomar en cuenta las necesidades y aptitudes del estudiante, su experiencia y sus esperanzas, lo que estos desean o pueden hacer.




Los estudiantes aprenderán mejor, en la medida en que participen en su propio aprendizaje. Como hemos visto, aprender es un proceso participativo en donde el docente-capacitador se encarga de facilitar, y no de en doctrinar.

Trate de hacer una lista de los distintos métodos de enseñanza-aprendizaje que conoce. Ya indicamos algunos arriba, pero es posible que usted conozca otros que ya ha puesto en práctica o que haya probado o visto utilizar a otros. Mientras más métodos tenga en su "caja de herramientas" mejor!

En buena parte, estas decisiones dependerán del tiempo y de los recursos disponibles. No hay razón para escoger un método que no puede ser aplicado porque faltan las facilidades.

Materiales para los programas de enseñanza-aprendizaje

Por lo general, el plan de estudios no incluye muchos detalles sobre los materiales requeridos para realizar la enseñanza - aprendizaje necesarios, más bien los supone. La selección de una materia en particular conlleva inevitablemente implicaciones relacionadas con los materiales didácticos.
Encontrará que es útil examinar más de cerca qué clase de materiales tiene a su disposición. Haga una lista de los distintos materiales que ya están siendo utilizados en sus cursos.

La selección y la movilización de los materiales de enseñanza-aprendizaje forman parte de las funciones de ejecución y administración del plan de estudios. Una vez más, se trata de elegir. Algunas veces, la institución toma las decisiones por el docente-capacitador, en otros casos, el docente tendrá más margen para decidir por sí mismo.
Como sucede con los métodos, la influencia que ejercen los enfoques de enseñanza heredados, a menudo significa que los docentes-capacitadores tenderán a utilizar los materiales que ya están disponibles, en lugar de tomarse la molestia de buscar materiales nuevos y más apropiados. Cuando se elabora un nuevo plan de estudios, es necesario identificar, y en algunos casos, crear nuevos materiales de enseñanza- aprendizaje que acompañen el curso.
El material didáctico debe ser apropiado desde le punto de vista cultural. Puede parecer extraño que se haga tanto énfasis en esto, pero la globalización de la educación y la capacitación, induce a las instituciones a utilizar materiales que han sido preparados para ser utilizados en otro país, transfiriéndolos a contextos culturales muy diferentes, sin hacer muchos cambios. Esto sucede sobre todo en lo que concierne la educación a distancia, en la cual los cursos son diseñados en un país y a veces son vendidos como paquetes enteros, a otros países. Esta no es la mejor manera de promover el aprendizaje.


Otros aspectos relativos al material destinado a la enseñanza-aprendizaje que tendrían que tomarse en consideración, es que estos deben ser atractivos, interesantes para los estudiantes (no sólo para los docentes), además deberían representar un desafío pata los estudiantes, ser económicamente viables cuando se trata de producirlos, y estar concebidos a partir del contenido.
Habría que hacer una distinción entre lo que son los materiales 'especiales', es decir los que fueron escritos y producidos específicamente para promover el aprendizaje (libros de texto, mapas, artículos de periódico, compendios de estudios de caso, etc.) y lo que son los materiales 'reales' u 'ordinarios', es decir aquellos que ya existían en la comunidad local, muchos de los cuales no fueron escritos y producidos de manera específica para aprender, aunque sean utilizados para ello (informes locales, revistas y periódicos, secciones de los diarios, el ambiente o contexto mismo, etc.). Es importante utilizar algunos materiales 'reales' a fin de que los estudiantes se acostumbren a trabajar con ellos y sigan utilizándolos después de que el curso haya terminado. Sobre todo porque estos materiales se encuentran fácilmente disponibles, dado que se producen continuamente, y sobre todo porque muchos de los estudiantes no volverán a ver un libro de texto después del curso.
La participación de los individuos en la identificación de los materiales para la enseñanza- aprendizaje será un elemento facilitador de esta tarea, dado que estos identificarán recursos útiles que el docente no haya podido observar. Además estos probablemente conocen las fuentes locales de materiales y pueden señalar maneras nuevas para utilizar el material existente de forma más eficaz. La elaboración participativa de planes de estudios, es una de las maneras en que las personas involucradas en alguno de los sectores de la educación o capacitación, pueden aprender más sobre su trabajo. Aprender de otras personas interesadas en su trabajo, también forma parte del desarrollo personal del docente.
El propósito de esta guía no es debatir en detalle cuáles sean los pasos a seguir cuando se trata de desarrollar nuevo material didáctico. Este tema ha sido tratado en otras publicaciones (FAO1990). El tema principal consiste en indicar que al ejecutar el plan de estudios, el docente-capacitador necesitará tomar en consideración no sólo el contenido y la secuencia del plan sino los métodos y el material a utilizar, a fin de cumplir de manera más eficaz con los logros de aprendizaje.

Conclusión
En este capítulo vimos cómo se pueden definir los logros didácticos, y cómo traducirlos en actividades. Este proceso es complejo, y a menos de que se cuente con medios para incentivar a los individuos a interrogarse sobre lo que se ha hecho, y pedirles que expresen su opinión sobre el desarrollo del plan de estudios, estos permanecerán al margen del plan.
Es por ello que en la próxima parte de este capítulo volveremos al tema de la evaluación.




LA EVALUACIÓN PARTICIPATIVA Y EL PLAN DE ESTUDIOS

La evaluación constituye una parte esencial del plan de estudios. A menudo se le suele tratar sólo al final del programa de enseñanza-aprendizaje. Pero las tendencias actuales en materia de educación, hacen hincapié en que las formas y criterios de evaluación tienen que ser definidos previamente, es decir durante el proceso de elaboración del plan de estudios. Asimismo, tanto los indicadores de desempeño para evaluar a los estudiantes, como las maneras en que la información relativa a los indicadores será recabada, deben establecerse desde el principio.

Si se desea que los indicadores se apliquen con éxito, estos no pueden ser relegados al final del programa.

Por lo tanto, esta sección tratará los siguientes temas:

  • el significado de 'evaluación' y 'apreciación';
  • el propósito de la evaluación;
  • hasta dónde se les puede efectuar de manera participativa;
  • las medidas del éxito;
  • os procesos de apreciación y evaluación;
  • la evaluación como investigación; y
  • el valor de la evaluación.


El significado de la evaluación

El concepto de evaluación, aplicado al contexto del plan de estudios, según lo indica su nombre, examina los 'valores' del plan utilizado, incluyendo el contenido del aprendizaje ('cuál conocimiento vale la pena?') así como las metas ('qué debería lograr este programa de educación y capacitación?'). Es más que una apreciación encargada de medir el desempeño de cada uno de los estudiantes.

La evaluación

La evaluación trata de considerar el valor que el plan de estudios tiene para aquellos que lo están poniendo en práctica, así como su efectividad en la aplicación. La evaluación de la capacitación ha sido definida como:
un intento de obtener información sobre los resultados de un programa de capacitación, así como de realizar una apreciación de su valor, a la luz de dicha información



Otra definición de la evaluación indica que es:
Un proceso sistemático, encargado de recolectar información para y sobre una actividad de capacitación, que podría ser utilizada para orientar mejor la toma de decisiones y hacer una apreciación de la importancia y efectividad de los distintos componentes de capacitación. También es utilizada para determinar cuál es el impacto inmediato de esa actividad de capacitación.
 Qué significa evaluación ?

Qué es apreciación? En qué difiere esta de la evaluación?

Por qué es necesaria la evaluación?

Quién debería estar involucrado en el proceso de evaluación?

Qué clase de enfoque habría que adoptar para efectuar la evaluación?

Cómo se lleva a cabo una evaluación?

Cómo se pueden usar los resultados de una evaluación?

Podría pensar en cualquier otra pregunta a formular acerca de la evaluación?


La evaluación forma parte del proceso de transformación del conocimiento, aptitudes y actitudes que constituyen la educación y la capacitación. Existen dos enfoques principales para efectuar la evaluación, el primero (el logro de las metas) se pregunta si las metas del plan de estudios, los logros de aprendizaje, fueron logrados, y qué tipo de aprendizaje tuvo lugar y cómo. El segundo, (impacto) se pregunta qué significa ese aprendizaje para los estudiantes, sus vidas, su trabajo y sus relaciones con los demás.

En ambos casos, es necesario decidir a qué conclusiones llegar a ese respecto. La evaluación se pregunta cómo se pueden evaluar los cambios en el aprendizaje. También se preguntará, cómo se puede medir el impacto del programa? La naturaleza y los resultados de la evaluación dependerán de las preguntas que se hagan y de la información que se recoja y utilice para dar respuesta a esas interrogantes.

Apreciación
Necesitamos distinguir entre evaluación y apreciación. Según indica el diccionario, la raíz etimológica de la palabra 'apreciación' significa “dar un valor, un precio a algo”. En el contexto de la educación, apreciación significa un proceso para medir, o recolectar datos más que evaluar.


Es decir que la apreciación tiende a ser cuantitativa, mientras que la evaluación es ambas, cualitativa y cuantitativa. La apreciación proporciona la materia prima en base a la cual se llevarán a cabo los juicios de valor de la evaluación.

El propósito de la evaluación
Según observamos, el objetivo de toda educación y capacitación es lograr el aprendizaje. La evaluación sirve de retroalimentación para que los planificadores de la educación, no sólo sepan si se está logrando el aprendizaje a través de los programas (el plan de estudios) que estos diseñaron, sino para saber qué clase de aprendizaje se obtuvo y cuan importante y efectivo este es.

Evaluación cumulativa y formativa
Ya se hizo la distinción entre las dos principales formas de llevar a cabo una evaluación, según el propósito que se tenga. Una de ellas se denomina evaluación 'cumulativa': a menudo esta se realiza al final de cada curso y programa. El propósito es acumular todos los efectos producidos por el programa, hacer una lista de los logros finales, a fin de ver si el plan de estudios alcanzó sus metas y ver cuáles otros resultados se obtuvieron. El objetivo de esta forma de evaluación es ver qué valor tuvo el curso para quienes participaron en él, así como para la institución interesada y para la comunidad en general.
La evaluación cumulativa de 'logro de las metas' generalmente se realiza apenas concluye el programa, dado que la información requerida, necesita ser extraída mientras que aún se encuentra fresca en las mentes de aquellos que estuvieron involucrados en el programa.

Pero la evaluación del impacto se lleva a cabo más tarde, para permitir que pase suficiente tiempo, de manera que sean los efectos a largo y no a corto plazo los que emerjan. Esta evaluación, en especial, requerirá algo de tiempo para que los puntos de vista de quienes están involucrados se cristalice, y pueda ser observado con mayor objetividad. Los juicios que se hacen mientras el personal y los estudiantes se encuentran atareados en las actividades del curso no serán consideradas de igual manera que las realizas después de que haya pasado un buen lapso de tiempo.

Una ficha aproximada para la evaluación formativa:
Metas y objetivos: siguen correspondiendo a las necesidades de los estudiantes?
Contenido: se encuentra en el nivel apropiado y en las proporciones en que los estudiantes necesitan?
Estrategias de enseñanza-aprendizaje: resultan estas aceptables y apropiadas para los estudiantes?
Contexto, materiales y otros recursos: son útiles para los estudiantes?
Podría interesarle agregar otras preguntas más a su calendario de evaluación continua y formativa.


El otro tipo de evaluación ha sido denominado 'formativo'. Este consiste en un proceso continuo de apreciación del progreso alcanzado a lo largo del curso, así como de la dirección que sigue el curso, y la velocidad a la que se van obteniendo las metas. Aunque la evaluación formativa la realizarán los docentes-capacitadores a lo largo de todo el curso, y a menudo en asociación con los estudiantes, es necesario proporcionar espacio en el calendario de actividades, a fin de efectuar revisiones y apreciaciones sistemáticas. Se requiere de orientación regular para saber hasta dónde ha llegado y tendrá que llegar el curso. Además, al poner de relieve las áreas en donde se obtuvo éxito y al identificar aquellas que necesitan ser revisadas, se pueden efectuar cambios en el programa del curso. El objetivo de la evaluación formativa es proporcionar una base para mejorar el curso de manera continua, determinar la necesidad de modificar y por último poner las bases de la planificación futura. Se trata de un proceso continuo de reflexión crítica sobre la experiencia que conduzca a intervenir de manera activa en el curso del programa.

Evaluación previa al curso
Para realizar una evaluación efectiva es necesario comenzar antes de que el curso mismo inicie, esto no sólo se puede realizar por medio del establecimiento de metas a alcanzar, sino definiendo las maneras en que esos logros pueden ser medidos. Esta evaluación continuará a lo largo de todo el curso y no será relegada al final. Además tendrá que ser concluida después de que termine el curso, a través de la apreciación del impacto que este tuvo en los estudiantes, el personal y en la institución.

Por definición, la evaluación de la capacitación puede contribuir a establecer de manera clara, cuáles serán los logros de la capacitación, así como a descartar los contenidos de capacitación que resulten innecesarios, además ayudará a lograr que los métodos de capacitación correspondan a las necesidades y reduzcan los costos de la capacitación, y finalmente, a obtener lo máximo en materia de beneficios. La evaluación tendría que ser tratada como un proceso y debería ponerse en práctica antes, durante y después de la capacitación.

Evaluación participativa
Tradicionalmente, la evaluación ha estado dominada por la necesidad de obtener juicios logros. La evaluación subjetiva, que deriva de las respuestas emotivas de los individuos nunca ha sido considerada como aceptable. De manera tal que la mayoría de las evaluaciones suelen ser realizadas por agencias externas, a fin de ser imparciales.

Pero el valor de algunas formas de evaluación subjetiva ya han sido reconocidas porque tanto la educación como la capacitación han sido creadas para responder a las necesidades humanas, y estas son intrínsecamente de índole subjetiva. Además, según observamos antes, aprender, en sí, requiere la participación de la persona en su integridad, y esto incluye sus sentimientos. De tal manera que la satisfacción de los estudiantes es un criterio válido para realizar varias formas de evaluación.

Sin embargo, este elemento de subjetividad a veces puede limitar la eficacia de la evaluación. Las personas que se encuentran íntimamente involucradas en un proceso, a veces tienen dificultad en tomar distancia y observar lo que está pasando realmente. Por este motivo, a menudo la evaluación interna es llevada a cabo por los participantes, mientras que las personas ajenas realizan la evaluación externa.

Su programa es evaluado interna o externamente, o mediante ambas formas de evaluación?

Evaluación interna
La mayoría de las evaluaciones internas son realizadas por aquellos que se encuentran directamente relacionados con el plan de estudios, es decir los docentes, los elaboradores de políticas, y los expertos en educación (por ejemplo del Ministerio de Educación o de Agricultura). Este procedimiento garantiza que la evaluación tenga credibilidad, dado que quienes contribuyen a ella, tendrán un conocimiento directo y concreto del programa. Algunas evaluaciones incluyen además la evaluación del programa didáctico por parte de los estudiantes. Este tipo de evaluación es de índole formativa y se realiza constantemente, a lo largo del programa.

En la práctica casi todos los docentes y capacitadores evalúan su trabajo constantemente. No pueden prescindir de ello. Esto forma parte del proceso de reflexión crítica de lo que están haciendo. Pero a menudo lo hacen de manera inconsciente. Traer este proceso a la luz contribuirá a hacer de él un instrumento más eficaz.

Además, aunque los usuarios del plan de estudios, los docentes y los capacitadores se encuentran en la mejor posición para efectuar una evaluación y por lo tanto deben participar en ella, estos podrían no ser capaces de evaluar el plan de estudios de manera crítica, ya que pueden carecer de conocimientos sobre otras alternativas posibles.

La evaluación por parte de los estudiantes es uno de los aspectos más importantes de este proceso. Al igual que en el plan de estudios, también la evaluación resultará más eficaz si se le lleva a cabo de manera participativa. Sin embargo, a veces es difícil hacer que los estudiantes participen en el proceso de evaluación, debido a las relaciones que existen entre docente y estudiantes, y en parte debido al punto de vista que los estudiantes tienen sobre el propósito de una evaluación. A menudo los estudiantes consideran que son ellos el objeto de la evaluación y no el plan de trabajo y por lo tanto responden en función de esta consideración. Cuando los estudiantes participan en una evaluación, estos ocupan un lugar equivalente al de los docentes y esto les permite tomar al aprendizaje por lo que es.
Esta evaluación es una parte importante del proceso de aprendizaje: a través de ella, los estudiantes podrán ver cuánto han progresado en el aprendizaje, qué maneras de medir los logros pueden adoptar para sí, y cuánto más deben avanzar para alcanzar las metas

que se han propuesto. Los docentes y capacitadores no deberían temer incluirse a sí mismos en esta evaluación. El objetivo de la evaluación no consiste en juzgar sino en mejorar y desarrollar los aspectos positivos del plan de estudios y esto sólo puede lograrse a través de la crítica positiva. La evaluación vista como un acto de reflexión crítica sobre el trabajo realizado por el docente-capacitador, a fin de mejorar las actividades futuras, es un instrumento fundamental para el desarrollo personal. Los docentes pueden ser evaluados por los estudiantes, por ellos mismos, y por otros colegas.

En muchos programas de capacitación, se incita a los estudiantes a evaluarse a sí mismos, a evaluar a sus pares y a sus docentes. Los estudiantes reunidos en grupos pueden trabajar juntos y ayudarse mutuamente para evaluar su propio progreso, también pueden generar la orientación necesaria para hacer frente al contenido del curso, y asesorarse mutualmente para desempeñarse con competencia en las distintas áreas. También pueden servirse de listas que detallan las competencias a adquirir y los criterios correspondientes. Estos procedimientos de evaluación interna se convierten en una fuerte motivación para todo aquel que participa en el proceso de aprendizaje, proporcionándole además una herramienta para supervisar su progreso y desempeño.

Cómo pueden los docentes-capacitadores animar a sus estudiantes a evaluar su propio aprendizaje?

Evaluación externa

Casi todas las formas de evaluación cumulativa son llevadas a cabo por agencias externas -ternas examinadoras, por ejemplo. Un evaluador externo puede gozar de mayor grado de independencia y objetividad, y a menudo posee más experiencia en otros cursos y programas.

Este aspecto es de gran ayuda dado que es posible obtener una visión mas amplia de la efectividad del plan de estudios.

Dado que los evaluadores externos a menudo provienen de un contexto totalmente ajeno al ámbito en donde se está ejecutando el plan de estudios, estos necesitan tomar en cuenta una amplia gama de opiniones respecto al programa, en lugar de pronunciar juicios puramente personales.

La evaluación externa, se basa a menudo en evaluaciones asociadas a los exámenes y pruebas que los docentes y organismos hacen a los estudiantes. En estos casos, el examinador ejerce un poder considerable sobre los estudiantes ya que será él quien decida lo qué será evaluado y cómo lo hará. Este enfoque se manifiesta de manera natural en aquellos sectores de la educación formal en los cuales se excluye a los estudiantes de la elaboración del plan de estudios.

Pero además de esto, si en la elaboración del plan se contó con la participación de distintos individuos, será necesario involucrarlos también para que efectúen una apreciación y evaluación del programa.

Aquellos que contribuyeron a elaborar el plan, tendrán que saber cómo está funcionando. A este propósito, será de mucha utilidad organizar reuniones regulares para que los individuos hagan revisiones, que formarán parte de las evaluaciones formativas; así mismo, su presencia también será necesaria en las evaluaciones cumulativas.
La participación en la apreciación y evaluación, es por lo tanto un instrumento útil para mejorar la efectividad de los programas de educación y capacitación. Y será un procedimiento fundamental si la elaboración del plan de estudios fue hecha a partir de métodos participativos.

Las medidas del éxito - Enfoques para evaluar el plan de estudios
Algunos educadores consideran a la evaluación como un medio para entender hasta dónde se cumplió con los logros. Otros, consideran al plan de estudios como un conjunto de metas abiertas a las cuales los estudiantes pueden responder de manera distinta, según su experiencia anterior, y sus diferentes necesidades de aprendizaje. Estos se interesan más por el impacto que el plan de estudios puede tener sobre los participantes, y necesitan recolectar una gama de datos muy amplia, así como una amplia variedad de métodos de apreciación y evaluación. La evaluación también puede ser realizada a fin de recibir orientación explícita destinada a aquellos que participan en la creación de políticas y en la toma de decisiones relativas a la educación. Pero la clave de todos estos enfoques de evaluación, es saber si el aprendizaje fue propiciado a través del plan de estudios, y si así fue, qué calidad de aprendizaje se obtuvo.

Los procesos de apreciación y de evaluación 

Apreciación del aprendizaje

El objetivo de un plan de estudios es promover el aprendizaje, y no sólo en términos de conocimiento y/o aptitudes, sino también de actitudes. En consecuencia, el objetivo de la evaluación es -tanto de índole formativa como cumulativa, independientemente del modelo que se adopte- es decir que hay que evaluar qué cantidad y qué calidad de aprendizaje se logró gracias al plan de estudios. Existen muchos métodos que pueden utilizarse para averiguar lo que los estudiantes han aprendido, y con cuáles métodos de enseñanza-aprendizaje. Estas decisiones forman parte del proceso de creación del plan, y como tales tienen que ser expuestas ante los que participan en el proceso de elaboración del plan de estudios. Estos constituyen una parte esencial del proceso de elaboración del mismo y no deben ser una prerrogativa exclusiva de quienes ejecutan el plan.



Métodos para evaluar el aprendizaje de los estudiantes
Existen muchos métodos de apreciación y evaluación. Este manual no se propone ofrecer un análisis exhaustivo de los mejores métodos de apreciación y evaluación de los procesos de aprendizaje, sino proporcionar suficiente orientación para ayudar a quienes elaboran planes de estudios de manera participativa, a saber de cuáles métodos disponen, para incluirlos en su plan de estudios.

Apreciación del conocimiento
Es probable que la manera más simple de obtener una apreciación sea la de formular preguntas. Esta es una buena manera de evaluar el conocimiento y la comprensión, pero es menos eficaz para determinar los cambios en las aptitudes y actitudes. La información relacionada con el aprendizaje puede obtenerse a partir de las respuestas que proporcionan los estudiantes, así como a partir de las preguntas que estos hacen.
Hacer preguntas no necesariamente implica escribirlas; las respuestas pueden ser verbales. Este tipo de apreciación tampoco tiene por qué ser individual: las preguntas a menudo llevan al debate, a través del cual el docente y/o los estudiantes pueden supervisar cuidadosamente lo que los distintos miembros del grupo dicen.
La manera más común de efectuar una apreciación sobre los conocimientos adquiridos es el trabajo escrito.

Casi todas las evaluaciones basadas en exámenes, utilizadas en los sistemas tradicionales de educación formal, solicitan a los estudiantes respuestas basadas únicamente en el uso de la memoria, sin servirse de libros, notas, cuadros, o modelos, etc. Esto conlleva algunas ventajas, dado que durante su vida algunos estudiantes tendrán que tomar decísiones o responder a preguntas, sin contar con muchos recursos. Por otro lado, también conlleva desventajas, porque este tipo de sistema premia a quienes cuentan con el don de la buena memoria, y penaliza a quienes no lo tienen. Las formas de evaluación que permiten a los estudiantes buscar respuestas o servirse de la experiencia de los demás pondrá sobre todo a prueba su capacidad de aprender, en lugar de demostrar si ya tienen suficientes conocimientos.

Demonstración de las aptitudes
Para efectuar procedimientos de apreciación y evaluación de aptitudes se requiere prestar una atención particular, lo cual, refleja de cierta manera la importancia que esta área de aprendizaje tiene en la educación agropecuaria. El aprendizaje obtenido en materia de aptitudes es mucho más fácil de evaluar a través de actividades prácticas, que en sí mismas constituyen instrumentos de aprendizaje. En este caso será necesario establecer claramente el nivel de calificación requerido.

A fin de evaluar las aptitudes, es necesario reducir cada aptitud a sus componentes mínimos (las distintas competencias). Esto es conocido como análisis de aptitudes. Las distintas componentes pueden ser evaluadas para ver si los logros de aprendizaje fueron

alcanzados. Además de las aptitudes prácticas que se requieren para llevar a cabo cualquier actividad, existen otras aptitudes que tendrán que ser evaluadas: la capacidad de observación y asimilación, la habilidad de interpretar los resultados de los ejercicios prácticos, la capacidad de planificar y de ejecutar planes, la habilidad de resolver problemas, etc.

La naturaleza de la evaluación de los ejercicios prácticos hace difícil realizarla de manera externa. Por lo tanto esta suele hacerse a nivel interno. Los docentes o capacitadores se encargan de llevarla a cabo. Los resultados pueden ser utilizados como fuente de retroalimentación, y cuando se trata de exámenes públicos, pueden ser referidos a la terna examinadora. Estas pruebas podrían ser moderadas por un examinador externo para asegurarse de que los estándares correspondan a los de las otras instituciones. Es necesario determinar todos estos aspectos durante el proceso de elaboración del plan de estudios y no dejarlo para el final.

Apreciación del desarrollo de actitudes
También será necesario medir los cambios logrados en las actitudes. El aprendizaje de actitudes no puede ser evaluado fácilmente a través de exámenes, o coloquios, aunque estos pueden proporcionar alguna información. En cambio, la observación de cómo se llevan a cabo las actividades, por ejemplo a través de la dramatización, simulación, los juegos, o mediante el trabajo en el proyecto, a lo largo de un período de tiempo más largo, puede procurar una indicación de los logros conseguidos en esta área del aprendizaje. Además, estas actividades también constituyen instrumentos de aprendizaje, de manera tal que el proceso de apreciación y evaluación puede convertirse en una actividad que promueve el aprendizaje. Como hemos notado, en la sección anterior relacionada con las metodología didácticas y de aprendizaje, los métodos de evaluación pueden corresponder a un estilo de aprendizaje determinado, por el cual se caracteriza cada estudiante.

La evaluación como investigación
Los procesos de evaluación pueden ser extremadamente complejos. Será necesario decidir qué tipo de información recabar, así como la manera en que esta información debe ser recolectada, analizada e interpretada. En efecto, el proceso de evaluación puede ser considerado como una investigación sobre la acción. Bawden (1991) describe la fase de investigación sobre la acción como "una manera particular de aprender críticamente acerca de eventos que se verifican en el mundo, con el fin de cambiarlos. Esto se sirve de una combinación de teoría con práctica en un proceso crítico." Bawden subraya que la investigación sobre la acción arroja cinco resultados principales:
  • Mejora la práctica del investigador practicante;
  • también mejora la comprensión de la práctica por parte del investigador;
  • mejora la situación en la cual se lleva a cabo la práctica;


  • también mejora la comprensión que el investigador tiene de la situación en la cual practica;
  • se obtiene una respuesta crítica proveniente de un público escéptico.

La práctica de la elaboración de planes de estudios a las cual se dedica esta guía, debe incluir a todos los individuos que fueron involucrados y conlleva toda una serie de acciones, que necesitan ser supervisadas y evaluadas.

La evaluación del impacto de cualquier acción relacionada con la elaboración del plan de estudios, constituye la base de este proceso de investigación sobre la acción, el cual puede ser llevado a cabo a través de la colaboración de individuos, grupos de instituciones o equipos que podrían incluir a los docentes, investigadores, elaboradores de planes de estudios, y otros individuos que hayan sido identificados.

Además de la evaluación de las acciones específicas, también es necesario supervisar y evaluar todo el proceso de elaboración del plan de estudios. Esto probablemente tenga que realizarse en determinados intervalos y deberá involucrar a todos los individuos.

A fin de evaluar las acciones que comprende la elaboración de un plan de estudios, así como el proceso en su totalidad, habrá que decidir qué clase de información hay que recabar.
Esto podría significar que hay que escribir informes regulares y/o recolectar estadísticas (por ejemplo sobre la asistencia), etc.
En la práctica, los elaboradores de planes de estudios tendrán que poseer experiencia en métodos de evaluación, de los cuales puedan servirse para asesorar, y en algunos casos, capacitar a otros individuos en las aptitudes técnicas de la evaluación.

En consecuencia, los individuos podrán utilizar las capacidades adquiridas para investigar, con fines de evaluar, podrán explorar y mejorar el proceso de elaboración del plan de estudios, en función de la relación que este tiene con su propio ambiente, y por lo tanto tomar decisiones de manera más efectiva.

El elaborador de planes de estudios puede trabajar como coordinador o facilitador del proceso de evaluación, pero tendrá que compartir el control y la participación con los demás individuos y en todas las fases de la evaluación.

La selección de los métodos dependerá del tipo de evaluación a ser realizada. La combinación de los métodos será particularmente útil para la investigación educativa; este enfoque es conocido como "triangulación".

Por ejemplo, se podría llevar a cabo una evaluación, utilizando datos recolectados a través de cuestionarios, entrevistas de profundización y observación de los participantes.
Hablando en términos generales, existen tres fuentes principales de información:  
  • los datos que se encuentran a disposición, por ejemplo censos;
  • los documentos e informes relacionados con el proyecto; y
  • los esfuerzos específicos para recolectar datos.
Los evaluadores que recaban los datos pueden utilizar un enfoque cualitativo o cuantitativo, o ambos:
  • métodos cualitativos - por ejemplo, entrevistas, observación de los participantes, estudios de caso, etc.
  • métodos cuantitativos - por ejemplo, diseños experimentales, encuestas, cues- tionarios, etc.


La participación activa en un proceso de evaluación toma tiempo y es muy compleja, pero también existen formas de evaluación simples que pueden ser muy valiosas. Es necesario motivar a los individuos para que la evaluación se realice de manera eficaz y con un alto nivel de calidad, a fin de que estos desarrollen sus aptitudes de evaluadores rápidamente. Las organizaciones dentro de las cuales operan los individuos necesitan apoyar a sus miembros, a través de la valorización de la investigación, como actividad productiva, y proporcionarles todo el tiempo y los recursos que sean necesarios, comprometiéndose además a promover un aprendizaje de índole organizativa, como medio para alcanzar el mejoramiento.

Para que el elaborador del plan trabaje conjunta y efectivamente con los demás individuos, el/ella tendrá que desarrollar las aptitudes y la experiencia técnica necesarias, además de estar bien dispuesto hacia sus coparticipantes y disponer de tiempo para ofrecer su colaboración, así como los recursos necesarios (incluyendo el apoyo financiero), y las aptitudes para capacitar/asesorar en materia de técnicas y aptitudes de evaluación, a los demás individuos. Asimismo, tendrá que estar motivado, para participar, ser tolerante, y ser capaz de identificar las dificultades que pueden surgir durante el proceso.
Es fundamental que las decisiones relacionadas con la evaluación, sean tomadas a lo largo de todo el proceso de elaboración del plan de estudios. El enfoque participativo de elaboración del plan de estudios debe ser adoptada por la mayor cantidad de individuos posible. Asimismo, para que la evaluación resulte útil, es necesario que esta goce de la aceptación, tanto en la institución de educación y capacitación como entre un público más amplio.

El valor de la evaluación
La evaluación produce una fuente de retroalimentación que debería aportar beneficios substanciales a los programas y a las instituciones de educación y capacitación. Estos beneficios podrían traducirse en términos de mejores decisiones didácticas y de planificación. La información recabada podrá ser utilizada para una serie de fines útiles a la institución - por ejemplo, para fortalecer las decisiones políticas, para servir de trampolín a la investigación futura, o para apoyar nuevas solicitudes de financiación. Pero

también podrá ser utilizada en el ámbito exterior, para hacer publicidad a la institución, para reclutar nuevos estudiantes, o para fortalecer las relaciones entre la institución y la comunidad local.
Sin embargo, en la práctica, la utilización de los resultados y de las evaluaciones será de alcance muy limitado. Pocos departamentos e instituciones han evaluado sus propias evaluaciones, pero aquellos que lo hicieron reconocen que existe un problema. Algunas evaluaciones sacan conclusiones poco relevantes, incomprensibles, demasiado largas y muy tardías. Muchos estudios de gran envergadura no han logrado entregar conclusiones concisas, directas que hagan recomendaciones realistas, y basadas en la acción concreta.
Esta es una advertencia para todos aquellos que lleguen a participar en un proceso de evaluación de un plan de estudios. Los enfoques participativos aplicados a la evaluación pueden contribuir a garantizar que cualquier evaluación produzca resultados concretos. Como hemos señalado a lo largo de la guía, la participación requiere y propicia el compromiso. Si determinados individuos participan en la elaboración de un plan de estudios, estos también deberán participar en el diseño de la ejecución y en la evaluación del plan. Las expectativas que estos puedan nutrir, contribuirán a garantizar que los resultados del proceso de evaluación valgan la pena.

Conclusión
La evaluación efectiva y participativa es la clave para lograr la elaboración exitosa de un plan de estudios. Se trata de un mecanismo que permite a los individuos tener acceso al proceso de toma de decisiones, y les confiere la posibilidad de expresar su opinión sobre el trabajo que se lleva a cabo en ese momento, y también en el futuro.
Es evidente que para lograr llevar a cabo la evaluación, la institución en seno a la cual se está elaborando el plan de estudios, debe estar organizada de manera tal que la evaluación forme parte del trabajo cotidiano. Este aspecto tiene grandes repercusiones para quienes manejan el plan de estudios.

No hay comentarios:

Publicar un comentario