Desarrollo de un servidor Moodle para gestionar la evaluacin entre compaeros

Xabier Akordagoitia, Javier Oliver Facultad de Ingeniera ESIDE, Universidad de Deusto Bilbao, Spain
xakorda@hotmail.com oliver@eside.deusto.es

1. Presentacin
Este artculo presenta el trabajo realizado como Proyecto Fin de Carrera de Ingeniera Informtica en la Universidad de Deusto por el alumno Xabier Akordagoitia Herreras, bajo la direccin del Dr. Javier Oliver Bernal. El proyecto consiste en el desarrollo de una aplicacin web para gestionar la evaluacin de prcticas entre compaeros de clase en ESIDE (Facultad de Ingeniera de la Universidad de Deusto). En la actualidad es un proceso realizado manualmente por los profesores de las asignaturas, y la Universidad ha decidido automatizarlo para hacerlo ms gil y cmodo. Adems, se quiere que sean los propios alumnos los que corrijan las prcticas realizadas por sus compaeros, en aras de que adquieran habilidades poco ejercitadas en la formacin acadmica actual, como son el espritu crtico, la capacidad de valoracin, etc. La aplicacin, recoge las distintas prcticas o ejercicios entregados en ficheros informticos por los alumnos de una asignatura. Posteriormente cada uno de estos ejercicios se asignar para su evaluacin al nmero de alumnos que el profesor haya fijado, aleatriamente escogidos de entre la clase. La aplicacin tambin ofrecer un formulario con los parmetros e indicaciones que el profesor establezca para la evaluacin de estos trabajos, que el alumno rellenar en base al trabajo que le ha tocado evaluar. Estas evaluaciones sern finalmente procesadas por la aplicacin para ofrecer al profesor las notas y estadsticas de cada alumno. Posteriormente, en base a estos resultados el profesor podr revisar prcticas puntuales o sospechosas. Adems, la Universidad est preparando la implantacin de un servidor Moodle plenamente operativo en un futuro cercano (en algunas asignaturas ya se utiliza, y este proyecto es otra prueba ms hacia la integracin de la actividad acadmica en Moodle) por lo que se propuso desde un principio que el proyecto se desarrollara sobre esta plataforma. Por lo tanto, los objetivos del proyecto son facilitar y agilizar la gestin de la evaluacin de las prcticas, y fomentar el espritu crtico y la capacidad de evaluacin de los alumnos.

2. Necesidades de partida
2.1 Evaluacin tradicional
Este proyecto tiene su origen en la aparicin de recientes teoras que hablan de los beneficios de utilizar la evaluacin entre compaeros en los trabajos acadmicos. Muchas asignaturas universitarias tienen actividades como la realizacin de ejercicios, prcticas, proyectos, documentos, etc. que los alumnos han de completar por su cuenta siguiendo las indicaciones dadas por el profesor en clase y aplicando los conocimientos y procedimientos de la asignatura. Tradicionalmente, estos trabajos son despus entregados al profesor para su correccin y evaluacin. La evaluacin realizada nicamente por el profesor tiene los siguientes inconvenientes: Volumen de trabajo excesivo para el profesor: en una clase universitaria normal el nmero de alumnos puede llegar fcilmente a la centena. Multiplicando esos cien alumnos por un par de prcticas durante la asignatura, y probablemente ms de una clase a cargo de ese mismo profesor da lugar a un nmero inmanejable de prcticas. Falta de feedback: con los nmeros anteriormente citados, es obvio que un profesor que debe atender a tantos alumnos y con ese volumen de trabajo, no podr contestar las dudas de todos los alumnos correctamente. Esto da como resultado que el alumno se vea desatendido, desorientado y desmotivado. Percepcin negativa del alumno: el alumno percibe al profesor como algo opuesto a l, un enemigo, percibe la evaluacin como un acto aleatorio, subjetivo, y censor. El flujo de trabajo es lento: el proceso de recoger los trabajos, corregirlos uno a uno, devolverlos y comunicar las notas exige un intervalo de tiempo enorme por el volumen de trabajo que adquiere al ser realizado por una nica persona. Esto hace que desde que un alumno entrega su trabajo hasta que ve su trabajo corregido y conoce la nota haya pasado mucho tiempo. Esto desmotiva al alumno y hace que la prctica pierda parte de su sentido porque para cuando el alumno ve los errores que ha cometido prcticamente ha olvidado porque los cometi, etc.

2.2 Evaluacin entre pares, asistida por web

Este tipo de evaluacin consiste en que despus de realizar el trabajo en cuestin, este sea corregido y evaluado por un colega (o un conjunto de colegas) del alumno. Es recomendable guardar el anonimato tanto del autor como del corrector para que este sistema funcione. La nota del alumno suele ser la media de las notas puestas por los evaluadores, aunque el profesor siempre suele tener la ltima palabra, y suele tener acceso a las prcticas entregadas y a sus correcciones. Ha habido implantaciones de este sistema que tambin premiaban las buenas evaluaciones, pero este extremo exige un trabajo extra por parte del profesor, que debe revisar todas las revisiones realizadas. La revisin suele constar de una nota asignada segn unos criterios previamente establecidos por el profesor, y unos comentarios justificando la nota, crticas y sugerencias, que son parte importante de este sistema porque son las que hacen posible el aprender entre todos. El uso de este sistema de evaluacin aporta las siguientes ventajas: Ventajas para los alumnos: Reciben un feedback mayor y mucho ms inmediato (Wolfe): al repartirse la tarea de evaluacin entre todos, el proceso se reduce a un periodo de un par de semanas como mximo. Todo es mucho ms inmediato, y aunque el feedback de un compaero ser obviamente menos experto que el del profesor, al ser ms de un alumno en el papel de corrector es ms probable que alguno de con la respuesta adecuada.

El alumno conoce los criterios utilizados en la evaluacin (porque l tambin los ha utilizado) (Bostock, 2002): al conocer los criterios objetivos presentados por el profesor que se han utilizado en su evaluacin, acepta mejor la calificacin asignada y comprende mejor las evaluaciones. El alumno aprende de sus compaeros: al recibir consejos y evaluaciones de otros alumnos, adquiere conocimiento directamente de ellos, as como buenas prcticas. Se facilita que el conocimiento de la minora con mayor conocimiento (los listos de clase) se comparta con el resto, haciendo que el conjunto de la clase adquiera mayor conocimiento. Se crea un sentimiento de comunidad entre los alumnos (Wolfe): utilizando este mtodo los alumnos se llegan a conocer mejor y descubren el valor de colaborar con sus colegas. Esto favorece la identificacin de los alumnos con su gremio profesional. Los alumnos pueden contrastar la calidad de los trabajos entregados por sus compaeros: de esta manera son conscientes de la calidad de su trabajo, al compararlo con el de los dems, y de esta manera corregir sus posteriores trabajos. Introduccin a actividades de auditora y calidad: este tipo de prctica ser seguramente la primera experiencia de los alumnos en actividades de evaluacin de trabajo (propio y ajeno), que posteriormente pueden ser tiles en su vida laboral. Actualmente muchas empresas tienen personas o equipos dedicados nicamente a la medicin y anlisis de calidad y auditoras. Introduccin a actividades de asesoramiento (Bostock, 2002): se fuerza a los alumnos a hacer sugerencias y explicar errores encontrados en la evaluacin. Esto que parece tan trivial no es algo a lo que se tengan que enfrentar en su vida acadmica normal, y les hace esforzarse en dar buenos consejos y en hacer correcciones tiles y constructivas. Adems, el saber que posteriormente tendrn que aconsejar a otros hace que los alumnos se esfuercen en el aprendizaje. Adquisicin de aptitudes como el razonamiento crtico y la capacidad de anlisis: habilidades esenciales en la vida laboral como estas no se ejercitan con el aprendizaje tradicional. Este tipo de evaluacin de prcticas estimula estas y otras habilidades sociales y cognitivas que de otra forma no estaran contempladas.

Ventajas para los profesores: Menor carga de trabajo: el profesor se ve liberado de la agotadora tarea de evaluar y corregir cientos de trabajos, y se puede centrar en supervisar el proceso y dar un buen feedback a los alumnos. Los alumnos comprenden mejor al profesor (Wolfe): los alumnos entienden mejor al profesor debido a que ellos pasan a cumplir el papel del profesor con respecto a sus compaeros. De esta manera empatizan mejor con el profesor, dejan de entender el acto de evaluar (poner nota) como una agresin. Se crea una complicidad entre alumnos y profesor que es difcil de conseguir de cualquier otra forma. Los alumnos se auto-evalan antes de entregar sus trabajos y esto hace que entreguen mejores trabajos: los estudios en experiencias piloto y encuestas demuestran que los alumnos se preocupan al saber que otros alumnos leern sus trabajos y (por vergenza, orgullo u otros factores sociales) se aplican ms y ejercen una especie de auto-evaluacin antes de entregar el trabajo. Esto revierte en mejores trabajos entregados. Los alumnos se esfuerzan en impresionar a sus colegas ms que al profesor.

2.3 Moodle
Los expertos ya han denominado a la actual como la sociedad del conocimiento. La cantidad de conocimiento e informacin accesible es actualmente enorme y su variabilidad temporal tambin (los datos se van actualizando casi en tiempo real) por lo tanto en el aprendizaje actual no son tan importantes los contenidos (aunque obviamente siguen siendo imprescindibles) como las metodologas, que deben permitir al alumno estar en condiciones de poder buscar la informacin que necesita de entre toda la montaa de informacin accesoria disponible (gracias a Internet) y asimilar los cambios a los que continuamente tendr que hacer frente. De ah que lo importante en la etapa formativa sea aprender a aprender, aprender a reflexionar, a analizar, a argumentar correctamente; de ah la necesidad tambin de desarrollar la capacidad crtica, de sntesis, de comprensin de los fenmenos y situaciones o de discernimiento de lo esencial y duradero frente a lo accidental y pasajero (Martn Gmez). Para conseguir estos objetivos, la propia metodologa de la enseanza debe cambiar e ir adaptndose progresivamente a un modelo en el cual el profesor y el alumno colaboren en la construccin del conocimiento y el alumno se convierta en el protagonista de su propio proceso de desarrollo y aprendizaje y el profesor vaya adoptando un rol de tutor y coordinador en detrimento de sus funciones magistrales tradicionales. En todo este cambio, el uso de las TIC ofrece nuevas tcnicas y posibilidades, combinndose con los elementos pedaggicos en busca de un diseo global que tienda hacia el aprendizaje cooperativo. Aqu es dnde entra Moodle, que aporta la infraestructura necesaria para desarrollar nuevas tcnicas educativas, en un entorno web, con todas las ventajas que esto supone. En este proyecto concretamente, donde lo que se buscaba era un entorno para la evaluacin entre pares, se hizo uso del mdulo Workshop de Moodle. Este mdulo, uno de los ms complejos de los existentes en Moodle, soporta la gestin de talleres. En Moodle, un taller es una actividad propuesta por el profesor de la asignatura, que puede consistir en el envo de un trabajo (de cualquier tipo, en uno o varios archivos informticos) para que posteriormente, y en base a los parmetros configurados para ese taller (que son innumerables) ser corregidos por el profesor, los propios alumnos, compaeros de clase, o una mezcla de todos estos elementos.

3. Desarrollo
Teniendo en cuenta lo comentado en el anterior captulo, el mdulo Workshop, configurado de una manera concreta, aporta prcticamente la funcionalidad deseada para este proyecto, por lo que se opt por partir de l, buscar la configuracin ptima, desarrollar pequeos plugins que solucionaran problemas concretos o aportaran funcionalidades deseadas que no se encontraran en el propio mdulo, y posteriormente se elabor una extensa documentacin (en forma de manuales de usuario y guas rpidas para alumnos, profesores y administradores).

3.1 Plugins
Entre los requisitos que se especificaron para el proyecto, se encontraron dos que Moodle no poda solucionar por s solo: cargar un listado de alumnos desde una hoja de Excel, y destacar las evaluaciones ms discutibles de entre todas las emitidas por los alumnos. Para solucionar estos problemas, se opt por crear pequeas utilidades PHP (que es el lenguaje en el que est implementado Moodle) que se integraran en el servidor Moodle.

3.1.1 Cargar Listado desde hoja Excel

La cantidad de alumnos que cada ao se suman al servidor Moodle es muy grande, lo que hace poco recomendable la insercin a mano, uno a uno. Para solucionar esto Moodle ya ofrece una funcionalidad que permite cargar los alumnos desde un archivo CSV. Los archivos CSV (del ingls comma-separated values) son un tipo de documento que representa los datos en formato tabla, y su sintaxis consiste en que las columnas se separan por comas (o punto y coma en donde la coma es el separador decimal: Espaa, Francia, Italia...) y las filas por saltos de lnea. Por ejemplo, si el contenido de un archivo ejemplo.csv fuera: Nombre, Cargo, Edad Paco, Director, 56 Lus, Pen, 27 La informacin representada sera: Nombre Paco Lus Cargo Director Pen Edad 56 27

Estos archivos CSV se pueden generar fcilmente a partir de cualquier tabla de Microsoft Excel, por ejemplo. Basta con hacer Guardar como Archivo CSV. Como los profesores de la Universidad utilizan muy a menudo listados Excel con los alumnos (para pasar lista, para poner las notas) esta sera una buena manera de conseguir importar esos listados al servidor Moodle: guardar los documentos como .CSV y cargarlos con la utilidad estndar de Moodle. Pero existe un problema, y es que como se ha dicho anteriormente, los archivos CSV de los pases donde la coma es el separador decimal, los archivos CSV separan sus columnas mediante punto y coma. Por lo tanto, si en la edicin espaola de Microsoft Excel (que es la que se usa en la Universidad de Deusto, lgicamente) se selecciona Guardar como Archivo CSV, el documento que generara a partir de la tabla de ejemplo anterior sera: Nombre; Cargo; Edad Paco; Director; 56 Lus; Pen; 27 Y este documento no podra ser cargado mediante la funcionalidad de Moodle, puesto que slo admite los CSV con el formato estndar internacional (separado con comas). Adems, la funcin exige que el documento tenga una estructura definida (con unos nombres de campos

etc. predefinidos) y esto exigira un trabajo extra por parte del profesor. Para solucionar estos dos asuntos, se ha desarrollado una utilidad lista para ser integrada en la pgina principal de Moodle, que transforma los archivos CSV de uso comn por los profesores de la Universidad de Deusto (con los campos DNI y Nombre y en formato CSV espaol) a archivos CSV vlidos para ser cargados al grupo de usuarios de Moodle (con el formato CSV estndar internacional, y con los campos y estructura prefijados por Moodle, username, idnumber, firstname).

3.1.2 Estadsticas Avanzadas

Las prcticas gestionadas por este servidor Moodle estn pensadas para que las nicas interacciones del profesor sean establecer las prcticas y consultar las notas, una vez que la prctica ha llegado a su fin. Esta es una manera posible de trabajar con el servidor Moodle (relegndole toda la responsabilidad), pero tambin se puede dar el caso de que el profesor quiera realizar un seguimiento un poco ms prximo de la evolucin de la prctica. Obviamente un seguimiento excesivo, con la revisin de todas las prcticas y evaluaciones no sera prctico, por lo que esta utilidad pretende ser una ayuda al profesor, que le permita filtrar qu prcticas merecen la pena ser examinadas para confirmar el correcto funcionamiento de la prctica. Para ello, y a propuesta del Administrador del proyecto, se ha utilizado cmo indicador principal la desviacin tpica. La desviacin tpica es un concepto estadstico, que indica el grado de dispersin que se da en un conjunto de muestra.

S ( x) =

(x x )
i n

Aplicado a este caso prctico, la desviacin tpica de una prctica entregada por un alumno sera el grado de dispersin que han tenido las evaluaciones que ha recibido, es decir, el grado de desacuerdo que han tenido los distintos evaluadores de esa misma prctica. Con este sistema, se presupone que una nota con mayor consenso (por ejemplo una calificacin 7 derivada de 4 evaluaciones con notas: 6,5 / 7,5 / 8 / 6) es ms justa o ms normal que una nota con menor consenso (una calificacin 7 derivada de 4 evaluaciones con notas: 10 / 4 / 9,5 / 4,5). En el caso del ejemplo se puede tomar como bastante justa la calificacin de 7 del primer caso (poca desviacin tpica) puesto que los cuatro evaluadores han tenido una opinin parecida, pero el 7 del segundo caso debera ser estudiado, puesto que no es muy normal que una misma prctica les merezca a algunos evaluadores la matrcula de honor y a otros el suspenso. Algo ocurre con esa prctica. Esta utilidad analiza los datos de todas las evaluaciones de la prctica elegida, y despus muestra un listado de prcticas ordenadas por desviacin tpica descendente. Esta lista se puede exportar a un documento Excel, si se quiere almacenar para otro momento. Despus el profesor puede mirar las prcticas y evaluaciones de los primeros 5, o 10 (o los que l considere oportunos) de la lista, que seran los alumnos con prcticas ms irregulares. Como se ve, esta utilidad procesa estos datos con una finalidad meramente informativa, y slo pretende indicar al profesor qu prcticas merece ms la pena revisar. Para obtener esta desviacin tpica, esta utilidad procesa los datos almacenados en la base de datos de Moodle. Esta base de datos es muy amplia (168 tablas de inicio) y muy compleja (tiene un nivel de interrelaciones muy alto) y esto unido a la ausencia de documentacin tcnica hizo que hubiera que investigar y experimentar mucho para llegar a conocer y comprender esta base de datos y su funcionamiento. Para explorar las tablas y sus contenidos, se utiliz la herramienta MySQLAdmin, que es un gestor de bases de datos MySQL (el tipo utilizado en este proyecto) que facilita la exploracin.

3.2 Documentacin
Moodle es una plataforma que en principio est dirigida a la comunidad de profesores, pero algunos de sus mdulos (como por ejemplo el mdulo Workshop, que es el que se ha tratado en este proyecto) puede resultar excesivamente complejo para algunos de ellos. Los profesores con conocimientos de informtica y habituados al uso de herramientas se familiarizan con Moodle bastante rpido, pero lo cierto es que al resto de profesores algunos mdulos o actividades les puede llegar a exigir un esfuerzo. Esta complejidad es el precio a pagar por todo el abanico de opciones y parmetros que ofrece, que a la postre son los que la convierten en una autentica herramienta multiusos, que una vez dominada proporciona una adaptabilidad a las necesidades y una potencia enormes. Por lo tanto, hay que evitar que los usuarios (tanto los profesores como los alumnos) rechacen Moodle por su complejidad y sera deseable que no tengan que pasar por un proceso de aprendizaje y familiarizacin duro y largo (buscarse la vida con la aplicacin, sin indicaciones) porque esta herramienta busca agilizar y hacer ms cmodo el proceso educativo, no lo contrario. Pero adems no se desea renunciar a las mltiples opciones que ofrece (no es deseable capar Moodle, ocultar opciones o restringir el acceso), por lo que la mejor opcin es ofrecer una buena documentacin a los usuarios, que les indique de forma clara y concisa cmo conseguir que funcione de la manera que deseen guindoles a travs de los parmetros y pasos a dar, con recomendaciones y explicaciones. En este proyecto se han desarrollado manuales para los tres tipos de usuarios previstos en esta implementacin: administradores, profesores, y usuarios.

3.2.1 Manual del Administrador

El servidor Moodle necesita que un administrador gestione su configuracin general y atienda sus necesidades tcnicas. La figura del administrador es imprescindible en todo sistema de informacin de tamao medio-grande, y Moodle no es una excepcin. Esta persona ser la encargada de su instalacin, puesta en marcha, mantenimiento en general, y de algunas tareas imprescindibles para el correcto desarrollo de los cursos, que o bien exigen ms conocimientos sobre el funcionamiento interno del servidor de los que poseen los profesores (aspectos tcnicos), o bien necesitan estar centralizados en una nica persona (por motivos de seguridad, o por evitar duplicidades por ejemplo). Este manual, de 30 pginas, es el ms tcnico de los tres, puesto que se supone que el Administrador ser una persona con conocimientos tcnicos y con experiencia previa en la gestin de servidores web. Contiene todo lo necesario para la instalacin, gestin de usuarios, gestin de cursos, gestin del servidor (apariencia, aspectos tcnicos, etc.) de forma que los profesores slo se tengan que ocupar de la gestin de contenidos y procedimientos en los cursos que les corresponda.

3.2.2 Manual del Profesor

Este manual est dirigido a que los profesores puedan gestionar los contenidos y procedimientos a emplear en los cursos correspondientes. Debido a que la finalidad del proyecto es nicamente la de establecer un servidor para evaluacin entre pares, este manual slo cubre el mdulo Workshop y los plugins desarrollados en el proyecto, se ha aparcado cualquier referencia al resto de mdulos de Moodle. Se especifica la interaccin general con Moodle (el significado de los iconos, las interacciones tpicas, etc.), se dan indicaciones acerca de la cantidad de parmetros presentes en Moodle, que por s solos, bien porque estn en ingls, o por una mala traduccin o porque no son lo suficientemente descriptivos no quedan claros. Aparte, en algunos casos se recomiendan algunos valores para estos parmetros, de forma que el profesor no tenga que romperse la cabeza buscando la configuracin ideal. Tambin se indica cmo poner contenidos en las pginas de los cursos (apuntes, etc.), pero la parte fundamental de este manual es todo lo

referente a la gestin de prcticas (talleres en Moodle). Aparte de los parmetros, se explican las fases por las que pasan, cmo se miran determinados datos importantes, etc. Aparte, debido a la profundidad y volumen del manual, se ha escrito una versin reducida, mucho ms directa y con menos explicaciones, denominada Gua Rpida. Esta tiene como finalidad que si por lo que sea un profesor desea incorporar una actividad de tipo prctica de evaluacin por pares en su asignatura, pero no le interesa meterse muy a fondo con el tema de Moodle, pueda siguiendo los pasos de la gua configurar una prctica que cubra mnimamente sus necesidades. Esta es ms una gua del tipo: para hacer esto, siga los pasos: 1. 2. 3. con el mnimo de explicaciones, de manera que el profesor consiga lo que busca sin que le lleve ms de 10 minutos. Si desea profundizar y conocer ms acerca de Moodle, o conseguir cosas ms elaboradas, siempre podr consultar el manual completo.

3.2.3 Manual del alumno

Este es el manual ms breve, porque la interaccin del alumno con el servidor Moodle es la que est ms dirigida. De por s el alumno lo nico que debe hacer es seguir los pasos de las prcticas configuradas por los profesores, no configuran casi nada, por lo que su parte es la ms sencilla. Se explican los pasos a seguir para cumplimentar las prcticas (as no tendrn la excusa de que no saban qu hacer) y la interaccin en general.

4. Estudio de Usabilidad
Basado en el concepto de Discount Usability (lo que se podra traducir como Usabilidad de Rebajas) de Jacob Nielsen, que consiste en dedicar como mnimo una pequea parte de los recursos a estudiar la usabilidad de lo desarrollado, una vez finalizado el desarrollo del proyecto. Por ejemplo, sentando a un grupo reducido de usuarios (no son necesarios ms de cuatro segn Nielsen) y supervisando cmo interaccionan con el producto, con un gasto ridculo (una libreta de papel y el salario de una tarde de dos miembros del equipo) se podra obtener una muy importante informacin acerca de la validez del producto obtenido, donde se detectaran cerca del 80% de los problemas potenciales, y de esta forma se podran acometer las pertinentes modificaciones y reparaciones (Nielsen, 1997). En este proyecto, se someti a prueba el servidor desarrollado con dos grupos de usuarios, uno de alumnos y otro de profesores. A cada grupo se le pidi que realizar actividades tpicas en la vida til del servidor con ayuda de los manuales redactados, y posteriormente respondieron a un cuestionario para medir la facilidad y satisfaccin que percibieron del uso del servidor.

4.1 Estudio con alumnos

Esta prueba consisti en la lectura del manual, y la realizacin de las dos interacciones principales de los alumnos: entregar una prctica y evaluar las prcticas de compaeros que le han sido asignadas en un curso de prueba. Una vez finalizada la prueba, se les preguntaba acerca del tiempo consumido, si haban experimentado dificultades, la utilidad de los manuales o la opinin general que la experiencia les haba merecido. Se ha buscado un conjunto de usuarios potenciales lo ms heterogneo posible para que las pruebas reflejaran mejor la diversidad del alumnado que utilizar el sistema. Por ello, una de las personas encuestadas ha realizado la prueba sobre Linux (Ubuntu) y Mozilla Firefox para comprobar que no se da ningn tipo de incompatibilidad, y no todos los alumnos de la prueba eran de ESIDE. Se ha contado con la colaboracin de una alumna de 3 curso de La Comercial de Deusto, para ver si este tipo de usuarios, que generalmente tienen menor experiencia en la interaccin con ordenadores y aplicaciones de este estilo, sufra algn problema con el servidor. Conclusiones: los resultados de la prueba con alumnos han sido muy satisfactorios, puesto que en ninguno de los casos se han superado los 5 minutos para llevar a cabo alguna de las actividades, lo cual para ser la primera interaccin no est nada mal, y no se han detectado agujeros negros. En general el manual ha obtenido buenas puntuaciones, aunque se han hecho sugerencias y se han indicado algunos puntos poco claros, que se han intentado solucionar en una revisin del mismo. Al ser preguntados sobre si les gustara que sus asignaturas utilizaran este servidor, algunos destacaron que sera positivo para aprender del trabajo de los compaeros, y otros se quejaron de que supone un trabajo extra, y mostraron desconfianza respecto al anonimato de las correcciones y dudas sobre la honradez de sus compaeros.

4.2 Estudio con profesores

Esta prueba consiste en la lectura de la gua rpida para profesores (aunque tambin se les entreg el manual de profesores completo, por si tenan alguna duda), y la realizacin de acciones tpicas como colgar unos apuntes en la asignatura, crear una prctica y configurarla para que se comporte de un modo determinado, y consultar las notas de los alumnos y revisar la prctica que mayores diferencias haba obtenido entre sus calificaciones. Se ha buscado distintos perfiles entre los profesores consultados, desde veteranos con muchos aos impartiendo clases en ESIDE a recin licenciados y ms en contacto con las nuevas tecnologas.

Conclusiones: las tareas encargadas a los profesores eran ms complejas que las de la prueba de alumnos (en general la interaccin de los profesores es mucho ms compleja que la de los alumnos), por lo que se estima normal que los tiempos que cada actividad les ha ocupado hayan sido mayores que en la prueba de alumnos. A pesar de eso en ningn caso se han superado los 10 minutos, lo cual es buena seal. Se ha observado bastante diferencia entre los profesores con ms experiencia en el uso de este tipo de nuevas tecnologas y los dems, pero en general con la ayuda de los manuales (que han obtenido buenas valoraciones) todos han sido capaces de desarrollar las actividades. Por esto, se ha llegado a la conclusin de que es imprescindible realizar una reunin introductoria con los profesores, para explicarles los conceptos nuevos y la forma de funcionar con el servidor. De esta manera, los que menos experiencia tengan con este tipo de prcticas o servidores podrn integrarse mucho ms fcilmente.

5. Conclusiones
5.1 Dificultades
Las dificultades que se han encontrado durante el proyecto han sido: Falta de Documentacin: uno de los mayores problemas a la hora de afrontar un proyecto con Moodle es la falta de documentacin disponible. En el caso de buscar documentacin a nivel de usuario, dependiendo del mdulo es posible encontrar algo adecuado, aunque es poco probable que est en castellano. De todas formas, es probable que esta documentacin est desactualizada (las versiones de los mdulos avanzan mucho ms rpidamente que las versiones de la documentacin). En general, la mejor referencia en cuanto a documentacin de usuario es el libro Using Moodle (Jason Cole) que est disponible en http://docs.moodle.org/es/Libro_Using_Moodle. Cuenta con 16 captulos, y cubre bastante bien los mdulos bsicos en Moodle. Eso s, los mdulos van cambiando, por lo que debera de actualizarse la documentacin. El problema llega a la hora de buscar documentacin para desarrollar para Moodle. El que espere una cmoda API con la que trabajar se va a dar un buen golpe. La documentacin para desarrolladores se limita a artculos sueltos, en diferentes idiomas y para diferentes versiones, por lo que la bsqueda de la informacin requerida se basa puramente en la suerte. El enfoque de colaboraciones propio de este sistema de filosofa abierta y comunitaria, tiene este problema. Alguien puede desarrollar un mdulo muy bueno, pero si no hace la documentacin (que tampoco tiene porqu hacerla) dificultar la labor de los que deseen trabajar con ese mdulo a nivel de desarrollador. En la experiencia de este proyecto, la mayora de las veces ha habido que recurrir a explorar el cdigo fuente en PHP de las libreras de Moodle para ver qu hacan y cmo, y explorar la base de datos con herramientas de tipo MySQL. Esto alarga y complica el desarrollo e integracin de posibles soluciones. Falta de apoyo tcnico: la nica forma de conseguir cierto apoyo es acudir a los foros especializados de Moodle (es mejor acudir al foro del mdulo en el que tienes el problema concretamente, que acudir al foro general Using Moodle). Estos foros concretos, tienen menor actividad que el general, por lo que una consulta de tipo tcnico de una dificultad media puede tardar del orden de unos tres das en ser contestada, y siempre se depende de que alguien haya tenido ese mismo problema anteriormente y pueda comentar su solucin. Versiones: hay que ser muy cuidadoso con el tema de las versiones. Concretamente en el caso de Workshop, se han detectado algunos casos de incompatibilidades de la versin actual con la 1.7 de Moodle, y de hecho ya se est trabajando en una nueva versin del mdulo (se estn recogiendo sugerencias en el foro) lo cual da una idea de la velocidad con la que se cambian las versiones en este mundo de Moodle. Adems, la documentacin disponible puede ser de una versin anterior a la actual, y no venir indicado en ningn sitio, por lo que es imprescindible tener este factor en cuenta, porque de una versin a otra el uso puede variar enormemente. Complejidad excesiva: para los usuarios inexpertos en el uso de aplicaciones complejas o usuarios con escasa cultura informtica, Moodle (y en concreto el mdulo Workshop, que es especialmente complejo) puede resultar una herramienta excesivamente compleja, hasta el punto de sentirse frustrados y no poder llegar a funcionar con la herramienta. Adems en el caso de los profesores, que son los que tienen una interaccin ms profunda con el sistema, el problema es mayor. Esta herramienta est diseada para facilitar el trabajo de los profesores y ofrecerles nuevas utilidades, por lo que si para ciertos usuarios supone una traba a la hora de realizar su trabajo, la implantacin podr considerarse un fracaso. Esta excesiva complejidad es slo la cara oscura de una de las mayores ventajas de Moodle, su enorme adaptabilidad a diferentes tipos de asignaturas, y a diferentes formas de trabajo, por lo que en principio, eliminar la complejidad significara eliminar la configurabilidad. Por lo tanto, aunque en algunos casos (en los que slo se desee un modo muy concreto de funcionamiento, y con la certeza de que no se desear cambiarlo en un

futuro cercano por ninguna circunstancia) sera correcto capar las opciones de Moodle, es decir, ocultarlas del usuario, evitndole la confusin pero tambin el acceso a estas opciones. En el resto de casos, lo que se recomienda es redactar la mejor documentacin de usuario posible, con explicaciones de los distintos parmetros, recomendaciones y ejemplos. Esta redaccin puede ser un duro trabajo, pero se deber tener en cuenta que ese trabajo de descubrimiento y anotacin que se hace al redactar el manual es el mismo que se evita a los profesores que se pongan delante de la aplicacin por primera vez, por lo que aunque sea un conjunto de usuarios pequeo, el trabajo compensa (se hace una vez en profundidad y dejando la experiencia por escrito para que no se deba hacer nunca ms por ningn otro usuario). Adems, es imprescindible que se lleve a cabo una reunin informativa previa con todos los usuarios que tendr la aplicacin, para aclarar conceptos y explicar los procedimientos.

5.2 Resultados
Se puede decir que este proyecto ha finalizado su desarrollo con unos resultados satisfactorios, porque se consigui desarrollar una aplicacin que cubriera los objetivos primarios establecidos y las funcionalidades que en un principio se requirieron. A pesar de las dificultades aparecidas en el desarrollo, que se han mencionado en el punto anterior, la aplicacin que se ha obtenido es altamente configurable, tiene las funcionalidades que se deseaban y aunque en algunos aspectos (como por ejemplo al crear una prctica) puede resultar un poco compleja y confusa, se ha redactado una buena documentacin para que ningn tipo de usuario (administrador del sistema, profesor o alumno) tenga problemas a la hora de desarrollar su actividad con esta herramienta. Adems todo esto se ha comprobado con pruebas con usuarios reales (profesores y alumnos de la facultad), que han valorado positivamente la aplicacin y los manuales de usuario.

6. Bibliografa
BOSTOCK, Stephen. Keele University Innovation Report: Web support for Student Peer Review. 2002. www.keele.ac.uk CHALK, B. ADEBOYE, K. Using a Web-Based Peer Review System to support the teaching of Software Development: Preliminary Findings. www.ics.ltsn.ac.uk CHAPMAN, O. FIORE, M., Calibrated Peer Review. http://cpr.molsci.ucla.edu KEEHN, R. Changing Places: Why I have Students Grade Their Own Essays First. www.exchangesjournal.org MARTN GOMEZ, Jess. Moodle 1.5 Manual de Consulta Propuesta Pedaggica. http://moodle.org NIELSEN, Jacob. Discount Usability on http://www.useit.com/papers/web_discount_usability.html the Web. 1997.

SILVA, Elaine. MOREIRA, Dilvan. WebCom: a Tool to use Peer Review to Improve Student Interaction. University of Sao Paulo WOLFE, William J. Online Student Peer Reviews. California State University