Proyecto Final: Análisis, Reproducción y Extensión de Métodos en PLN
Desarrollar una comprensión profunda de métodos actuales en PLN mediante el análisis de un artículo científico, la reproducción de sus resultados y la propuesta de una mejora o extensión metodológica. Pueden utilizar el artículo analizado en la tarea anterior o seleccionar uno nuevo.
El proyecto tendrá dos partes obligatorias: 1- Reproducir los resultados del artículo y 2- Proponer e implementar una mejora o extensión.
Selección del artículo
El artículo elegido debe: abordar un problema claro de PLN, describir una metodología reproducible, incluir detalles experimentales suficientes, ser preferentemente reciente (2021-2026).
Se recomienda elegir trabajos en temas como: prompting, fine-tuning, domain adaptation, retrieval-augmented generation, clasificación de texto, extracción de información, análisis de sentimientos, entre otros.
Trabajo a realizar
1. Análisis del artículo: deberán explicar de manera clara el problema abordado, la metodología propuesta y la Implementación
2. Reproducción de resultados: deberán intentar replicar experimentalmente los resultados del artículo. Esto incluye implementar el método o adaptar código existente, ejecutar experimentos comparables, reportar los resultados obtenidos, comparar con los resultados del paper, discutir diferencias, dificultades y limitaciones. No es indispensable obtener exactamente los mismos números del artículo, pero sí realizar un proceso serio y bien documentado de reproducción.
3. Propuesta de mejora o extensión: además de replicar, deberán plantear una propuesta propia para extender o mejorar el trabajo. Algunas posibilidades son: aplicar el método a otro dominio, adaptarlo a otro idioma, modificar algún componente metodológico, probar una estrategia de prompting distinta, cambiar el modelo base, mejorar el esquema de evaluación, incorporar una comparación adicional o baseline no considerado en el artículo.
La propuesta debe estar justificada y debe implementarse experimentalmente.
Entregable
El entregable será un repositorio de GitHub bien organizado y documentado. El repositorio debe incluir, como mínimo:
1. README principal con: título del proyecto, referencia completa del artículo, descripción del problema, resumen de la metodología, objetivo de la reproducción, descripción de la propuesta de mejora, instrucciones para ejecutar el código, estructura del repositorio, resumen de resultados, conclusiones principales.
2. Código: Código limpio y organizado, Scripts o notebooks claramente identificados, Comentarios suficientes para entender el flujo experimental
3. Documentación experimental: cómo preparar los datos, cómo ejecutar la reproducción, cómo ejecutar la propuesta de mejora, qué hiperparámetros/configuraciones se usaron, cómo se evaluaron los resultados.
4. Resultados: Incluir tablas, archivos o notebooks con: resultados de la reproducción, resultados de la propuesta de mejora, comparación con el artículo original, análisis breve de hallazgos.
5. Referencias
Incluir las referencias bibliográficas del artículo y de cualquier recurso adicional utilizado.