Tarea 4: Ejercicios sobre transformers

Ejercicio 1:

Considera un mecanismo de atención basado en producto punto (dot product attention). Dados los siguientes elementos:

• Vector de consulta

• Vectores clave y 

• Vectores de valor , y 

Realiza lo siguiente:

1. Calcula el producto punto de con cada vector clave
2. Aplica la función softmax para obtener los puntajes de atención (attention scores).

3. Calcula la salida final como una suma ponderada de los vectores de valor.

4. ¿Cómo afectaría a los resultados el uso de scaled dot product attention (es decir, dividir los puntajes de atención entre ​)? Explica brevemente.

Ejercicio 2:

Los Transformers utilizan mecanismos de atención en lugar de recurrencia o convoluciones.

1. ¿Por qué la autoatención (self-attention) es más paralelizable que las RNN?

2. ¿Cómo maneja la atención las dependencias de largo alcance mejor que las CNN?

3. ¿Cuáles son algunas posibles desventajas de los mecanismos de atención?

Ejercicio 3: 

Supongamos que tenemos un transformer con dos cabezas de atención, cada una aprendiendo distintos aspectos de las relaciones entre palabras.

1. ¿Por qué múltiples cabezas mejoran el rendimiento?

2. ¿En qué se diferencia la atención multi-cabeza de simplemente ejecutar un único mecanismo de atención dos veces?

3. Dada la oración The cat lay on the couch, explica cómo una cabeza de atención podría capturar relaciones sintácticas mientras otra captura relaciones semánticas dentro de la oración.

Ejercicio 4:

Dada la oración: The cat sat on the mat, imagina que un mecanismo de autoatención asigna los siguientes pesos para la palabra cat:

1. Interpreta qué significan estos pesos.

2. ¿Cuáles podrían ser las razones por las que sat recibe un puntaje alto?

Ejercicio 5:

Dadas las puntuaciones de atención para dos cabezas diferentes en un mecanismo de atención multi-cabeza, la siguiente tabla muestra los puntajes asignados por cada cabeza a la palabra jumps en la oración:
The quick brown fox jumps over the lazy dog

Responde lo siguiente:

1. ¿Cómo reflejan estas distribuciones de atención los diferentes roles de cada cabeza de atención? ¿En qué se enfoca la primera cabeza y qué enfatiza la segunda?

2. ¿Cómo podrían los puntajes de atención de estas dos cabezas ayudar a mejorar la capacidad del modelo para capturar tanto relaciones locales como globales en la oración?

Indicaciones:

La actividad deberá entregarse en formato PDF.

El archivo debe cumplir con lo siguiente:

• Incluir nombre completo del alumno(a).

• Incluir fecha de entrega.

• Presentar todos los procedimientos y resultados claramente justificados.

• Subirse a la plataforma en un único archivo en formato .pdf.