# Modelos Generativos para Lenguaje Natural

> Estudio de arquitecturas y técnicas para generar texto coherente y contextualmente apropiado, incluyendo modelos autoregresivos, VAE, GAN y transformers aplicados a la generación lingüística.

- **Canonical URL:** https://flashcards.world/flashcards/sets/720ca4d2-7187-4fd6-a11d-13383783a165/
- **Markdown URL:** https://flashcards.world/flashcards/sets/720ca4d2-7187-4fd6-a11d-13383783a165.md
- **Category:** Computational Linguistics
- **Level:** advanced
- **Languages:** es → es
- **Total Cards:** 46

## Flashcards (46 Cards)

| # | Front (Term / Prompt) | Back (Definition / Answer) | Example | Multiple-Choice Options |
| :--- | :--- | :--- | :--- | :--- |
| 1 | ¿Qué es el 'batch size' en el entrenamiento de modelos de lenguaje? | Es el número de ejemplos utilizados en una sola iteración del entrenamiento. |  |  |
| 2 | ¿Qué es el 'context window' en modelos de lenguaje? | Es la cantidad de texto que el modelo considera al generar el siguiente token. |  |  |
| 3 | ¿Qué papel juega el 'tokenization' en los modelos de lenguaje? | Es el proceso de dividir el texto en unidades más pequeñas (tokens) que el modelo puede procesar. |  |  |
| 4 | ¿Qué es el 'BERT' y su enfoque en el procesamiento de lenguaje? | Es un modelo basado en transformers que utiliza el enmascaramiento de palabras para entender el contexto bidireccional. |  |  |
| 5 | ¿Qué es el 'tokenization' y por qué es importante? | Es el proceso de dividir texto en tokens, crucial para que los modelos puedan procesar y entender el lenguaje. |  |  |
| 6 | ¿Qué es el 'masking' en transformers? | Es una técnica que oculta ciertos tokens durante el entrenamiento para que el modelo aprenda a predecirlos. |  |  |
| 7 | ¿Qué es el 'data preprocessing' en el entrenamiento de modelos de lenguaje? | Es el proceso de limpiar y preparar datos antes de ser utilizados para entrenar un modelo. |  |  |
| 8 | ¿Qué es el 'attention mechanism' y su función? | Es un componente que permite a los modelos enfocarse en partes relevantes de la entrada al generar texto. |  |  |
| 9 | ¿Qué es el 'self-attention'? | Es un mecanismo que permite a un modelo considerar todas las palabras de una secuencia al procesar cada palabra. |  |  |
| 10 | ¿Qué es el 'gradient descent' en el entrenamiento de modelos? | Es un algoritmo de optimización que ajusta los parámetros del modelo para minimizar el error. |  |  |
| 11 | ¿Qué son los 'n-grams' y su uso en modelos de lenguaje? | Son secuencias de n elementos (palabras o caracteres) que se utilizan para modelar la probabilidad de ocurrencia de palabras. |  |  |
| 12 | ¿Qué es el 'prompt engineering'? | Es el proceso de diseñar entradas específicas para guiar la generación de texto de un modelo. |  |  |
| 13 | ¿Qué son los 'pre-trained models'? | Son modelos que han sido entrenados previamente en grandes conjuntos de datos y pueden ser ajustados para tareas específicas. |  |  |
| 14 | ¿Qué es el 'contextual embedding' y su ventaja? | Es una representación de palabras que considera el contexto en el que aparecen, mejorando la comprensión semántica. |  |  |
| 15 | ¿Cómo se evalúa la calidad de un texto generado por un modelo? | Se evalúa mediante métricas como BLEU, ROUGE y la evaluación humana de la coherencia y relevancia. |  |  |
| 16 | ¿Qué es el 'loss function' en el entrenamiento de modelos? | Es una función que mide la discrepancia entre las predicciones del modelo y los valores reales. |  |  |
| 17 | ¿Qué son los 'pre-trained language models' y su ventaja? | Son modelos entrenados en grandes corpus de texto, lo que les permite capturar patrones lingüísticos antes de ser ajustados a tareas específicas. |  |  |
| 18 | ¿Qué son los modelos generativos para lenguaje natural? | Son algoritmos que generan texto coherente y relevante a partir de un conjunto de datos de entrenamiento. |  |  |
| 19 | ¿Cómo funcionan los transformers en la generación de texto? | Utilizan mecanismos de atención para procesar secuencias de texto, permitiendo capturar relaciones a largo plazo entre palabras. |  |  |
| 20 | ¿Qué es el 'text summarization' y su relación con modelos generativos? | Es el proceso de reducir un texto a sus puntos clave, utilizando modelos generativos para crear resúmenes coherentes. |  |  |
| 21 | ¿Qué son los 'transformers' y por qué son populares? | Son arquitecturas que utilizan mecanismos de atención y han demostrado ser muy efectivas en tareas de procesamiento de lenguaje natural. |  |  |
| 22 | ¿Qué es un modelo autoregresivo? | Es un tipo de modelo que genera texto un token a la vez, utilizando los tokens anteriores como contexto. |  |  |
| 23 | ¿Qué es la 'atención' en el contexto de transformers? | Es un mecanismo que permite al modelo enfocarse en diferentes partes de la entrada al generar texto. |  |  |
| 24 | ¿Qué son los embeddings en el procesamiento de lenguaje natural? | Son representaciones vectoriales de palabras que capturan su significado y relaciones semánticas. |  |  |
| 25 | ¿Cuál es la diferencia entre modelos generativos y discriminativos? | Los modelos generativos crean nuevos ejemplos de datos, mientras que los discriminativos clasifican o etiquetan ejemplos existentes. |  |  |
| 26 | ¿Qué es el 'transfer learning' en modelos de lenguaje? | Es la técnica de tomar un modelo entrenado en una tarea y adaptarlo a otra tarea relacionada. |  |  |
| 27 | ¿Qué son los 'chatbots' y cómo utilizan modelos generativos? | Son aplicaciones que simulan conversaciones humanas, utilizando modelos generativos para crear respuestas coherentes. |  |  |
| 28 | ¿Qué es el 'fine-tuning' en el contexto de transformers? | Es el ajuste de un modelo transformer preentrenado en un conjunto de datos específico para mejorar su rendimiento. |  |  |
| 29 | ¿Qué es el 'data augmentation' en el entrenamiento de modelos? | Es la técnica de aumentar la cantidad de datos de entrenamiento mediante transformaciones y variaciones. |  |  |
| 30 | ¿Qué son las GAN (Generative Adversarial Networks)? | Son modelos que consisten en dos redes neuronales, un generador y un discriminador, que compiten entre sí para mejorar la calidad de los datos generados. |  |  |
| 31 | ¿Qué son los 'language models' y su importancia? | Son modelos que predicen la probabilidad de secuencias de palabras, fundamentales para tareas de generación y comprensión de texto. |  |  |
| 32 | ¿Qué es el 'overfitting' y cómo se evita en modelos generativos? | Es cuando un modelo se ajusta demasiado a los datos de entrenamiento. Se evita mediante técnicas como la regularización y el uso de más datos. |  |  |
| 33 | ¿Qué son las 'métricas de evaluación' y su importancia? | Son medidas utilizadas para evaluar la calidad de los textos generados por modelos, como la coherencia y la relevancia. |  |  |
| 34 | ¿Qué es el 'transfer learning' y cómo se aplica en modelos de lenguaje? | Es la técnica de utilizar un modelo preentrenado y adaptarlo a una nueva tarea, mejorando la eficiencia y efectividad. |  |  |
| 35 | ¿Qué es el 'fine-tuning' en el contexto de modelos de lenguaje? | Es el proceso de ajustar un modelo preentrenado en un conjunto de datos específico para mejorar su rendimiento en tareas particulares. |  |  |
| 36 | ¿Qué es el 'learning rate' y su importancia? | Es la tasa a la que el modelo ajusta sus parámetros; un valor adecuado es crucial para un buen entrenamiento. |  |  |
| 37 | ¿Qué son las 'RNN' (Redes Neuronales Recurrentes)? | Son un tipo de red neuronal que procesa secuencias de datos, pero tienen limitaciones en el manejo de dependencias a largo plazo. |  |  |
| 38 | ¿Qué es el 'text generation' y sus aplicaciones? | Es el proceso de crear texto nuevo basado en un modelo, utilizado en chatbots, generación de contenido y más. |  |  |
| 39 | ¿Qué es un VAE (Variational Autoencoder)? | Es un modelo generativo que aprende a representar datos en un espacio latente y puede generar nuevos datos a partir de este espacio. |  |  |
| 40 | ¿Qué es el 'GPT' y cómo se diferencia de BERT? | Es un modelo autoregresivo que genera texto de manera unidireccional, mientras que BERT se centra en la comprensión del contexto. |  |  |
| 41 | ¿Qué es el 'sentiment analysis' y cómo se relaciona con modelos de lenguaje? | Es la tarea de identificar la emoción o sentimiento en un texto, utilizando modelos de lenguaje para clasificar el contenido. |  |  |
| 42 | ¿Qué es el 'zero-shot learning' en modelos de lenguaje? | Es la capacidad de un modelo para realizar tareas sin haber sido entrenado específicamente en ellas. |  |  |
| 43 | ¿Qué son los 'hyperparameters' en el entrenamiento de modelos? | Son parámetros que se configuran antes del entrenamiento y afectan el rendimiento del modelo. |  |  |
| 44 | ¿Qué son los 'transformers' y su impacto en el procesamiento de lenguaje natural? | Son arquitecturas que han revolucionado el campo, permitiendo avances significativos en tareas de generación y comprensión de texto. |  |  |
| 45 | ¿Qué es el 'dialogue generation' y su importancia? | Es la creación de diálogos coherentes y contextuales, fundamental para aplicaciones de asistencia virtual y chatbots. |  |  |
| 46 | ¿Qué son las 'sequences' en el contexto de modelos de lenguaje? | Son cadenas de texto que el modelo procesa para generar o clasificar información. |  |  |

---
Study this deck interactively with FSRS-6 spaced repetition, audio review, and multiple-choice mode at [Flashcards World](https://flashcards.world/flashcards/sets/720ca4d2-7187-4fd6-a11d-13383783a165/).
