Computación Distribuida para Datos Masivos

Sistemas y frameworks para procesamiento distribuido de big data, incluyendo Hadoop, MapReduce y computación paralela

Level
advanced
Languages
es → es
Cards
54
Markdown
Computación Distribuida para Datos Masivos (.md)

Flashcards (54)

#Front (Term / Question)Back (Definition / Answer)ExampleMultiple-Choice Options
1¿Cuál es la diferencia principal entre Hadoop y Spark?Hadoop utiliza almacenamiento en disco, mientras que Spark realiza procesamiento en memoria, lo que lo hace más rápido.
2¿Qué es un DataFrame en Spark?Es una estructura de datos que permite manipular datos distribuidos de manera similar a las tablas en bases de datos.
3¿Qué es un 'output format' en MapReduce?Es la clase que define cómo se escriben los resultados de salida de un job de MapReduce.
4¿Qué es Hive?Es un sistema de data warehouse que permite realizar consultas SQL sobre datos almacenados en Hadoop.
5¿Qué es la 'seguridad de datos'?Es el conjunto de medidas y prácticas destinadas a proteger los datos contra accesos no autorizados y pérdidas.
6¿Qué es un 'API' en el contexto de big data?Es una interfaz de programación que permite a los desarrolladores interactuar con sistemas y servicios de datos.
7¿Qué es la 'escalabilidad' en sistemas distribuidos?Es la capacidad de un sistema para manejar un aumento en la carga de trabajo añadiendo más recursos.
8¿Qué es un 'mapper' en MapReduce?Es un componente que realiza la fase de mapeo, procesando los datos de entrada y generando pares clave-valor.
9¿Qué es un 'data warehouse'?Es un sistema utilizado para almacenar y analizar grandes volúmenes de datos estructurados.
10¿Qué es el 'data locality' en Hadoop?Es la estrategia de ejecutar tareas de procesamiento en el nodo donde se almacenan los datos para mejorar la eficiencia.
11¿Qué es la 'consistencia eventual'?Es un modelo de consistencia en sistemas distribuidos donde los datos eventualmente se sincronizan, pero no de inmediato.
12¿Qué es un 'worker node' en un clúster de Hadoop?Es un nodo que ejecuta tareas de procesamiento y almacena datos en el sistema HDFS.
13¿Qué es un 'master node' en un clúster de Hadoop?Es el nodo que gestiona el clúster y coordina la ejecución de tareas entre los nodos trabajadores.
14¿Qué es un 'reducer' en MapReduce?Es un componente que realiza la fase de reducción, combinando los pares clave-valor generados por los mappers.
15¿Qué es un 'data lake'?Es un repositorio centralizado que permite almacenar grandes volúmenes de datos en su formato nativo.
16¿Qué es un 'checkpoint' en Hadoop?Es un mecanismo para guardar el estado de un job en ejecución, permitiendo la recuperación en caso de fallo.
17¿Qué es la tolerancia a fallos en computación distribuida?Es la capacidad de un sistema para continuar operando correctamente en caso de fallos de hardware o software.
18¿Qué es un 'job tracker' en Hadoop?Es un proceso que coordina la ejecución de los jobs y gestiona los task trackers.
19¿Qué es la replicación de datos en HDFS?Es el proceso de almacenar múltiples copias de los mismos datos en diferentes nodos para garantizar la disponibilidad y la tolerancia a fallos.
20¿Qué es un nodo esclavo en un clúster de Hadoop?Es el nodo que ejecuta las tareas de procesamiento y almacena los datos.
21¿Qué es un 'input format' en MapReduce?Es la clase que define cómo se leen los datos de entrada en un job de MapReduce.
22¿Qué es un 'batch processing'?Es el procesamiento de grandes volúmenes de datos en lotes, en lugar de en tiempo real.
23¿Qué es un clúster en el contexto de Hadoop?Es un conjunto de computadoras interconectadas que trabajan juntas para procesar datos.
24¿Qué es el 'big data'?Se refiere a conjuntos de datos tan grandes y complejos que requieren tecnologías avanzadas para su procesamiento y análisis.
25¿Qué hace la fase 'Map' en MapReduce?Transforma y filtra los datos de entrada, generando pares clave-valor intermedios.
26¿Qué es un 'modelo predictivo'?Es un modelo que utiliza datos históricos para predecir resultados futuros.
27¿Qué es HDFS?El Sistema de Archivos Distribuido de Hadoop, que permite almacenar grandes volúmenes de datos de manera distribuida.
28¿Qué es Apache Flink?Es un framework de procesamiento de datos en tiempo real que permite el análisis de datos en streaming.
29¿Qué es un nodo maestro en un clúster de Hadoop?Es el nodo que gestiona el clúster y coordina las tareas de procesamiento.
30¿Cuál es la principal ventaja de la computación distribuida?Permite el procesamiento de grandes volúmenes de datos de manera eficiente y escalable.
31¿Qué es un RDD en Spark?Es un Resilient Distributed Dataset, una colección de objetos distribuidos que pueden ser procesados en paralelo.
32¿Cuál es la función de YARN en Hadoop?Es el gestor de recursos que coordina y gestiona el uso de recursos en un clúster de Hadoop.
33¿Qué es la 'inteligencia artificial' en el contexto de big data?Es el uso de algoritmos y modelos para analizar datos y tomar decisiones automatizadas.
34¿Qué es el 'machine learning'?Es una rama de la inteligencia artificial que permite a los sistemas aprender de los datos y mejorar su rendimiento con el tiempo.
35¿Qué es la computación distribuida?Es un modelo de computación en el que los recursos de procesamiento están distribuidos en múltiples nodos que trabajan juntos para resolver problemas.
36¿Qué es Apache Spark?Es un framework de procesamiento de datos en memoria que permite realizar análisis de datos a gran escala de manera más rápida que Hadoop.
37¿Qué hace la fase 'Reduce' en MapReduce?Agrupa los pares clave-valor generados en la fase Map y produce el resultado final.
38¿Qué es un 'data mart'?Es una versión más pequeña y específica de un data warehouse, enfocada en un área particular de negocio.
39¿Qué es un job en el contexto de Hadoop?Es una tarea de procesamiento que se envía al clúster para ser ejecutada.
40¿Qué es la computación paralela?Es un tipo de computación en la que múltiples procesos se ejecutan simultáneamente para resolver un problema.
41¿Qué es la 'visualización de datos'?Es la representación gráfica de datos para facilitar su comprensión y análisis.
42¿Qué es la 'privacidad de datos'?Es la protección de la información personal y sensible de los usuarios en el contexto del manejo de datos.
43¿Qué es Pig?Es un lenguaje de alto nivel para el procesamiento de datos en Hadoop, que permite escribir scripts para MapReduce.
44¿Qué es un 'task tracker' en Hadoop?Es un proceso que ejecuta las tareas de mapeo y reducción en los nodos esclavos.
45¿Qué es Hadoop?Es un framework de software que permite el procesamiento distribuido de grandes conjuntos de datos a través de clústeres de computadoras.
46¿Qué es un 'dashboard'?Es una herramienta de visualización que muestra métricas y datos clave en un formato fácil de entender.
47¿Qué es un 'streaming data'?Es un flujo continuo de datos que se genera en tiempo real y se procesa de manera continua.
48¿Qué es la 'minería de datos'?Es el proceso de descubrir patrones y conocimientos a partir de grandes conjuntos de datos.
49¿Qué es la 'latencia' en computación distribuida?Es el tiempo que tarda un sistema en responder a una solicitud, afectando el rendimiento del procesamiento.
50¿Qué es MapReduce?Es un modelo de programación que permite el procesamiento paralelo de datos en Hadoop, dividiendo tareas en dos fases: Map y Reduce.
51¿Qué es el 'Hadoop ecosystem'?Es un conjunto de herramientas y tecnologías que complementan Hadoop, como Hive, Pig, HBase, entre otros.
52¿Qué es HBase?Es una base de datos NoSQL que se integra con Hadoop y permite el almacenamiento de datos en tiempo real.
53¿Qué es el 'shuffle' en MapReduce?Es el proceso de redistribución de los datos entre los nodos para que cada reducer reciba los datos correspondientes a su clave.
54¿Qué es la 'analítica de datos'?Es el proceso de examinar datos para extraer información útil y tomar decisiones informadas.