Fundamentos de Computación Paralela

Diferencia clave entre computación paralela y distribuida:

• Paralela usa memoria compartida, distribuida usa paso de mensajes

• Paralela usa múltiples redes, distribuida usa un único núcleo

• Paralela usa Python, distribuida usa C++

• Paralela usa GPUs, distribuida usa CPUs

¿Cuál de las arquitecturas de la taxonomía de Flynn es la más general y potente?

• SISD, ejecución secuencial de un único flujo

• MISD, múltiples instrucciones sobre un único dato

• SIMD, misma instrucción sobre múltiples datos

• MIMD, múltiples instrucciones y múltiples datos

La arquitectura SIMD se usa principalmente en:

• Unidades de control de memoria

• Procesamiento de gráficos en GPUs

• Procesos de paso de mensajes

• Modelos de programación distribuida

Problema principal en la memoria compartida:

• Difícil acceso a GPU

• Complejidad en paso de mensajes

• Conflictos de coherencia de caché

• Uso excesivo de ancho de banda

En memoria distribuida, la comunicación se realiza mediante:

• Copias locales de datos

• Paso de mensajes

• Sincronización de hilos

• Acceso uniforme a memoria

Modelo de programación que divide un proceso en múltiples flujos de ejecución:

• Modelo multihilo

• Modelo distribuido

• Modelo de paso de mensajes

• Modelo secuencial

El modelo de paso de mensajes es usado en:

• MPI

• CUDA

• OpenMP

• NumPy

Modelo donde múltiples tareas operan sobre diferentes porciones de la misma estructura:

• Modelo data-parallel

• Modelo secuencial

• Modelo pipeline

• Modelo híbrido

Fórmula del Speedup paralelo ($S_p$):

• $S_p = T_p / T_1$

• $S_p = p / E_p$

• $S_p = T_1 / T_p$

• $S_p = p \cdot T_p$

Fórmula de la Eficiencia ($E_p$):

• $E_p = S_p / p$

• $E_p = p / S_p$

• $E_p = T_p / T_1$

• $E_p = T_1 / T_p$