Untuk meningkatkan konsumsi daya prosesor

Karena densitas prosesor semakin berkurang

Karena densitas power membatasi performa prosesor serial

Untuk menurunkan jumlah transistor dalam mikroprosesor

Menjalankan satu instruksi dalam satu waktu

Memecah masalah menjadi beberapa tugas yang dieksekusi simultan

Memproses data hanya pada satu inti prosesor

Memproses data hanya pada satu inti prosesor

Komputer tunggal dengan satu CPU

Komputer multi-CPU, komputer cluster, dan multi-komputer

Hanya komputer yang memiliki lebih dari 8 core

Prosesor berbasis analog

Menghemat waktu dan biaya

Tidak membutuhkan koneksi internet

Selalu lebih hemat energi dibandingkan sistem serial

Hanya dapat digunakan dalam superkomputer

Mengurangi jumlah prosesor yang digunakan dalam sebuah sistem

Menghilangkan kebutuhan akan sinkronisasi dalam sistem komputer

Menurunkan kecepatan eksekusi program untuk menghemat daya

Menjalankan beberapa tugas komputasi secara bersamaan untuk meningkatkan efisiensi

Teknik untuk mengurangi beban daya pada satu prosesor dengan cara menurunkan frekuensi kerja

Distribusi beban kerja yang merata di antara semua prosesor

Proses komunikasi antar-prosesor yang memperlambat sistem

Teknik untuk menjalankan instruksi secara berurutan

CPU, RAM, Hard Drive, GPU

Arithmetic Logic Unit (ALU), Control Unit (CU), Memory, Input/Output (I/O)

Core, Bus, Cache, Register

Kernel, Processor, Hard Drive, Display

Keterbatasan kecepatan transfer data antara CPU dan memori

Menggunakan terlalu banyak memori untuk pemrosesan data

Tidak mampu menjalankan lebih dari satu instruksi dalam satu waktu

Tidak mendukung pemrosesan data dalam jumlah besar

Kecepatan pemrosesan dan ukuran cache

Jenis sistem operasi yang digunakan

Arsitektur jaringan dalam sistem paralel

Dimensi instruksi dan data yang diproses

SIMD

MIMD

MISD

SISD

Komputer tunggal dengan satu CPU

Pemrosesan grafis pada GPU

Server cloud yang mengolah data berbeda secara independen

Sistem keamanan yang menggunakan banyak metode enkripsi

Data tunggal diolah oleh beberapa unit pemrosesan secara independen

Setiap CPU mengeksekusi instruksi yang sama tetapi dengan data yang berbeda

Satu instruksi dijalankan pada satu siklus dengan satu data

Beberapa CPU mengeksekusi instruksi yang berbeda secara paralel dengan data yang berbeda

SISD

SIMD

MISD

MIMD

Dapat mengeksekusi berbagai instruksi dan mengolah data yang berbeda secara paralel

Hanya menggunakan satu core untuk mengeksekusi instruksi

Selalu lebih hemat daya dibandingkan arsitektur lainnya

Tidak memerlukan sinkronisasi antar-prosesor

Kapasitas total memori yang tersedia untuk prosesor

Jumlah instruksi yang dapat dieksekusi oleh CPU dalam satu siklus

Waktu tunda dalam pengiriman data dari memori ke prosesor

Kecepatan akses data dari cache ke register CPU

Menggunakan lebih banyak hard drive untuk menyimpan data

Menggunakan cache dan memanfaatkan locality (temporal & spatial)

Mengurangi jumlah instruksi dalam program yang dieksekusi

Mengurangi jumlah prosesor dalam sistem

Beberapa prosesor dapat mengakses memori global secara bersama

Setiap prosesor memiliki memori lokal sendiri

Memori hanya dapat diakses oleh satu prosesor dalam satu waktu

Setiap perubahan dalam memori tidak dapat diketahui oleh prosesor lain

UMA memiliki kecepatan akses memori yang seragam, sedangkan NUMA memiliki kecepatan akses yang berbeda tergantung lokasi memori

UMA hanya digunakan dalam sistem single-core, sedangkan NUMA digunakan dalam sistem multi-core

UMA menggunakan cache, sedangkan NUMA tidak menggunakan cache

UMA lebih scalable dibandingkan NUMA

Tidak dapat digunakan dalam pemrosesan paralel

Tidak dapat diakses oleh lebih dari satu prosesor dalam satu waktu

Tidak mendukung pemrosesan dengan jumlah data yang besar

Memerlukan sinkronisasi data antar-prosesor

Semua prosesor berbagi satu ruang alamat memori yang sama

Setiap prosesor memiliki memori lokal sendiri dan tidak berbagi dengan prosesor lain

Memori hanya digunakan untuk menyimpan instruksi, bukan data

Setiap perubahan dalam memori lokal langsung terlihat oleh semua prosesor

Memerlukan lebih sedikit komunikasi antar-prosesor dibandingkan shared memory

Tidak membutuhkan pengelolaan data oleh programmer

Lebih scalable karena jumlah prosesor dan memori dapat dengan mudah ditingkatkan

Dapat diakses lebih cepat dibandingkan cache memory

Programmer harus menentukan bagaimana dan kapan data dikomunikasikan antar-prosesor

Tidak dapat digunakan dalam sistem multi-prosesor

Hanya mendukung sistem berbasis single-thread

Membutuhkan bandwidth yang lebih kecil dibandingkan shared memory

Superkomputer IBM Summit dan Cray XC40Superkomputer IBM Summit dan Cray XC40

Hard drive mekanik pada komputer desktop

Komputer single-core dengan sistem operasi DOS

Sistem operasi berbasis Linux tanpa penggunaan multi-threading

Untuk mempercepat eksekusi program

Untuk menghindari konflik dalam akses data oleh beberapa thread atau proses

Agar komunikasi antar-proses lebih lambat

Supaya program dapat dijalankan dalam mode single-threaded

Pemrograman berbasis distributed memory

Pemrograman berbasis message passing

Pemrograman paralel berbasis shared memory

Pemrograman berbasis GPU

Urutan terkecil dari instruksi yang dapat dikelola secara independen oleh scheduler

Proses yang berjalan dalam sistem operasi tanpa koordinasi

File executable yang dieksekusi dalam mode single-thread

Sekumpulan instruksi yang hanya dapat dijalankan secara berurutan

Setiap thread memiliki memori sendiri dan tidak dapat berbagi data

Semua thread dalam satu proses dapat mengakses data yang sama

Thread tidak dapat berjalan secara independen dalam shared memory

Thread memerlukan mekanisme komunikasi eksplisit seperti message passing

MPI

OpenMP

MapReduce

Hadoop

Dengan berbagi memori yang sama

Dengan menggunakan message passing

Dengan mengakses alamat memori global bersama

Dengan menggunakan mutex dan semaphore

OpenMP

CUDA

TensorFlow

MPI (Message Passing Interface)

Model thread dan model message passing

Model SIMD dan model MIMD

Model sekuensial dan model terdistribusi

Model shared memory dan distributed memory

OpenMP + MPI

OpenMP + Hadoop

CUDA + MapReduce

TensorFlow + Hadoop

Semua unit pemrosesan bekerja pada bagian berbeda dari dataset yang sama

Semua unit pemrosesan harus berbagi satu ruang memori yang sama

Data hanya dapat diproses oleh satu thread dalam satu waktu

Model ini tidak dapat digunakan dalam pemrosesan big data

MPI

OpenMP

CUDA dan TensorFlow

POSIX Threads