Preface......Page 3
Contents......Page 5
--- Foundations......Page 9
Every Computer is Parallel Computer......Page 10
3 Prevailing Types of Parallelism......Page 11
Sped up......Page 12
History of Parallel Computing, Systems and Programming......Page 15
Modeling Parallel Computation......Page 17
Multiprocessor Models......Page 19
The Impact of Communication......Page 24
Parallel Computational Complexity......Page 37
Laws and Theorems of Parallel Computation......Page 42
Exercises......Page 48
Bibliographical Notes......Page 50
--- Programming......Page 51
Shared Memory Programming Model......Page 52
Using OpenMP to Write Multithreaded Programs......Page 54
Parallelization of Loops......Page 58
Parallel Tasks......Page 83
Exercises and Mini Projects......Page 89
Bibliographic Notes......Page 91
Distributed Memory Computers Can Execute in Parallel......Page 92
Programmer’s View......Page 93
Message Passing Interface......Page 94
Basic MPI Operations......Page 103
Process-to-Process Communication......Page 104
Collective MPI Communication......Page 112
Communication and Computation Overlap......Page 119
How Effective Are Your MPI Programs?......Page 133
Exercises and Mini Projects......Page 134
Bibliographical Notes......Page 136
Anatomy of a GPU......Page 138
Programmer’s View......Page 150
Programming in OpenCL......Page 155
Bibliographical Notes......Page 200
--- Engineering......Page 202
Parallel Computation of Number π......Page 204
OpenMP......Page 207
MPI......Page 209
OpenCL......Page 213
Parallel Solution of 1D Heat Equation......Page 215
OpenMP......Page 219
MPI......Page 220
Parallel Implementation of Seam Carving......Page 227
Energy Calculation......Page 229
Seam Identification......Page 230
Seam Labeling and Removal......Page 233
Seam Carving on GPU......Page 236
Final Remarks & Perspectives......Page 245
Linux......Page 247
macOS......Page 249
Windows......Page 251
Refs......Page 254
Index......Page 256