这篇文章是我当前对于并行计算&高性能计算的结构化总结。反思自课程 02258 Parallel computer systems, 02613 Python and high-performance computing。
Where to compute
The data flow
Shared memory
Distributed
注意甄别NUMA和ccNUMA,后者对于programmer友好，然后目前主流
fastnetwork独立接口，应该就是hpc network，了解一下。
老师的洞见是openmp会在未来的几年消退，c++会dominant
GIL的核心是，锁住CPU计算，像是如果offwork在IO时候，和核心无关，那么就会放锁
Hyhrid
roofline