Parallel Processing & Distributed Systems - Chapter 1: Introduction - Thoai Nam

Nội dung text: Parallel Processing & Distributed Systems - Chapter 1: Introduction - Thoai Nam

1. Parallel Processing & Distributed Systems Thoai Nam Faculty of Computer Science and Engineering HCMC University of Technology
2. Supercomputers: TOP500 Titan – 17,59 petaflops (560.640 cores) K computer – 8 petaflops (548.352 cores) Tianhe-2 (MilkyWay-2) – 33,8 petaflops (3.120.000 cores) Sequoia – 17,17 petaflops (1.572.864 cores) SuperMUC – 2,897 petaflops (147.456 cores) Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
3. Supercomputing applications Khí động học Mô phỏng não trong tàu vũ trụ Mô hình thời tiết PCM Tràn dầu của BP Mô phỏng tiểu hành tinh Mô phỏng Uranium-235 hình thành từ phân rã Phutonium-239 Tác dụng của thuốc Mô phỏng ở mức phân tử nguyên tử Lithium Mô phỏng Renault F1 Mô phỏng xe va chạm Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
4. SuperNode I & II SuperNode I in 1998-2000 SuperNode II in 2003-2005 Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
5. SuperNode V HPC center HPC lab Task VCL Multiple domains HPC Cloud Peer-2-peer Virtual cluster Single domain Connecting campus Grids Cloud-based systems Centralized Rather fast network High-speed network Heterogeneous Stable Inter-campus Grid National Grid Rather homogeneous VN-Grid Core Campus Grid EDAGrid Cloud Grid 2007 2010 2011 2012 2013 Year Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
6. HPC group at HCMUT  5 Dr. + 6 Postdoc  Research projects: Clusters, Grid and Cloud Computing  Region activities: PRAGMA  HPC Center  Solving big problems Singapore ( m.sg/mapapp/index.html) Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
7. Sequential Processing  1 CPU  Simple  Big problems??? Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
8. Grand Challenge Problems  A grand challenge problem is one that cannot be solved in a reasonable amount of time with today’s computers  Ex: – Modeling large DNA structures – Global weather forecasting – Modeling motion of astronomical bodies Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
9. Solutions  Power processor – 50 Hz -> 100 Hz -> 1 GHz -> 4 Ghz -> -> Upper bound?  Smart worker – Better algorithms  Parallel processing Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
10. Pipeline  A number of steps called segments or stages  The output of one segment is the input of other segment Stage 1 Stage 2 Stage 3 Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
11. Pipeline & Data Parallelism 1. Sequential execution A B C w2 w1 2. Pipeline A B C w5 w4 w3 w2 w1 3. Data Parallelism A B C w4 w1 A B C w5 w2 A B C w6 w3 Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
12. Pipeline & Data Parallelism 3.5 3 2.5 2 S(p) 1.5 S(dp) 1 0.5 0 1 2 3 4 5 6 7 8 9 10 Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM
13. Scalability  An algorithm is scalable if the level of parallelism increases at least linearly with the problem size.  An architecture is scalable if it continues to yield the same performance per processor, albeit used in large problem size, as the number of processors increases.  Data-parallelism algorithms are more scalable than control- parallelism algorithms Khoa học và Kỹ thuật Máy tính - ĐHBK TP.HCM