כח המחשוב של NegevHPC 2021

בעולם ה-HPC הכל נמדד, בסופו של דבר, בכמות פעולות החישוב במשתני נקודה צפה שניתן לבצע בכל שניה. באופן תיאורטי, מחשב המכיל n# שרתים - כך שכל שרת מכיל cores# ליבות, ובכל ליבה קצב השעון הוא freq# ג'יגה-הרץ, ובכל פעימה של השעון הוא מסוגל לבצע ops# חישובים - יהיה מסוגל לבצע n x core x freq x ops חישובים. הערך התיאורטי הזה נקרא Rpeak. בפועל, הביצועים של מחשבים נמוכים יותר בשל אילוצי מערכת הפעלה, זכרון, תקשורת ועוד. הערך האמיתי שנמדד במכונה, עבור חישוב אמת (לרוב לפי benchmark שנקרא HPL) מכונה Rmax.

במקביל לביצועי המחשב עצמו, ישנם סוגים שונים של חישובים מקביליים המתאימים לארכיטקטורות מחשב שונות. כאשר באים לעמוד על ההבחנה בין גריד לבין קלאסטר, עיקר הדיון נחלק להבדל שבין חישובים שאינם נדרשים כמעט לתקשורת מחוץ לרמת השרת הבודד, הנקראים Embarrassingly Parallel, ובין חישובים הנדרשים לתקשורת מרובה בין כל הקודקודים. מבנה החישוב, בתורו, קובע גם האם הפלטפורמה עליה החישוב רץ מתאימה לו. לדוגמה, מחשב הבנוי בתצורת גריד יוכל להתמודד בקלות עם חישובי Embarrassingly Parallel אך יאבד כוח חישוב רב עבור תקשורת אם ינסה לבצע חישוב מרובה-תקשורת ללא פלטפורמת תקשורת מתאימה (לדוגמה חיבור מסוג Infiniband). לחילופין, יהיה זה בזבוז לבנות קלאסטר חישוב מהיר - ויקר - המיועד לחישובים מרובי-תקשורת כאשר רוב החישובים המורצים עליו אינם כאלה.

מעבדת NegevHPC התחילה ככזו המספקת מחשב גריד. עם זאת, ברור היה כי עבור חישובים מדעיים לרוב יש צורך דווקא בחישובים מרובי-ביצועים, ולפיכך במחשב קלאסטר. בהמשך הפוסט נתאר את המצב הנוכחי בו נמצאת המעבדה.

בתחילת 2020, היו ב-NegevHPC בדיוק 30 שרתי חישוב שמישים ושרת שהכיל שני מאיצי Intel Xeon-phi. שרתי החישוב שונים זה מזה. הטבלה להלן מתארת את היכולות התיאורטיות (Rpeak) והיכולת המדודה (Rmax) עבור מכונה בודדת של השרתים השונים:

להלן פירוט היכולת התיאורטית של המאיץ:​​

כל עוד משתמשים בשרת בודד, היכולת המעשית היא כ-80% מהיכולת התיאורטית של השרת, אך לעתים החישוב גדול ודורש יותר משרת אחד. המדד המעשי הקובע מתי שרת אחד לא מספיק לחישוב, הוא כמות זיכרון ה-RAM במחשב. להלן פירוט הזיכרון במכונות השונות:

כאשר החישוב משתמש במספר שרתים, נכנסת לתמונה תשתית התקשורת. נכון לתחילת 2020 היתה ב-NegevHPC תשתית תקשורת Ethernet במהירות 10Gb/s (שתמכה רק בחלק מהשרתים). המשמעות המעשית הייתה שהביצועים המעשיים בשימוש ב-2 שרתי חישוב צנחו ל-67% יחסית ל-Rpeak ובשימוש ב-10 שרתים במקביל, הביצועים צנחו לכ-42% יחסית ל-Rpeak.

לרוב, התוכנה שרצה על הגריד מבצעת קריאה או כתיבה לשרת אחסון רשתי. נכון לתחילת 2020 כלל הכתיבות והקריאות בוצעו מול שרת NetApp דרך ערוץ תקשורת Ethernet יחיד, דבר שגרם להאטה נוספת במהירות החישוב.

אז מה קרה במהלך שנת 2020 ?

* במהלך 2020 התבצע רכש של עוד 10 שרתים חדשים:

* בוצע רכש של שרת המכיל שני מאיצי GPU מסוג Nvidia Tesla V100 אשר מספקים ביצועים תיאורטיים של 5.3TFlop/s כל אחד.

* התבצע שדרוג בתשתית התקשורת לתווך Mellanox Infiniband FDR מדגם sx6025 שמספק תקשורת במהירות 56Gb/s בטכנולוגית RDMA המספקת Latency אפסי. תווך זה מצמצם את תקורת התקשורת לכ-90% ביחס ל-Rmax הצפוי.

* התווספו לגריד שרתי אחסון Lightbits LightOS המכילים אחסון NVMe SSD ואשר חוברו בתצורה של Distributed File System כך שיספקו אחסון מהיר לתוכנות מקביליות ויצמצמו את התקורה הכרוכה בכתיבה לדיסק הקשיח.

* הותקנו שרתי אינטל חדשים עם רכיב NVRAM מסוג Intel Optane DCPMM.

לסיכום אלו השרתים שנכון להיום קיימים במעבדה:

* התוכנות שמוצעות כיום באתר הם:

בסך-הכל, ביצועי הגריד המעשיים עלו ב-2020 מ-12.9Tflop/s לכ-60Tflop/s!