מתגי SAS, אינפיניבנד ושונות

[lavifighter]

מתגי SAS, אינפיניבנד ושונות

בכל ארגון יש מתגי תקשורת מן הסתם, וגם ראוטרים וכו' אבל זה לא העניין, העניין זה שהרוב מחובר עם switch גם בתוך אולם השרתים וזה הגיוני לגמריי.
גם אלו שעושים שימוש בFCP או בFCOE לרוב עושים שימוש במתג כלשהו-בין אם זה של הBC או אחד יותר גדול, ואני יודע ויכול לדון הרבה במתגים כאלה(יש לי איתם ניסיון לא מועט), אבל זה לא העיקר כרגע.
אבל מה עם סוגי תקשורת וSAN אחרות? למה אף אחד לא נוהג לקנות להם מתג?
למשל SAS-יש לא מעט בקרי רייד, JBOD וכו' שמתחברים עם SAS. למה לחבר הכל ישירות ולא לקנות איזה מתג SAS שיש כאלו בשוק? http://www.lsi.com/products/pages/lsi-sas-6160-switch.aspx אולי אפשר אפילו(ברמת הקוד יותר) להפוך את הSAS להיות פרוטוקול SAN של ממש?
infiniband גם כן-אומנם יש שם מתגים, אבל מישהו משתמש בזה? כידוע לי המחיר יקר מאוד ואני לא יודע אם יש מוצרים שעושים בו שימוש נכון.

אפשרי כמובן להעלות דוגמאות נוספות אם אתם מכירים... אני יותר התכוונתי להבין בדיון למה יש סוגי תקשורת(בעיקר SAS וSATA) שכמעט תמיד מחברים point to point ולא משתמשים במתג עבורם.

 

[F00D Is G00D]

לדעתי אינטרסים, וצרכים

החברות הגדולות שמייצרות מיתוג fc לא נכנסות לנישה, אז גם היצרנים מסביב לא עושים לזה קואלפיקציה (למשל לחיבור sas ב frontend של מערכות אחסון) ואתה תקוע עם הארכיטקטורה הפרטית שלך ובדומה לבכלל שימש ב jbod - אנשים יסתכלו עליך מוזר כשתנסה לממש משהוא כזה.
&nbsp
לגבי מיתוג jbod. האם באמת אתה זקוק למתגים בארכיטקטורה שמאפשרת אלפי devices בלופ פשוט? האם לא יותר פשוט וחף מתקלות להקצות לכל שרת באופן פיזי jbod במקום לנהל את זה 'וירטואלית' ? הרי אם היית רוצה storage גמיש, מנוהל, עם thin provision, אפשרות להוסיף ולהוריד מקום וכ'ו, כבר היית קונה storage ולא jbod
&nbsp
כל עוד אתה משתמש ב jbod למה שאתה אמור להשתמש ב jbod, לתפיסתי אתה לא צריך סוויץ. תקן אותי אם אני מפספס משהוא

 

[lavifighter]

אנסה להסביר

קודם כל, אני בעיקר איש נטאפ ואחסון ככה שאין צורך לשכנע אותי בזכות storage רציני ומוכר. עם זאת, יש אנשים(לדוגמה חץ מהפורום) שנראה שאוהבים אחסון תוצרת בית עם תוכנה כזאת או אחרת מסיבות שונות, אני לא איכנס לאם זה מומלץ או לא אלא רק מניח שיש אנשים שמוצאים לזה צורך.
במקרה כזה, אם מוכנים להתפשר מעט על רוחב הפס, אז יכול להיות שחיבור עם סוויץ'(לא לופ) יאפשר לחבר לך הרבה רבה יותר דיסקים ל"ראש". למשל בדברים כמו scaleio או תוכנות אחרות שהופכו שרת רגיל ל"מכונת אחסון", זה יכול להיות שימושי יותר מאשר לקנות מלא פורטי ובקרי SAS ומלא חיבורים.
גם בנטאפ למשל, רוב החיבורים מאחורה הם sas בימינו, והכמות של הידסקים מוגבלת לפי כמות הפורטים שקיימת. אם היה נתמך להשתמש במתג כזה(שכן כידוע לי זה לא נתמך), אפשר להגדיל משמעותית את כמות הדיסקים הניתנת לחיבור.
מובן הרעיון שלי?

 

[F00D Is G00D]

המגבלה האחרונה שציינת היא יצרן, לא תקן

לפי התקן, מותר להשתמש בעד 65k sas devices , מבלי קשר לכמות בלופ וכ'דומה. אם יש מגבלה שכזו איפהשהוא היא מהיצרן. גם בנטאפ לא קיימת מגבלה לפי stack כמדומני. זה אולי טיפשי מבחינת ביצועים. אבל מותר לך לחבר את כל כמות המדפים המותרת ב stack בודד

 

[lavifighter]

כידוע לי בנטאפ יש הגבלה של כמה מותר "לשרשר" בלופ לא זוכר כמה

מה גם שמדובר בבעית שרידות מסויימת לחבר כל כך הרבה חיבורים ככה... וגם ביצועים כמובן, אבל ייתכן שאם היה סוויץ' ולא לופ אז הlatnecy היה יותר נמוך מאשר לופ(שכן לא צריך לעבור דרך מלא מדפים בדרך.
בכל מקרה, תודה על התשובות הרציניות!
&nbsp

 

[כפות תמר]

על מערכות קטנות

גם אני מעדיף אותם. בעיקר משיקולי מחיר. למיטב זכרונו ה- 2040 של נטאפ עולה כ-20 אלף דולר. במחיר הזה, אני יכול לתת ללקוח את אותן יכולות רק עם מערכות קטנות (ולמען האמת, אני אוכל לתת גם מערכת לגיבוי).
כל אתה משרד קטן, אין טעם להשקיע בבקר נורמלי.
&nbsp
לגבי IB: ב- HPC משתמשים בו הרבה.
תאר לך משהו כזה: 40GB/s בין השרת לאחסון... בלי 5 פעולות על כל חבילה כמו ב- Ethernet ומהירויות הרבה יותר גבוהות מ- FC. בעיקרון IB זה קישור בין RAM של שרת א' ל- RAM של שרת ב' כאשר התוכנה שמשתמשת באחסון לא צריכה לעבור כל כך הרבה שכבות כמו ב- iSCSI ו- FC.

 

[lavifighter]

זה שיש בIB אפשרות לRDMA לא אומר שזה תמיד ככה

או שאני טועה?
אני מכיר הרבה שימוש בזה בbackend אבל בfront? יש מכונת אחסון(או תוכנה, לא משנה) אחת בעולם שתומכת בחיבור כזה לשרתים? בעיקרון eseries של נטאפ יודע נראה לי אבל זה מיועד כדי להיות backend למערכות אחסון אחרות.
אם כבר הזכרת אז שתדע שבFCP גם כן יש די מעט שכבות והן יחסית פחות משמעותיות מethernet, ואם משתמשים במהירות 16 גיגה ביט לשנייה בשילוב עם ריבוי נתיבים טוב אפשר להגיע למהירות שמתקרבת ואפילו עולה על מה 40 גיגה בנתיב בודד(אלא אם כן יש בIB ריבוי נתיבים, אני פחות מכיר).

 

[כפות תמר]

תשובות

יש ריבוי נתיבים ב- IB.
&nbsp
ואני לא חושב שאתה יכול להתקדם יותר מדי מעבר ל- 30Gb עם FC. יש מתגים באמצע ואתה לא השרת היחידי.
&nbsp
בזמנו ביקשו ממני לבדוק את הנושא של ה- IB והלכתי לקרוא את הניירת של הפרוטוקול. זו הדרך היחידה שהופיעה שם.
עשיתי בדיקה קצרה ונראה שרק מכונות אחסון של Flash תומכות היום ב- IB. יש לך למשל את ה- XtremIO של EMC (זו חברה ישראלית שנרכשה). כנראה שה- 8 וה -16 של FC חיסלו את הצורך ב- IB.
&nbsp
תשים לב שכל המוצרים של NetApp מוגדרים Mid Range אז לא הייתי מצפה למצוא שם תמיכה ב- IB.
למען הסר ספק: מעטים הארגונים בימינו שצריכים מכונה High End. כולל ארגונים ממשלתיים.

 

[lavifighter]

כמה תיקונים

מתגי FCP חדשים וחזקים(high end) מסוגלים ותומכים ב-16 גיגה בכל הפורטים ללא הגבלת רוחב פס בגלל המתג.
בנוסף אני לא הכרתי שXIO יודע IB, הכרתי שהוא יודע רק FCP ISCSI אבל אולי אני טועה.
ולגבי נטאפ הראשים החדשים שלהם(fas 8080ex) זה לחלוטין high end.

 

[כפות תמר]

מתגים

זה נחמד שכל פורט תומך 16 אבל מהו רוחב הפס בדרך לאחסון? ומה עם החומרה הפנימית של הנתב?
&nbsp
לא מכיר את ה-8000 של נטאפ. סדרה חדשה מהשנתיים האחרונות?

 

[lavifighter]

החומרה הפנימי של המתג(לא נתב, נתב זה ראוטר) לא מגבילה

במתגים חדשים בלבד כמובן... ולא הבנתי מה זה "רוחב הפס בדרך לאחסון".
זו סדרה חדשה אבל למעשה כל הראשים החדשים מסדרת FAS מכונים ככה, החל מראשים יחסית קטנים וכלה בהכי high end שלהם.
למה אמרתי מסדרת FAS? כי הם התחילו לשווק סדרה חדשה של מוצר חדש לגמרי שהם קנו שנקרא e-series שהוא למעשה אחסון SAN בלבד די טיפש אבל מאוד חסכוני במקום, והביצועים טובים. אחד לדוגמה: להיות backend למערכי אחסון אחרים. וכן, הוא יודע להוציא החוצה SAS וIB, אבל כידוע לי לא לשרתים אלא רק למכונות אחסון. אבל לא חובה ככה, הוא יודע לעבוד גם בפני עצמו זה לא JBOD. אני פחות מכיר מעבר לזה לצערי.
&nbsp

 

[כפות תמר]

לגבי הסדרות אני אברר.

רוחב פס:
השרתים מחוברים למתג והמתג מחובר לאחסון. כמה כבלים יוצאים מהמתג למכונה? 1 של 16? 2 של 16? זה הרוחב פס שלך לאחסון.
עכשיו גם בתוך המתג עוברת תעבורה על גבי חומרה פנימית. זה שהפורט עצמו תומך 16Gb לא אומר שהחומרה בתוך במתג תתן לך 16 תחת עומס...

 

[lavifighter]

החוומרה אמורה לדעת לספר 16 תחת עומס, לא בדקתי אם זה עובד

אבל לטענות היצרנים זה אמור להיות מסוגל במתגים חדשים מאוד.
ומהמתג למכונה אפשר להגיע למספרים די גדולים(תלוי בכרטיסי ההרחבה שקנית לאחסון), אבל מעל 4 "נתיבים" מהאחסון(HA pair) לשרת זה יכול לעשות בעיות מספר נתיבים מקסימלי(בVMWARE) אז עדיף שלא לעבור את המספר הזה, ולהגביל ברמת האחסון או המתג.

 

[lavifighter]

בדקתי בשבילךו eseries של נטאפ תומך בIB בלקוח

רק בלינוקס פיזי אומנם וגם אז אני לא בטוח שבכל הגרסאות והתצורות, אבל בעיקרון זה קיים.
סתם בגלל שחשבתי שזה לא נתמך...
שים לב שכפי שהסברתי בהודעה אחרת, זה לא ontap שאתה מכיר אלא מארז SAN בלבד(אין NAS) עם הרבה פחות פיצ'רים מאשר FAS וONTAP בעיקר בנושא הגיבויים, ניהול שונה וגם הבדל בביצועים(לא השוויתי, אבל אני משער שבסביבות מסויימות מערך SAN "רגיל" כמו זה מנצח את הFAS בביצועים).