AWS

מסיבות היסטוריות, תמיד העדפתי את החומרה שלי אמיתית ולא וירטואלית.
בחודש האחרון יצא לי להתנסות בעבודה עם AWS – הלו הוא שרותי הווב של אמזון (Amazon Web Services) שכולל בין היתר את:

  • EC2 – הענן האלסטי של אמזון, שמאפשר להקצות מכונות וירטואליות על פי דרישה, שמריצות מה שבא לכם.
  • S3 – שרות אחסון הנתונים הוותיק של אמזון
  • RDS – שרותי בסיס נתונים, למעשה מכונת MySQL בניהול של אמזון, שכולל גם שרותי גיבוי, Read replica, סנאפ-שוטים של הנתונים ועוד.

מכונה וירטואלית בEC2 כוללת שטח אכסון מקומי (הרדיסקים לצורך העניין).
בעבר – מערכת הקבצים של המכונה ישבה על הדיסקים האלו. הImage של מערכות בשיטה הזו נקרא Instance store image, ואוכסנו בS3 – שרות איכסון הנתונים של אמזון.

אחת התכונות של הדיסקים המקומיים היא שכשהמכונה מוקצה מקבלים דיסקים ריקים, וכשהמכונה משוחררת (Terminated) המידע על הדיסקים האלו אובד לתמיד.
הדבר הזה גרם לקשיים אמיתיים להריץ בסיס נתונים על EC2, עד שאמזון פיתחו את הEBS (Elastic block store):
הEBS דומה במהות שלו למערכת איכסון מרכזית שמקצה דיסקים למכונות קצה, ולכן ביצועי הקריאה/כתיבה שלו תלויים בעומס עליו. במילים אחרות – אתם עשויים לסבול מביצועי קריאה/כתיבה ירודים כי משתמשים אחרים מתפרעים.
אם חשובים לכם ביצועי הIO, ואתם מוכנים לספוג אובדן של הנתונים אם המכונה משוחררת, שווה לההשתמש בדיסקים המקומיים, תקבלו ביצועיי IO צפויים יותר ובנוסף לא יהיה לכם תשלום לפי נפח הIO שאתם מבצעים (בניגוד לשימוש בEBS).
אפשר כמובן להגדיר אותם בתצורת  RAID-0 כדי לשפר את הביצועים

היתרון המרכזי ביותר לVolume של EBS הוא שמחזור החיים שלו נפרד מזה של המכונה אליה הוא מחובר: אם המכונה שאליה הוא מחובר משוחררת, הוא ממשיך להתקיים בנפרד ואפשר לחבר אותו למכונה אחרת (אבל רק לאחת בו זמנית כמובן).

EBS שמאפשר הקצאה של "דיסק" בצורה דינמית, וחיבור שלו למכונה בצורה דינאמית. בנוסף אפשר כמובן לשמור את מערכת הקבצים (root) של המכונה שם. Image כזה נקרא EBS Image, והוא עדיף ברוב הבחינות על הImage הוותיק יותר.
גם מכונות מבוססות EBS כוללות דיסקים מקומיים שתכלו לנצל אם תרצו (מה שאומר לפעמים שצריך לפרמט אותם).

אחד היתרונות המהותיים ביותר של ספקי ענן על פני ספק שרתים קלאסי הוא הזמן הנדרש כדי לקבל מכונה חדשה:

בספק קלאסי, מדובר בדרך כלל בכמה ימים לכל הפחות, שבהם הוא יזמין חומרה חדשה לפי דרישתכם, יתקין עליה מערכת הפעלה ויספק את המכונה.
בEC2, התהליך לוקח דקות, ואתם לא צריכים לשלוח אימייל לאף אחד, ניתן להקצות את המכונה מממשק הניהול של AWS, או בשימוש בSDK בשפה המועדפת עליכם.
מכיוון שהתהליך הוא כל כך אוטומטי, יש כמה דברים שאין לכם עליהם שליטה:
קודם כל, מאפייני החומרה מוגבלים למספר מצומצם של סוגי מכונות, ואתם צריכים לבחור את סוג המתאים ביותר.
בנוסף, המכונה תקבל כתובת IP פנימית וחיצונית שונה בכל שתקצו אותה, ושם המכונה יהיה מגעיל במיוחד (איזה חרא שמבוסס על כתובת הIP הפנימית).
אם אתם מגיעים כמוני מחוות שרתים קלאסית, זה יהיה מעצבן במיוחד. הצורך לשלוט על השם של מכונה הוא טריויאלי וחיוני במקרים רבים.

כשמקצים מכונה בEC2, חוץ מהפרטים הרגילים של סוג המכונה, איפה היא תהיה, על איזה אימג' היא תתבסס וכו' – אפשר גם להעביר מידע כללי כלשהו למכונה, שיהיה זמין לה על פי דרישה.
ספציפית אפשר להעביר למכונה את שם ההוסט שאנו רוצים שהיא תקבל, ואולי גם כל מני פרטים שיעזרו למכונה להגדיר את עצמה לפי הצורך בעליה הראשונה.
אם משתמשים בVPC – הלו הוא ענן וירטואלי פרטי, מקבלים כמה יתרונות, קודם כל אפשר לשלוט על תצורת הרשת של המכונות לחלוטין, מה שאומר שתוכלו לבחור כתובות IP, סאבנטים, שרת DNS וכו'.
כדי לשלוט גם על שם ההוסט של המכונה, המכונה מעדכנת DNS פנימי בשם ובכתובת הIP שלה (הDNS הוא מכונה וירטואלית בעצמו בתוך הVPC שלכם). מכיוון שכל המכונות שלכם מוגדרות להשתמש בDNS הזה, שם ההוסט החדש יהיה מוכר לכל המכונות האחרות אוטומטית ברגע שהמכונה עולה ומעדכנת את הDNS.

כל המכונות הוירטואליות שלי מבוססות על אותו IMAGE, למרות שהן מסוגים שונים ומשונים, יש לי שם:

  • מכונות DNS
  • מכונות Memcached
  • מכונות WEB
  • מכונות Gearman
  • מכונת HAProxy
  • ועוד

אז איך יתכן שכל המכונות מבוססות על אותו IMAGE?
כאמור, כשאני מקצה מכונה אני מעביר לה את ה"סוג" שלה בUSER-DATA.
כשהמכונה עולה, היא מעבירה את הסוג שלה לשרת תצורה מרכזי מסוג Puppet, שאומר למכונה מה לעשות כדי להפוך למה שהיא אמורה להפוך.
אפשר למלא כמה פוסטים רק על Puppet (ואפילו כתבתי עליו כבר פעם), אבל הפעם אני לא ארחיב.

כאשר יש לכם מערכת אלסטית של שרתים, שבה שרתים יכולים לבוא וללכת לפי דרישה – נוצרת בעיה של ניהול. למשל, אם תרצו להפעיל מחדש את כל שרתי האפ'אצי במכונות הWEB – איך תעשו את זה? בתור התחלה, איך תדעו בכלל איזה שרתים הם מכונות WEB ומה הכתובות שלהם?
אם תרצו לברר מה הגרסא של חבילה מסויימת בכל השרתים, איך תדעו מה כל השרתים?
פתרון אחד הוא  לנהל בסיס נתונים מרכזי שישמור מידע על השרתים. הפתרון הזה עובד, אבל הוא בעייתי : צריך לתחזק אותו, ויש לשים לב במיוחד למה קורה כשמכונה משוחררת.

פתרון אלטרנטיבי הוא להשתמש במערכת Marionette collective:
קונספטואלית, mcollective  היא נטולת שרת מרכזי.
יש שרת הודעות כללי (Message queue) מסוג ActiveMQ שמשמש לתקשורת בין המכונות. פלאגינים מיוחדים בשם Agents רצים על המכונות, ומאפשרים ביצוע פעולות שונות ומשונות עליהם.
הפעולות יכולות להיות מסוננות לפי "עובדות" שהמכונות יודעות על עצמן, במילים אחרות – מכונת WEB, שיודעת היא מכונת WEB, לא תבצע פעולה שמיועדת למכונת Gearman.
ההתקנה של MCollective היא לא מאוד מסובכת, ומה שיפה זה שהActiveMQ עובד, כל מכונה שעולה אוטומטית זמינה דרך הMCollective (כמובן – היא צריכה להריץ את השרת של MCollective, אבל כל זה חלק מהIMAGE הבסיסי.
שווה מאוד לראות את הסרטונים באתר של Mcollective כדי להבין במה מדובר.

אם לסכם, אני מרוצה מהמערכת שקמתי באמזון, ובגדול מהגמישות שנובעת מהתשתיות של אמזון.
יש לי עדיין לדאוג לכל העניין של איזורי הזמינות, גיבויים שוטפים וכו'.

אם תהיה דרישה, אולי אני אכתוב עוד כמה פוסטים שמפרטים לגבי חלקים ספציפיים מהתצורה שלי בAWS.

StartSSL

כשהגדרתי את הדואר באייפד, גיליתי שאפל לא ממש מסתדרים עם החתימה הדיגיטלית המצ'וקמקת שהתקנתי בשרת הדואר – ופצחתי בחיפוש אחר מקור לחתימה זולה.
מצאתי את StartSSL, חברה שמספקת חתימות דיגיטליות במחירים נמוכים במיוחד שמתחילים ב.. חינם.
כן, אפשר לקבל מStartSSL חתימה דיגיטלית לשרת שלכם, בין אם זה שרת דואר, ווב, ג'אבר ועוד – ללא תשלום.
חוץ מזה שמחיר הוא ללא תחרות, האתר שלהם די מקל על כל התהליך, וכולל מידע רב והנחיות שפשוט עובדות.
במהלך התקנת החתימה בשרת הדואר (דבר שלא מתועד אצלם באתר) נתקלתי בקשיים – ולמרבה הפלא קיבלתי תשובות מועילות כשפניתי לתמיכה שלהם (ואני מזכיר – בתור לקוח לא משלם).
כל הדפדפנים העיקריים תומכים בהם, ולא נתקלתי בבעיות מיוחדות בגלישה לאתר שמוצפן עם החתימה שלהם, או בשימוש בדואר IMAP וSMTP שמוצפן עם החתימה (כולל כאמור ממכשירים ניידים של אפל – אייפון ואייפד).

את הכסף הם עושים מחתימות מאומתות ברמה זו או אחרת, החל באימות זהות אישי ב$50, וכלה בחתימה מסוג Extended validation – אלו שנותנות את הריבוע הירוק הענק בדפדפן – שנמצאת כרגע במבצע ועולה $150 לשנתיים (בווריסיין חתימה כזו עולה כ2695$).
עכשיו – 50$ לאימות זהות זה מעט מאוד יחסית לשאר התעשיה, ומפתה לחשוב שהם לא בודקים כמו שצריך.
אתמול התחלתי תהליך אימות זהות כזה – כשהמטרה היא להשיג חתימה דיגיטלית מלאה לface.com, והרושם שלי בינתיים הוא שהם בודקים מאוד ברצינות ולא מחפפים.
ואנקדוטה קטנה: בזמן החלפת האימיילים עם נציגי החברה, סיפרתי להם שאין עלי את תעודת הזהות כי היא גדולה מדי ורוב הישראלים לא מסתובבים איתה. בתגובה נאמר לי בחיוך שהם חברה ישראלית שממוקמת באילת ושעל פי חוק אני אמור להסתובב עם הת"ז :).
אני ממליץ בחום לנסות אותם למי שרוצה לארגן SSL בשרת ולא בא לו לשלשל לארנק של ווריסיין סכומים מופרכים.

PXE, ISCSI ושאר ירקות

לפני כשנה ארגנתי לי מכונת אחסון ביתית שמריצה OpenSolaris (להלן Iron, או איירון).
איירון מכיל היום שישה דיסקים בגדלים שונים (בתצורת MIRROR, ככה שאני מקבל חצי מנפח האחסון נטו).
בהתחלה השתמשתי במכונה בתור כונן גדול לאחסון סרטים ומוסיקה (גדול מאוד, נטו 4TB וכאמור כל ביט כתוב על שני דיסקים), אבל עוד מההתחלה היו לי מחשבות על אחסון של ספריית הבית שלי על המכונה הזו כדי להרוויח מהירות שרידות וגיבויים נוחים ויעילים (הכל בחסות ZFS).
מכיוון שהדיסקים החדשים יותר שלי נמצאים באיירון המחשב הראשי שלי זכה לקבל שני דיסקים ישנים למדי, של 200GB ו500GB.
על הדיסק של ה200GB מותקנת חלונות 7 שמשמשת אותי למשחקים, ועל הדיסק של ה500 מותקן דביאן לינוקס (Squeeze) שמשמש לכל השאר.
לאחרונה התחילו לצוץ רמזים שהמצב של הדיסקים האלו די ירוד – bad sectors (מגזרים רעים!), שגיאות קריאה וסריקה (seek) אקראיות, תקיעות אקראיות וכו'.
הצעד הטבעי במצב כזה הוא לקנות דיסקים חלופיים, אבל זה די בזבוז לקנות דיסקים חדשים כשיש כל כך הרבה מקום איכותי מהיר ופנוי על איירון.
אז התחלתי לחשוב על האפשרות של איתחול דרך הרשת לשתי מערכות ההפעלה על המחשב הראשי.
מחשבים מודרניים תומכים באיתחל רשת דרך PXE (פיקסי).

מילה מקדימה:
כמעט את כל הבדיקות והמשחקים להלן ביצעתי תוך שימוש בVirtualBox.
ווירצ'ואל בוקס תומך היטב באיתחול פיקסי. כדי לעשות את זה צריך לשנות את הגדרות המכונה הוירטואלית לאיתחול מהרשת.
בנוסף, אם אתם משתמשים כמוני בשרת DHCP ברשת האמיתית, חשוב לשנות את הגדרות כרטיס הרשת של המכונה הוירטואלית למצב Bridged (ברירת המחדל היא NAT) אחרת זה לא יעבוד.

כדי לאפשר למחשבים לבצע איתחול דרך פיקסי צריך את הרכיבים הבאים:

  • שרת DHCP – שמעביר אוטומטית למחשב הגדרות רשת ופרמטרים לפיקסי.
  • שרת  TFTP – שמכיל קבצים שמשמשים את תהליך האתחול. TFTP זה קיצור פרוטוקול טריויאלי להעברת קבצים, והוא מאוד פרימיטיבי ואיטי – אבל מספיק בשביל להתניע את התהליך.

שרת הDHCP צריך לתמוך בכל מני אופציות מתקדמות, לכן לא סביר שהDHCP שמגיע עם הנתב האלחוטי הביתי שלכם יתאים לצורך העניין.
בגדול, הDHCP צריך להכיל שני פרמטרים:

  • TFTPsrvN :  שמכיל את השם או כתובת הIP של המחשב שמריץ את שרת הTFTP
  • BootFile : שמכיל את השם של קובץ ההפעלה הראשי שמתחיל את תהליך האתחול, ונמצא בתוך ספרית השורש של שרת הTFTP.

התהליך הוא כזה:
המחשב מבצע איתחול ומחפש ברשת שרת DHCP שיספר לו מה שרת הTFTP ואיזה קובץ למשוך ממנו, ברגע שהוא מקבל הוא מתחבר לשרת הTFTP, מושך את קובץ ההפעלה ומפעיל אותו.
הקובץ הזה מכיל טוען בוט מיוחד. יש כמה אפשרויות ולמעשה אני עדיין מתנסה בעניין.

מכיוון שאני מתכוון להשתמש במכונת הOpenSolaris לשמירת הקבצים, זה טבעי שאני אשתמש בה גם בשביל שרתי הDHCP והTFTP.
שרת הDHCP הנפוץ ביותר הוא ISC DHCP ואולי כדאי לבחור בו כי רוב הדוגמאות שתמצאו ברשת לגבי הגדרת PXE יתאימו לשרת הזה.
אני החלטתי להשתמש בשרת הDHCP שמגיע עם OpenSolaris, יש הוראות התקנה וקינפוג בסיסיות כאן.
מה שחסר זה שם זה איך מגדירים את TFTsrvN ואת BootFile:
ככה אני עשיתי את זה:
[code lang="bash"]
pfexec dhtadm -M -m `hostname` -e BootFile=pxelinux.0
pfexec dhtadm -M -m `hostname` -e TFTPsrvN=10.0.0.4
[/code]
אפשר גם להשתמש בכלי הגרפי dhcpmgr שיפתח ממשק משתמש שיאפשר שינוים בהגדרות שרת הDHCP.

טועני בוט

לדעתי הטוען בוט הפופולרי יותר הוא pxelinux שהוא למעשה גרסא מיוחדת של syslinux.
כדי לעבוד עם פיקסילינוקס, צריך לשים את pxelinux.0 בספריית השורש של שרת הtftp (בדרך כלל /tftpboot).
כשפיקסילינוקס עולה, הוא מחפש קבצי הגדרות שמתאימות למחשב לפי סדר הגיוני למדי : קודם קובץ בשם של כתובת הMAC של המחשב, ואז בשם של כתובת הIP, ואז חלק יותר קטן מכתובת הIP וכו' ולבסוף קובץ השם default שיטען אם לא נמצא קובץ הגדרות יותר ספציפי.

פיקסילינוקס תומך במעין תפריט בוט פשוט, למשל:
[code]

LABEL sbm
KERNEL memdisk
APPEND initrd=sbm.bin

LABEL local
LOCALBOOT 0
[/code]

עם התפריט הבא, פיקסילינוקס יציג לנו propmt שבו נוכל להקליד local כדי להמשיך לבוט מקומי או sbm כדי לטעון את  Smart boot manager (אפשר למצוא את sbm.bin פה.

דבר אחד שחסר לפיקסילינוקס הוא תמיכה בboot מכונן iscsi.
iscsi הוא פרוטוקול תקשורת שמאפשר שימוש בדיסק מרוחק כאילו הוא דיסק סקאזי מקומי.

מסתבר שפרוייקט אחר בשם gpxe (הידוע גם כ Etherboot) תומך בבוט מiscsi, ואפילו בבוט מhttp, ftp ועוד.
מסתבר עוד, שיש מעין הכלאה של pxelinux ושל gpxe שמאפשרת את היכולות של pxelinux וגם את היכולות של gpxe, ההכלאה נקראת gpxelinux (איזו הפתעה) והיא כלולה בהורדה של pxelinux.
כדי להשתמש בgpxelinux, צריך לקבוע בשרת הDHCP שקובץ הבוט הוא gpxelinux.0, שאר העבודה בדיוק כמו עם פיקסילינוקס.

על ISCSI

לISCSI יש טרמינולוגיה די מעצבנת:

  • Logical unit : המקבילה לדיסק או מחיצה
  • LUN : המספר של הלוג'יקל יוניט
  • Target : מעין מזהה שמגדיר גישה לאחד או יותר יחידות לוגיות, נראה ככה למשל : iqn.1986-03.com.sun:02:2775db99-0772-6e28-bb0e-bcbe420894ee
  • Initiator : הלקוח, קוד ששולח בקשות IO בפרוטוקול iscsi.

אפשר להרים שרת iscsi גם עם לינוקס כמובן, אבל אני משתמש באופן סולאריס בתור מערכת האחסון שלי.

לאופן-סולאריס יש ארכיטקטורה חדשה לiscsi שנקראת Comstar, קומסטר תומך גם בעוד פרוטוקולים כמו ערוץ אופטי (FC) אבל זה לא מעניין אותנו.

יש פה פוסט די טוב שמתאר שימוש בסיסי בקומסטר כדי ליצור iscsi target.
מה שחסר זה שצריך בהתחלה להתקין את stmf ולעשות ריבוט אם זה לא עובד (כן, ריבוט – יש על זה באג פתוח).
[code]
pkg install SUNWstmf
[/code]
שימו לב שבדוגמא שם הוא מתאר איך ליצור מיפוי שבו כל היחידות הלוגיות זמינות דרך כל הtargetים. אם אתם רוצים משהו יותר מורכב מזה תקראו את התיעוד, ספציפית את הדף הזה.

ברגע שהגדרתם target בהצלחה, נשאר לבדוק אותו.
זה די פשוט גם בחלונות 7 או וויסטה וגם בלינוקס. חפשו קצת בגוגל.

לגבי התקנות ואיתחול של של מערכות הפעלה ספציפיות על iscsi, יש תיעוד לרוב בוויקי של Etherboot .
עדיין לא הצלחתי להגיע לבוט מלא של חלונות 7 או דביאן דרך הרשת, אבל אני מקווה להצליח בקרוב.

צפו לפוסט עדכון לגבי איך ומה עושים לגבי כל אחת מהמערכות כדי להגיע לאיתחול מISCSI. (אלא אם אני אכשל ואז צפו לשקט חשוד).

אם הפוסט הזה עשה לכם תיאבון לנסות, קחו בחשבון שתצטרכו ללמוד הרבה דברים, ואולי תיתקעו בדרך.
זה לא פשוט, וזה לוקח די הרבה זמן להבין את הכל.

פוסטים קשורים:
מכונת אחסון ביתית על אופן-סולאריס
אופן סולאריס: תצורה, שיתוף קבצים וגיבויים
שידרוג נפח אכסון ZFS על גבי OpenSolaris

שידרוג נפח אכסון ZFS על גבי OpenSolaris

לפני קצת יוצר מחצי שנה קניתי מכונת אכסון, כשהתוכנית היתה להריץ עליה אופן סולאריס כדי להנות מפירות הZFS.
נהנתי מאוד, עד שהתחלתי להרגיש שקצת צפוף לי, אז החלטתי להרחיב את נפח האכסון.
מכיוון שהתצורה של הדיסקים דומה לRAID10 – גם MIRROR וגם STRIP, כל הרחבה צריכה לבוא בזוגות.
קניתי שני דיסקים של של סיגייט, בנפח של 2TB כל אחד, ובפוסט זה אתאר את התהליך של השדרוג.
אחרי הקטע המלכלך של לחבר את הדיסקים, הרצתי את הפקודה הבאה:
[code]
root@iron:~# zpool add storage mirror c10d0 c11d0
[/code]

זהו, השדרוג הסתיים.
הפקודה הזו אומרת, תוסיף לבריכת האיכסון שנקראת storage יחידה וירטואלית חדשה מסוג ראי, שבנויה מהדיסקים c10d0 וc11d0.
הפקודה לקחה שניה, ובתום השניה נוספו לי כ2TB נלנפח האכסון במכונה. לא צריך fdisk ולא צריך לפרמט.
ככה נראה הpool הראשי שלי כרגע, הוא מורכב מארבעה דיסקים מלאים ומשתי מחיצות שתופסות את רוב הנפח של שני הדיסקים הנותרים.
למעשה, אין לי מקום לעוד דיסקים במכונה, מה שאומר שבשדרוג הבא אני אעשה משהו שעדיין לא יצא לי לעשות: להחליף דיסקים קטנים בדיסקים יותר גדולים.

[code lang="bash"]
root@iron:~# zpool status storage
pool: storage
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
mirror ONLINE 0 0 0
c8d0p2 ONLINE 0 0 0
c9d0p2 ONLINE 0 0 0
mirror ONLINE 0 0 0
c9d1 ONLINE 0 0 0
c8d1 ONLINE 0 0 0
mirror ONLINE 0 0 0
c10d0 ONLINE 0 0 0
c11d0 ONLINE 0 0 0
[/code]

ZFS זה כיף.

מגה פוסט – שרת חדש, טיפוסי אישיות ועוד

עבר הרבה זמן מאז שהיה פה פוסט רציני, כל פעם שהיה לי על מה לכתוב זה איך שהוא התמסמס ותוייק בתיקיית האחר כך.
אז זה יהיה פוסט מוזר, מוזר מאוד אפילו – שיהיה בעצם ערמת פוסטים מרוכזים.
אולי במהלך הכתיבה של תת פוסט כזה אני אגלה שאני מעדיף שהוא יהיה בעצם פוסט שלם, אבל נראה.

שרת חדש

הגיעה התקופה הזו, שבה אני פחות מרוצה מההוסיטנג שלי ועברתי להוסיטנג חדש.

למעשה הייתי מרוצה מספיק מeSecureData (אליהם עברתי מHCOOP לפני פחות משנה וחצי).
מהירות התקשורת היתה קצת מאכזבת אבל לא היו יותר מדי תקלות.
אז למה עברתי?
במסגרת העבודה שלי בface.com (כן, אני עובד בface.com, לא חושב שיצא לי להזכיר את זה פה עד עכשיו) אני עובד מול חברת אכסון בשם CentralHost בסן דייגו, ומחזיק אצלם מספר לא מבוטל של שרתים. בשנה וחצי בשנה חצי שאני עובד שם, הייתי מאוד מרוצה מהם ומרמת התמיכה שלהם – אם כי המחיר שלהם הוא גבוה משמעותית מזה של eSecureData, לפחות למכונות החזקות שאני מחזיק שם במסגרת העבודה.
בכל אופן, יש לי יחסים מצויינים עם בעל החברה, וכששאלתי אם יש לו הצעה אלטרנטיבית שתאפשר לי להעביר את השרת שלי אליו הוא הסכים לתת לי מחשב באותו מחיר שאני מקבל בeSecureData – שזה $79 לחודש, עם יותר זכרון (4 ג'יגה במקום 2 ג'יגה), ושני הרדיסקים של 500 בתצורת רייד 1 (ראי, אם הרדיסק אחד מת לא קורה כלום ופשוט מחליפים אותו) לעומת הרדיסק אחד בלבד בשרת הישן.
העברתי בעזרתו את השרת למכונה החדשה, ולמעט שינויי הגדרות קטנים בשרת הDNS שאני מריץ, ובהגדרות הDNS ברשת הדומיינים שלי הכל פשוט עובד.
אני בטוח שיהיו עוד חבלי לידה, אבל אם אתם קוראים את זה, אתם עובדים מול השרת החדש.
אז כמו תמיד, יש לי מקום לאורחים. מי שחושב לעבור שרת למשהו יותר רציני מאיכסון משותף בגודדי שיצור קשר. (רק לאנשים שמרגישים בנוח עם SSH).

BoneCP

השתמשתי בProxool בתור Connection pool לבסיס הנתונים במשך די הרבה זמן, ועם הזמן גיליתי בעיות – שאומנם די נדירות אבל מספיק חמורות כדי שאני אחפש פתרון.
חשבתי לפתור אותן בעצמי, וגיליתי שהוא לא מתקמפל על JDK מודרני. שלחתי מייל לרשימת התפוצה שלו לגבי העניין, וחודשים עברו בלי שום תגובה ובלי הודעות נוספות.
היה ריח של פרוייקט מת באוויר, וכשנתקלתי בבעיה נוספת (100% CPU בקוד של פרוקסול לעיתים נדירות), החלטתי לחפש Connection pool אחד.
בסוף הגעתי לBoneCP שאומנם מוגדר כבטא, אבל עובד היטב – וחשוב יותר – המפתח שלו עונה לאימיילים ומתקן באגים.

טיפוסי אישיות

מי שלמד פסיכולוגיה (לא אני) מכיר את העניין הזה לעומק כנראה, אבל אני מניח שרוב הקוראים פה לא למדו פסיכולוגיה אני אכנס לעניין:
במהלך שיטוטי באינטרנט בחיפוש אחרי ספרייה לDecoding של תמונות בC או C++ (יש מילה בעברית לDecoding? פענוח? פרישה?) נתקלתי בCxImage, וראיתי בדף האודות של המפתח שהוא טוען שהאישיות שלו היא מסוג INTJ.
אני די בטוח שנתקלתי בסוג הקטלוג הזה למחלקות אישיות בעבר, אבל הפעם הסתקרנתי, אם הוא INTJ אז מה אני? וכמה הדבר הזה בכלל עובד?

התחלתי לחקור, מסתבר שמדובר במבחן פסיכומטרי שמבוסס על העבודה של קארל יאנג מ1920 ופותח על ידי קתרין קוק בריגס וביתה איזבל בריגס מיירס, והמבחן קרוי על שמן: Myers-Briggs Type Indicator או MTBI.
בגדול, הרעיון הוא שהאישיות של בני אדם נקבעת על ידי ארבעה תכונות, כאשר לכל תכונה יש שני צדדים (מוחצן – מופנם, חושב – מרגיש) וכו', ואצל כל אחד תכונה אחת מכל זוג היא יותר דומיננטית מהשניה.

הזוגות הם:

  • התנהגות – מוחצן או מפונם :  האם רוב המחשבה של האדם מופנית החוצה או פנימה
  • תפיסה – חש או אינטואיטיבי : איך האדם קולט מידע חדש, האם הוא סומך יותר על תחושות פנימיות או על מידע קונקרטי
  • החלטה – חושב או מרגיש : איך האדם  מבצע החלטות רציונליות בניתוח של המידע שהוא קיבל באמצעי התפיסה, האם הוא מעדיף חשיבה וניתוח לוגי או החלטה לפי הרגשה והזדהות עם המצב.
  • סיגנון חיים – שיפוטי או תפיסתי : האם האדם מעדיף להשתמש בבהחלטה (חושב/מרגיש) או בתפיסה (חש/אינטואיטיבי) כשהוא מתייחס אל העולם החיצוני.

קצת מבלבל, ואולי התרגום שלי לא מאוד מדוייק (יש הרבה מאוד חומר מדוייק על זה באינטרנט).

סך הכל יש ארבע 'ביטים' כשלכל ביט יש שתי אפשרויות, מה שיוצר 16 קומבינציות.

מצאתי מבחן עם כ-70 שאלות כן/לא שמוצא את הטיפוס שלכם, וקיבלתי שגם אני INTJ.
קראתי קצת על INTJ, ונראה שלפחות לגבי – המבחן יצא מאוד מדוייק.

בעיית החלוקה

שוב ושוב אני נתקל בבעיה הבאה:
בהנתן קבוצת מספרים, איך מחלקים אותה לשתי קבוצות כך שסכום המספרים בכל קבוצה יהיה קרוב ככל האפשר לסכום המספרים בקבוצה השניה.
במילים אחרות, שאף קבוצה לא תהיה 'כבדה' הרבה יותר מהשניה בצורה שניתנת לתיקון על ידי סידור מחדש של האיברים בקבוצות.

הרחבה טבעית של השאלה הזו, היא איך מחלקים את הקבוצה לk קבוצות, לאו דווקא רק לשתיים.
הנה כמה דוגמאות למצבים שבהם אלגוריתם כזה יהיה שימושי:

דמיינו משחק מרובה משתתפים שעובד בסיבובים. בכל סיבוב יש שתי קבוצות שנלחמות אחת בשניה. חלוקה אקראית של השחקנים לשתי קבוצות תגרום למצב שבו כל השחקנים החזקים נופלים בקבוצה אחת ואז המשחק לא יהיה מהנה במיוחד לאף אחת מהקבוצות.
חלוקה אידיאלית תהיה כזו שההפרש בין סכומי היכולת בכל קבוצה יהיה נמוך (קבוצות מאוזנות). נניח שיש לנו מדד ליכולת של שחקן (יחס נצחונות/הפסדים ב20 המשחקים האחרונים, או דרגה או כל דבר אחר) נוכל להשתמש באלגוריתם חלוקה כזה כדי למצוא חלוקה טובה של הקבוצות.

דוגמא נוספת: נניח שיש לכם ערמת עבודות, וכמה מחשבים שיכולים לבצע את העבודות. איך תחלקו את העבודות בין המחשבים כך שעבודות יסתיימו בהקדם? אם אחד המחשבים יקבל את כל העבודות הכבדות אז הוא יסיים הרבה אחרי כולם, אז שוב אנחנו מחפשים חלוקה מאוזנת (הפעם לk מחשבים).

אוקיי, עכשיו שמצאנו למה פתרון לבעיה הזה יהיה שימושי, תחשבו על הבעיה ואם יש לכם פתרון נדבר עליו בתגובות.
אני אדבר על הפתרון שלי בפוסט הבא.

אופן סולאריס: תצורה, שיתוף קבצים וגיבויים

מכונת האיכסון שלי, להלן איירון, כבר די מוכנה.

תצורת דיסקים ומערכת הקבצים

זו התצורה הנוכחית של הZFS באיירון:
[code lang="bash"]
omry@iron:~/dev/zync$ zpool status
pool: rpool
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
mirror ONLINE 0 0 0
c8d0s0 ONLINE 0 0 0
c9d0s0 ONLINE 0 0 0

errors: No known data errors

pool: storage
state: ONLINE
scrub: none requested
config:

NAME STATE READ WRITE CKSUM
storage ONLINE 0 0 0
mirror ONLINE 0 0 0
c8d0p2 ONLINE 0 0 0
c9d0p2 ONLINE 0 0 0
mirror ONLINE 0 0 0
c9d1 ONLINE 0 0 0
c8d1 ONLINE 0 0 0

errors: No known data errors
omry@iron:~$ zfs list
NAME USED AVAIL REFER MOUNTPOINT
rpool 7.46G 31.7G 81K /rpool
storage 1.54T 672G 1.53T /storage
storage/backup 9.35G 672G 9.35G /storage/backup

[/code]

מה מעניין פה?
מערכת הקבצים של מחיצת השורש – הrpool, נמצאת על שני דיסקים (ליתר דיוק – על מחיצות של שני דיסקים), בתצורת ראי, מה שאומר שאם אחד מהם קורס, המערכת ממשיכה לעבוד. כמובן שבמצב כזה כדי להחליף את הדיסק התקול כמה שיותר מהר.

שאר המקום בשני הדיסקים הראשונים, וכל המקום בשני הדיסקים השניים הוקצה למערכת הקבצים storage, שמשמשת לאכסון, לגיבוי של מחשבים אחרים וכנראה גם כמערכת קבצים מרכזית של ספריית הבית שלי.
בהתחלה שקלתי ללכת על תצורת RAIDZ כדי לנצל כמה שיותר מקום.
הבעיה הגדולה מבחינתי עם RAIDZ היא שהדיסקים שמרכיבים את הpool צריכים להיות באותו גודל (אחרת מפסידים את המקום העודף בדיסקים הגדולים יותר).
מהסיבה הזו הלכתי על RAID10, עם שני זוגות של מירורים בנפח כולל של כ2.5 טרה בייט.
ביום שיהיה לי שם צפוף, אני אוכל לזרוק עוד צמד דיסקים פנימה ולקבל מקום נוסף מיד (בלי להזיז נתונים, להגדיל מערכות קבצים או דברים מעצבנים אחרים).

שיתוף קבצים בין מחשבים

יש לי עוד שני מחשבים, אחד מריץ רק לינוקס, ואחד מריץ לינוקס וחלונות (במכונה וירטואלית בשביל iTunes ימח שמו), ובדואל בוט בשביל משחקים.
כדי לשתף קבצים עם הלינוקסים, הגדרתי שיתוף בNFS.
את NFS פיתחו בסאן, והמימוש שלהם הוא המימוש הטוב ביותר של NFS, הבעיה היא שהמימוש של לינוקס הוא לא ממש לפי התקן, לפחות אם נאמין לשמועה הרווחת.
בזמן העברת קבצים מלינוקס לאופן-סולריס על גבי NFS נתקלתי בבעיות, ההעתקה הופסקה מעצמה בהעתקת קבצים גדולים עם שגיאה קלט/פלט סטנדרטית : די מטריד.
אחרי שווידאתי שהבעיה היא בNFS (העתקתי את הקובץ הגדול באמצעות SCP ווידאתי שהוא תקין עם md5sum) התחלתי לשחק בפרמטרים של NFS בצד הלינוקס, באיזה פרוטוקול הוא מתחבר (NFS4? NFS3? אולי אפילו NFS2 השם ישמור?), באיזה תעבורה? UDP או TCP.
בסוף גיליתי את התצורה שעובדת וגם נותנת ביצועים טובים:
NFS3 עם TCP, ועם חוצצי קבלה ושליחה בגודל 32K (בשביל הביצועים, לא היה להם השפעה על השגיאה).
השורה הרלוונטית /etc/fstab בלינוקס נראית ככה:

[code lang="bash"]
iron:/storage   /storage        nfs     rw,soft,timeo=3,rsize=32768,wsize=32768,proto=tcp 0     0
[/code]

כדי לשתף עם חלונות השתמשתי בסמבה של גנו – אותו סמבה בדיוק שיש בלינוקס.
לאופן סולאיס של שני פתרונות לשיתוף קבצים עם חלונות: שרת CIFS שמובנה בתוך הקרנל, שמשום מה לא עבד לי טוב במיוחד, וחבילת samba סטנדרטית למדי, שעבדה הרבה יותר טוב.

גיבוייים של מכונות לינוקס

אין ספק שאיירון היא המכונה הכי עמידה שיש לי בכל מה שקשור לאכסון קבצים ועמידות לקריסת דיסקים (דיסקים קורסים, זו עובדת חיים).
מכיוון שכך, זה רק טבעי שאני ארצה לגבות של מכונות הלינוקס שלי אל איירון.
בעבר תיארתי את אסטרגיית הגיבוי שלי של מכונות לינוקס.
בגדול הרעיון הוא לבצע rsync של הקבצים הרלוונטיים, ולשלב את זה עם רוטציה של ספריות סנאפשוט בזמנים שונים. כדי למנוע בזבוז מיותר של מקום – משתמשים בhard links כך שקובץ שלא שונה מהגיבוי האחרון תופס מקום פעם אחת בלבד.
זה נחמד, אבל די מסורבל : צריך להעתיק את העץ מחדש כל פעם, ולמחוק עצים מיותרים, ובנוסף השיטה של החיסכון במקום לא מושלמת – כי קובץ ששונה רק בביט אחד יתפוס את כל המקום של הקובץ מחדש.
עם הסנאפשוטים של ZFS אפשר לעשות משהו הרבה יותר פשוט ואלגנטי, שגם יותר חסכוני במקום והרבה יותר מהיר.
הרעיון הוא פשוט לסנכרן את הספריה או הספריות הרלוונטיות מהשרת (או השרתים) אל ספריית היעד, ולקחת סנטפשוט של ZFS. כדי למנוע התפוצצות סנטפשוטים, אפשר פשוט למחוק סנאפשוטים ישנים.
כתבתי תוכנה פשוטה בשם zync שמממשת את הרעיון הזה.
כתובה בג'אווה, וקובץ ההגדרות שלה כתוב בswush, אז הוא קריא ונחמד.
הנה קובץ הגדרות לדוגמא:
[code lang="java"]
@swush 1.0

zync
{
backup
{
host : root@10.0.0.2
directory : /

# Exclude files or dirs
exclude
{
/cdrom
/mnt
/dev
/media
/proc
/sys
/tmp
/var/cache
/var/log
/var/lib/mysql
}
}

rsync
{
command : /usr/bin/rsync
destination : "/storage/backup/${host}"
options
{
-a
–force
–delete-excluded
–delete
}
}

zfs
{
backup_file_system : storage/backup
snapshot
{
delete_older : 30d
}
}
}
[/code]

zync כבר די מוכנה לדעתי, ואני מתחיל לגבות איתה את מכונות הלינוקס שלי, כולל את השרת שמריץ את הבלוג.

סך הכל, אני מאוד מרוצה מהצורה שהמערכת תופסת.
יש קשיים פה ושם, אבל שום דבר בלתי פתיר.

יסוריו של המשדרג בהמשכים

אזהרה:
פוסט זה מסוכן לנשים בהריון ולסובלים ממחלות לב ולסובלים מאלרגיה לפוסטים גיקיים במיוחד.

אז התוכנית היתה לקחת את לוח האם והמעבד של אותה מפלצת זוללת ביטים בדימוס ולהשמיש אותם לטובת מכונת האכסון שאני מתכנן.
כבר יש לוח אם ומעבד, אז הזמנתי מפנדה מארז Antec Titan Server, שהוא מארז נחמד לשרת ביתי, עם מקום לשש הרדיסקים (2.5") וארבע סידירומים (5.25", מי צריך ארבע סידירומים?)

חוץ מזה הזמנתי 4 גיגה זכרון פשוט ככל האפשר של G.Skill,   וספק כוח 400 וואט של Corsair.
כל הרדיסק צורך כ10 וואט, ואם ניקח שש הרדיסקים ונשמור נניח 100 ואט למעבד הגענו בקושי ל160 וואט, אבל אין ממש ספקים טובים בהספק נמוך מזה.
הדבר האחרון בהזמנה הוא צמד הרדיסקים של סיגייט, בנפח 1.5 טרה כ"א.

בכל אופן, גיחה ראשונה עלתה לי 2551 (כולל משלוחה).
אחרי כשבוע קיבלתי את החומרה, וישבתי להרכיב את העסק.
התקנתי את לוח האם במארז, חיברתי את הספק, תקעתי כרטיס מסך ישן שיש לי (מטרוקס G200 מ1996!), וניסיתי להדליק את המחשב – כדאי לנסות לפני שמחברים את ההרדיסקים.
כמובן – לא נדלק.
מה קרה? האם הלוח דפוק? האם חיברתי את החיבורים בין המארז ללוח האם לא כמו שצריך?
אחרי התעסקות, ונסיון להשתמש בספק כוח ישן שיש לי (שלא מכיל אף חיבור SATA) גיליתי שעם הספק הישן המחשב נדלק.
חשבתי לעצמי, בטח הספק דפוק, נחליף אותו.
יצרתי קשר עם פנדה, שלחו ספק אחר.
אחרי כמה ימים הספק הגיע ביום שישי בבוקר. נתתי לשליח את הספק הישן והמשכתי בקווסט.

חיברתי את הספק החדש, הדלקתי את המחשב ו….
כלום!
שני ספקים דפוקים? לא קונה את זה.
יש פה משהו מסריח, וזה לא הספק.נו טוב, יש עדיין את הספק הישן שכן עובד. נדבר עם פנדה ביום ראשון.
קניתי מחנות מחשבים קרובה כמה מתאמי מולקס לSATA בדולר וחצי כל אחד, והמשכתי עם הספק הישן.

חיש מהר המחשב נתקע לי בפרצוף בזמן שOpenSolaris ניסה לעלות.
נו טוב, בדיקת זכרון.
הורדתי את memtest, תוכנה פשוטה שבודקת את הזכרון של המחשב בצורה יסודית. כמובן – גם ממטסט נתקע. התחלתי לשחק עם הצ'יפים של הזכרון, פעם רק הראשון, פעם רק השני, ועדיין לא הולך.
ניסיתי אפילו את צ'יפ הזכרון הישן של הלוח (צ'יפ של 512 מגה) שלמיטב זכרוני עבד טוב. הפתעה – גם הוא נתקע בבדיקה.
בשלב הזה כבר התחלתי לחשוד בלוח האם,  ולאחר לבטים קצרים החלטתי שמכיוון שגם ככה יש בו רק ארבע חיבורי SATA ואני מתכנן על שש הרדיסקים בשלב זה או אחר – אני כבר אזמין לוח אם אחר, עם שש חיבורי SATA, ומעבר לזאת, אחד שאפילו עובד.

נו, הגענו לסבב ב' של הזמנת חומרה.
הפעם צריך לוח אם ומעבד (אין מצב שאני משדרג לוח אם ונשאר עם פנטיום D בן שלוש).

התחלתי לטחון את האינטרנט בחיפוש אחרי לוח אם, רצוי של אסוס – עם שש חיבורי SATA שגם נתמך טוב בOpenSolaris.
לבסוף הלכתי על ASUS P5Q-SE2, שעונה על הדרישות.
לקחתי גם את הקור2דואו הכי זול שמצאתי, E5200 במהירות 2.5 ג'יגהרץ.
סבב שני עלה כ1000 שקל (מישלוחה אינקלודד)

היום הגיעה החבילה, וסחבק התיישב על העסק.
פירקתי את הלוח הישן ואת הספק הישן, הרכבתי את המעבד והזכרון על הלוח החדש, חיברתי את הספק החדש והלא דפוק בעליל,  ואת אותו כרטיס מסך ישן של מטרוקס, חיברתי לחשמל ולמסך, הדלקתי ו…
נדלק!
אבל מוקדם לשמוח, תוך חמש שניות המחשב נתקע, ישר אחרי שראיתי את הדגם של הכרטיס מסך, ולפני שעלה מסך הPOST.
אין לי מזל, אה?
טוב, ניתקתי את הדיסקים, לא עזר.
הזזתי את הזכרונות לערוץ השני, לא עזר.
במעבד ממש לא התחשק לי לגעת..
טוב, אולי הכרטיס מסך?
כשהמחשב נתקע, אפילו כפתור הNUMLOCK לא מגיב והמנורה לא נדלקת ונכבית.
הוצאתי את כרטיס המסך הישן, ניסיתי שוב והפעם – לפי הNUMLOCK – המחשב לא נתקע.

מסתבר שהלוח החדש לא אוהב את הכרטיס מסך הישן, נו טוב – אני צריך את הכרטיס מסך רק להתקנה. זה שרת קבצים בכל זאת.
פירקתי מהמחשב בסלון את כרטיס המסך שלו – משהו יותר מודרני : NVIDIA GT 8600. לא במפתיע – העסק עלה הפעם.

נו טוב, יש התקדמות.
עם כל הצרות, החלטתי שכדאי לבדוק את הזכרון בכל זאת, רק כדי להיות בטוח שהוא תקין.
הפעלתי את ממטסט, ותוך שבע שניות מרגע שהוא התחיל לעבוד המחשב עשה בוט ספונטני.
נסיון שני, אותו דבר. שלישי – שוב.
אולי הזכרון דפוק בכל זאת?
שוב התחלתי בריקוד הרגיל, רק הצ'יפ הראשון, רק השני, משחקים עם הערוצים של הזכרון… שום דבר לא עזר.
בעליה של memtest, ברירת המחדל היא גרסא 3.5, אבל יש אפשרות לבחור את הגרסא הקודמת – 3.4.
ניסיתי עם 3.4, והפלא ופלא – לא התפוצץ.
גיגול קצר הראה שזו שאנשים נתקלו בבעיה עם 3.5, לא נורא – המשכתי בבדיקה עם 3.4.
אחרי כמה שעות בלי איתחולים ובלי שגיאות, הפסקתי את הבדיקה והחלטתי שהגיע הזמן להתקין.
ההתקנה עברה באופן חלק, התקנתי את אופן סולאריס על מחיצה של 40GB בדיסק הראשון (קצת הרבה , אבל לא נורא – זה דיסק של טרה וחצי).
העלתי את המערכת, הגדרתי את העסק כך שמחיצת השורש תהיה על MIRROR (זה לא טריוואלי כי ההתקנה לא תומכת בתצורה הזו, אני אספר על ההגדרות של OpenSolaris בפוסט אחר).
אפילו בדקתי שהמערכת עולה אם אני מנתק את הדיסק הראשון – וכן – היא עלתה כראוי.
OpenSolaris זיהתה את כל החומרה הרלוונטית לי, שספציפית במקרה הזה זה הדיסקים (דרך בקר הSATA) וכרטיס הרשת.

אחלה, סוף סוף משהו עובד.
נשאר רק להחזיר את כרטיס המסך מהמחשב בסלון למקומו, ולהתחיל להעתיק נתונים.
הוצאתי את הכרטיס, הפעלתי את המחשב בלי כרטיס מסך, ואחרי כמה דקות בדקתי אם יש לי פינג ממנו (מה שאומר שמערכת ההפעלה עלתה).
כמובן שהתשובה היא שלא, לא היה פינג.
למה דברים לא יכולים פשוט לעבוד?
החזרתי את ה8600, הפעלתי את המחשב, עולה מצויין.
הוצאתי אותו, הפעלתי – ונתקע (לפי הNUMLOCK) אחרי 30 שניות.
הייתכן שמצאתי לוח אם שלא מוכן לעבוד בלי כרטיס מסך? אסוס, יא נבלות.
עדכניתי את הBIOS לגרסא האחרונה, וזה עדיין לא עבד בלי הכרטיס מסך.
בשלב הזה התייאשתי, צריך עוד כרטיס מסך.
זה מה שנקרא, לקנות מחשב בהמשכים. אפקטיבית קניתי מחשב שלם, אבל בשלושה חלקים.

מוסר ההשכל?
אין, אבל אני נשבע שאני אגרום למניאק הזה לעבוד!

נ.ב:
למישהו יש כרטיס מסך מיותר בחיבור PCIE? 🙂

עדכון:
שלחתי בקשת תמיכה לאסוס ביום שישי, והיום בבוקר קיבלתי עצה לנסות את המאטרוקס הישן בחריץ PCI אחר.
המחשבה הראשונה שלי היתה שכבר ניסיתי, אבל אז נזכרתי שהוא אכן היה בערוץ אחר למשך כמה דקות, אבל לא היתה לי גישה טובה לחיבורי הSATA ולכן הזזתי אותו לפני שניסיתי אפילו איתחול אחד.
התקנתי את הכרטיס בחריץ אחר, והפלא ופלא – המחשב עלה!
הייתי צריך לחשוב על זה לבד 🙂

מכונת אחסון ביתית על אופן-סולאריס

כזכור לקוראים הוותיקים, אני משדרג די סדרתי.
לפני כשלוש שנים שדרגתי את מחשבי למפלצת זוללת ביטים שהתיישנה קשות מאז, פנטיום D, עם 2 ג'יגה זכרון, לוח אם פיצוצי של אסוס וכל זה.
הזמן עבר, ובשדרוג סיבובי טיפוסי שדרגתי את המחשב לפנטיום קור-דואו, והעברתי את הפנטיום D לסלון, וראיתי כי טוב.
עוד זמן עבר, והפנטיום D התחיל לגמגם בטיפול בוידאו ברזולוציה של 1080p, בהתחלה נסיתי להוציא ממנו עוד קצת חיים בשימוש בקודקים מתוחכמים, אבל בשלב מסויים ירדתי מהעניין וקניתי פנטיום i7 לחדר, ואת הקור-דואו שמתי בסלון. הפעם כבר לא היה לי שימוש למפלצת שזללה ביטים בימיה הטובים, ושמתי את לוח האם, המעבד והזכרון שעדיין עבד בקופסא, בתקווה למצוא לחומרה שימוש מתישהו.

פסט-פורוורד להיום.
יצא לי להתעסק עם אופן סולאריס, ופשוט התאהבתי בZFS.
ZFS היא ה-מערכת קבצים הכי טובה שראיתי, יש לה פיצ'רים שאין לאף מערכת קבצים אחרת.
מה למשל, שואל הקורא הסקרן?
טוב, אז ככה:
checksum של הנתונים עצמם, כולל ריפוי אוטומטי במקרה של נזק לנתונים (!) במקום נזק שקט כמו במערכת קבצים אחרות.
סנאפ-שוטים של מערכת הקבצים, שלא תופסים מקום ולוקחים זמן קצר במיוחד.
איך לא תופסים מקום? די פשוט, ברגע שמבצעים את הסנאפ-שוט (מעתה – צילום), מערכת הקבצים מסמנת שיש עליה סנאפ שוט וממתי הוא.
זה הכל.
ברגע שבלוק חדש נכתב, הוא לא נכתב במקום הבלוק הישום של אותו קובץ, אלא בצד. הבלוק הישן ממשיך להיות זמין דרך הצילום הישן, ומי שעובר כרגיל ניגש לבלוק החדש.
אפשר לשמור צילומים כאלו בכמויות, והמקום שהם תופסים הוא רק ההבדל בין צילום לצילום שקדם לו (או בין המצב הנוכחי של מערכת הקבצים אם הצילום הוא האחרון).
מגניב בשביל גיבויים, אפילו אוטומטיים. אפשר להגדיר בקלות רבה את אופן-סולאריס לקחת צילומים כאלו כל רבע שעה. חשבו כמה שזה מגניב לדעת שתמיד יש גיבוי של מה שעשיתם.

מה עוד?
לא צריך להסתבכך עם מחיצות, מערכות קבצים, פירמוטים, RAID וכל העניינים האלו.
ZFS תומכת בהכל, עם שתי פקודות אינטואיטיביות – zpool וzfs. היא תומכת גם בNFS (שיתוף קבצים פשוט ברשת).
אני לא אכנס לעובי הקורה בפוסט הזה, אולי בפוסט אחר, אבל מספיק שאומר שמערכת הקבצים הזו לבדה היא סיבה מספיק טובה לעבור מלינוקס לאופן-סולאריס (למרבה הצער, הרשיון בה משוחררת ZFS לא תואם את GPL, ולכן אין ZFS בלינוקס – ולא, אני לא מחשיב פתרון ZFS מבוסס FUSE כפתרון אמיתי).

המחשב שבסלון משמש אותי כמרכז מדיה, אני רואה בו סרטים שומר בו קבצי וידאו ומוסיקה, תוך שאני משתמש בבוקסי.
אבל מה, אין בוקסי בסולאריס. ולא בא לי לבזבז שבועיים במקרה הטוב כדי לגרום לבוקסי להתקמפל ולרוץ בסולאריס.

אז איך נהנים משני העולמות?
תוכנות לינוקס, איכסון באופן סולאריס?
האופציה המתבקשת היא לארגן מכונה נוספת שתריץ אופן סולאריס, ותשמש כמכונת אחסון בלבד.
הגישה תתבצע דרך NFS או דרך CIFS למחשבי חלונות (אני עדיין משחק על חלונות!).
וזה מתקשר לאגדה המקדימה על המכונה זוללת הביטים, שהיום זוללת בעיקר אבק.
התוכנית היא לקנות לה עוד קצת זכרון (ג'יגה אחד התקלקל וארבע ג'יגה היום עולה כל כך זול שזה פשע לקנות שני ג'יגה), לקחת איזה הרדיסק או שניים או שלוש מהמחשב בסלון, לקנות עוד איזה הרדיסק או שניים, ולקנפג שם אופן סולאריס עם ZFS בתצורת RAIDZ (תצורה יותר טובה מתצורת RAID5 שנותנת עמידות נתונים זהה אבל גם עם דיסקים זולים ובביצועים יותר טובים ברוב המקרים).
ככה המכונה תזכה לעדנה מחודשת, ולי יצא להנות מהתכונות של ZFS. אולי אני אפילו אשים את ספריית הבית שלי על המכונה הזו. עם חיבור ג'יגה ביט, זה כנראה יהיה יותר מהיר מעבודה מקומית על דיסק בודד כי אני אקבל את הביצועים של עבודה על כמה דיסקים במקביל.

בקיצור, אני מתחיל להזמין חומרה.
אני מניח שיהיו פוסטי המשך.. בהמשך.

שרת דואר חדש

הזזתי במהלך הסופ"ש את שרת הדואר שלי מהמכונה בהסלון לשרת שמריץ את הבלוג.
רציתי לעשות את זה מזמן, אבל התעצלתי – זה איזה  יום עבודה, ולוקח זמן להכל להתייצב.
עשיתי את זה אחרי שמשתמש חדש הצטרף לשרת, וביקש שרותי דואר.
השתמשתי בהוראות מפה שמאפשרות הגדרה של שרת דואר שתומך בריבוי דומיינים וכמובן בריבוי משתמשים.
היום תיבת הדואר שלי לבד היא בנפח של כארבעה ג'יגה, ארבעה ג'יגה שהעברתי לשרת החדש כמובן.
היתרון של שרת דואר בסלון היא זמינות ומהירות כשאתם עובדים מהבית, מצד שני – הוא פחות זמין ומהיר כשאתם עובדים מכל מקום אחר.
יתרון כללי של הפעלת שרת דואר משלכם היא שהדואר שלכם הוא שלכם ושלכם בלבד. אף רובוט לא סורק אותו, ואף אחד לא יגיד לכם שהגעתם לקצה המיכסה ועכשיו אתם צריכים לשלם או למחוק הודעות ישנות.

אם לשפוט על פי התאריך של ההודעה הישנה ביותר בשרת הדואר שלי – את שרת הדואר שרץ בסלון הגדרתי בספטמבר 2005, מאז שדרגתי את המחשב שלו שלוש פעמים, אבל שרת הדואר נשאר וצבר דואר לרוב.
גם בפעם האחרונה השתמשתי באותו בהוראות מworkaround, אבל מאז הטוטוריאל השתנה כמובן, לא שזה מאוד משנה כי אחרי שלוש וחצי שנים לא ממש זכרתי איך זה הולך.
אחד הדברים שלא הוזכרו שם הוא שההודעות נשמרות בתיבת הדואר כקבצים – והשם שלהם מכיל את שם המכונה המקומית.
מכיוון שהשם של השרת השתנה, הייתי צריך לשנות את השמות של עשרות אלפי הקבצים מקבצים עם שמות כמו:
[code]
1234429393.V832I86d1dfM880219.home.firefang.net:2,RS
[/code]
לקבצים עם שמות כמו:
[code]
1234429393.V832I86d1dfM880219.flux.firefang.net:2,RS
[/code]

הדרך לעשות את זה בקלות היא בעזרת קומבינציה של find וmmv.
השמשתי בfind כדי למציא את כל הספריות ולהפעיל על כל ספריה פקודת mmv שתסדר את שמות הקבצים:
[code]
find -type d -exec mmv "{}/*home.firefang.net*" "{}/#1flux.firefang.net#2" \;
[/code]

את שרת הדואר בסלון הגדרתי כשרת דואר משני בDNS, ככה שבמקרה חרום לפחות הדואר שלי יגיע לאן שהוא.
כל העניין לקח די הרבה זמן, אבל אני שמח שעשיתי את זה.
שרת דואר יציב הוא עמוד השדרה של החברה המודרנית :).

אז מעכשיו הוספתי רשמית שרת דואר לרשימת השרותים שמקבל מי שיתארח אצלי בשרת, בנוסף ל:

  • גישת SHELL
  • מספר בלתי מוגבל של דומיינים וירטואליים באפאצ'י
  • מספר בלתי מוגבל של בסיסי נתונים בMySQL 5.
  • נפח אכסון די עצבני (יש דיסק של חצי טרה שם, וכרגע כולל גיבויים מקומיים רק 41GB בשימוש, אז משתמשים יכולים להתפרע במסגרת הטעם הטוב).
  • גיבויים שוטפים, מקומיים ומרוחקים.
  • דואר לדומיינים, כולל מספר בלתי מוגבל של תיבות דואר.

מי שמעוניין יכול לפנות במייל (omry a@t yadan.net).

כלים לתחזוקת שרתים שוטפת

כשמפעילים שרת, בשלב מסויים תמיד עולים כל מני צרכים. הכלים הבאים זמינים בשרתי לינוקס ויכולים לעזור בניהול וניתור שרתים.


Monit :
מונית, קיצור של Monitor It היא אפליקציה מסוג Watchdog שמסוגלת לנתר את השרת שלכם ולזהות בעיות, להתריע או אפילו לתקן אותן אוטומטית.

למשל, מונית יכולה

  • לוודא שהמקום הפנוי בהרדיסק לא יורד מתחת לרמה מסויימת
  • לוודא ששרת הApache לא תופס יותר מדי משאבים,ולהפעיל אותו מחדש אם הוא כן
  • לוודא שמכונה מסויימת עונה לפינגים, לחיבורי TCP או לחיבורי HTTP
  • לוודא שתהליך מסויים רץ, ולהפעיל אותו אם הוא לא (תחשבו על שרת SSH שקרס)

ועוד.
מונית גמישה מאוד, וקובץ ההגדרות מגיע עם סט דוגמאות שקל להשמיש לשרת שלכם.
מונית מגיעה עם שרת HTTP מובנה שמאפשר עיון במצב המערכת (צריך להפעיל אותו בקובץ ההגדרות), אבל הוא לא ממש נחוץ כי אפשר לקבל אימיילים על כל שינוי במצב המערכת.

Munin:
"הוגין ומונין הם העורבים של אודין האל הנורדי, הם עפו בשבילו במידגארד, רואים וזוכרים – ואז סיפרו לו מה הם ראו".
מונין זה זכרון.

מונין אוסף מידע על המערכת שלכם, ויוצר גראפים רבים ומשונים:

  • עומס על הCPU
  • צריכת זכרון
  • שגיאות בממשק הרשת
  • תעבורת רשת
  • אימיילים שתקועים בתור היוצא בשרת הדואר

ועוד ועוד.
מה שנחמד במונין זה שהוא מבוסס פלאגינים, והפלאגינים עולים אוטומטית לפי השרותים שהמערכת מריצה, אז אם יש לכם כמה מכונות שבאחד יש שרת NFS, בשני שרת MySQL ובשלישי שרת Apache, מונין על כל אחת מהמכונות יאסוף את הנתונים המתאימים אוטומטית.
מונין מבוסס שרת לקוח, יש שרת אחד שאוסף מידע מתחנות קצה. ההגדרה די קלה. צריך להגדיר את תחנות הקצה להסכים לחיבור מהשרת, ולספר לשרת מי תחנות הקצה שלו. כמובן שהשרת יכול להריץ תחנת קצה בעצמו (ואפשר לשער שברוב ההתקנות הוא יאסוף מידע רק מעצמו).
מונין מעדכן את הגראפים כל חמש דקות (ברירת המחדל) והגראפים זמינים דרך Apache.

אפשר לראות את מונין בפעולה כאן.

Puppet
Puppet, להלן פאפט, הוא כלי לניהול מרכזי של כמה שרתים.
פאפט מאפשר להגדיר את השרתים ממקום אחד, ולדאוג שהם ישארו מעודכנים, יתקינו חבילות מסויימות, יעתיקו קבצים מסויימים, ובעצם כמעט כל דבר שתרצו.
השימוש בפאפט הוא יחסית מורכב, והוא הופך למשתלם אם יש לכם כמה שרתים עם תצורה זהה או דומה, שמשתנים בצורה די תכופה (כאשר התצורה שלהם צריכה להשאר מסונכרנת).
עקומת הלמידה של פאפט די תלולה, ולא קל להתחיל להשתמש בו, אבל מצד שני – יש לפאפט ערוץ IRC מאוד מועיל בfreenode.
כמו רוב הכלים שהזכרתי, פאפט מבוסס גם הוא על מתודולגית שרת-לקוח. השרת – puppetmaster אחראי על העברת הגדרות התצורה ללקוחות. על כל מחשב רץ לקוח שאחראי לישם את ההגדרות שמגיעות מהשרת.
כאמור, פאפט מאוד גמיש. ההגדרות שלו נקבעות בקבצים בשפה הצהרתית מיוחדת. ככה נראה קובץ פאפט שכתבתי שמפעיל פיירוואל מבוסס iPKungFu (תסריט להגדרה נוחה של iptables) על מכונה מסויימת:
[code lang="bash"]
class firewalled {

package{["ipkungfu","ulogd"] : ensure => latest}

set_file{[
"/etc/default/ipkungfu",
"/etc/ipkungfu/ipkungfu.conf",
"/etc/ipkungfu/services.conf",
"/etc/ipkungfu/accept_hosts.conf",
"/etc/ipkungfu/log.conf"
]:
require => Package[ipkungfu]
}

exec { "/etc/init.d/ipkungfu restart":
subscribe => [File["/etc/ipkungfu/ipkungfu.conf"],
File["/etc/ipkungfu/accept_hosts.conf"],
File["/etc/ipkungfu/log.conf"]
],
refreshonly => true,
require => [Package[ipkungfu],Set_file["/etc/default/ipkungfu"]]
}
}
[/code]

הפקודה set_file היא פקודת מקרו שכתבתי שמעתיקה קובץ מהמאגר של פאפט אל המכונה. אפשר להעתיק בשימוש בפקודת פאפט רגילה – אבל המקרו שלי קצת יותר קצר לשימוש.
במקרה הזה, set_files מעתיקה קבצי קונפיגורציה שהגדרתי מבעוד מועד ושמתי על הpuppet-master.
הקובץ גם מוודא שיהיו הגרסאות האחרונות של pkungfu ו ulogd.
פאפט תומך בכל מני מערכות, ובכל מערכת הוא ישתמש במנהל החבילות הנכון.
פקודת הexec מפעילה מחדש את ipkungfu ברגע שאחד מהקבצים בקטע הsubscribe משתנה.
היופי הוא שברגע שזה מוגדר, כדי להוסיף firewall למכונה כל מה שאני צריך לעשות זה לכלול את הסקריפט הזה בהגדרה של המכונה. (ברמת include, לא להעתיק אותו).

קשה להתחיל להשתמש בפאפט, אבל יש מספיק חבר'ה עם רצון טוב בערוץ הIRC שלהם, ובנוסף יש לא מעט מדרכים ברשת. בכל אופן, למי שצריך לנהל יותר משתי מכונות זה כבר מתחיל להיות שווה את המאמץ.