מחשבות, מחשבים, ושאר דברי בלע

מי שניסה להגדיר בלינוקס מנגנון Traffic shaping יודע שלא מדובר במשימה לרכי לבב.
trickle הוא פתרון פשוט, שעובד עבור ישומים שמשתמשים בחיבור TCP בלבד.
טריקל עובד במרחב המשתמש ולא צריך מודולים בקרנל או משהו מורכב אחר.

ככה זה נראה בלי טריקל:

וככה עם:

בעיות רשת מוזרות יכולות לחרפן גם את המתכנת/טכנאי הסבלני ביותר.
הנה מספר בעיות רשת מוזרות שנתקלתי בהן לאחרונה, וניתוח מלא של הפתרון והדרך להגיע אליו.
הפוסט טכני, ולא מומלץ לרכי הלבב.

בעיית רשת מוזרה מספר 1:

BattleField 2142, משחק רשת מרובה משתתפים עובד היטב, עד שיום בהיר אחד הוא מפסיק לראות שרתים ברשת.
פניתי לתמיכה של EA, שהציעו להסיר ולהתקין מחדש, תוך מחיקה של כל רמז לספריות נוספות שהמשחק שומר (במילים אחרון, אין להם מושג והם יורים באפלה).
עקבתי אחרי ההוראות, וכמובן שהבעיה לא נפתרה.
בצר לי, הורדתי את WireShark (לשעבר Ethereal), שהוא Network sniffer רב עוצמה, והפעלתי אותו לפני ההפעלה של המשחק.

די בקלות זיהיתי את הבעיה: המשחק שולח בקשת DNS למציאת כתובת הIP של השרת שמחזיק את רשימת השרתים, מקבל שגיאה מהDNS ומתעלם ממנה ומפסיק לנסות בלי למסור הודעת שגיאה למשתמש.
ברגע שהחלפתי את שרת הDNS שלי הבעיה נפתרה.

בעית רשת מוזרה מספר 2:

Call of duty 2, עוד משחק רשת משובח, עובד היטב ברשת המשרדית, עד שיום בהיר אחד הוא מפסיק לראות שרתים אחרים.
במילים אחרות, עמרי לא יכול להצטרף לשרתי המשחק ברשת, ונאלץ לעבוד בעבודה.
לאחר הטחת האשמות סרק ברשת, בסוויץ' במערכת הפעלה ובאלוהים, הפעלתי את WireShark על שני מחשבים, אחד בו אין בעיה, וזה שלי.
לאחר שהפעלתי את המשחק בשניהם, בחנתי את תעבורת הרשת, וגיליתי את הדבר הבא:
המשחק שולח בBroadcast פקטת UDP לכל הרשת כשהוא מחפש שרתים, והשרתים אמורים לענות לו ולמסור לו מידע על עצמם. (כדי לשלוח Broadcast צריך לשלוח את הפקטה לכתובת 255.255.255.255).
עד פה הכל טוב, רק שראיתי משהו מוזר במחשב שלי. במקום לצאת מכתובת הIP הרגילה שלי הוא יצא מכתובת IP אחרת, שבכלל לא נראית כאילו היא ברשת הפנימית שלנו.
מסתבר שהכתובת הנ"ל (192.168.40.1) שייכת למתאם רשת וירטואלי של VMWare, ומסיבה עלומה המשחק שלח את חבילת הUDP כאשר הכתובת של המתאם היא כתובת המקור של החבילה. השרת ניסה לענות, אבל מכיוון שהכתובת לא ברשת לא קיבלתי את התשובה.
אחרי ביטול של מתאמי הרשת של VMWare הבעיה נפתרה.

בעיית רשת מוזרה מספר 3:

תוכנה שאנחנו מפתחים בעבודה מקבלת זרם של חבילות UDP משרת.
התוכנה עובדת טוב מול שרת אחד, ומאוד לאט מול שרת שני, שני השרתים מריצים את אותה תוכנה בדיוק.
הפעלה של WireShark על השרת והמכונה שמריצה את הלקוח מראה שהשרת שולח את החבילות בקצב הנכון, והחבילות מגיעות למכונת היעד באותו קצב, ובכל זאת לאפליקציית הלקוח החבילות מגיעות מאוד לאט.
הלקוח רץ על WTK, שהוא אמולטור של סביבות ג'אווה של פלאפונים. לWTK יש כלי Profiling פנימי, שמאפשר להגיד איפה האפליקציה משחיתה את זמנה.
הפעלתי את הפרופיילר, והסתבר שהיא משחיתה את מיטב זמנה בפונקציית מערכת בשם getHostByName.
תפקידה של הפונקציה הזו הוא בעצם לקבל כתובת שמית ולהמיר אותה לכתובת IP מספרית, במילים אחרות - לקרוא לDNS.
מסיבה לא ברורה הפונקציה לקחה הרבה זמן, ומסיבה לא ברורה היא נקראה עבוד כל חבילת UDP שהגיעה לאמולטור (באג באמולטור לדעתי, אבל שיהיה).
לחלונות יש קובץ בשם hosts בספריית החלונות, שדומה מאוד לאותו קובץ במערכות יוניקס (זה מראה על הקשר בין חלונות ליוניקסים), הקובץ משמש להוספה ידנית של רשומות לDNS המקומי.
ברגע שהוספתי את כתובת הIP של השרת לקובץ ההוסטים הבעיה נפתרה.

עד כאן פינתנו, בעיות רשת מוזרות.

מכירים את הסיטואציה הבאה:
באים להכנס לאתר, והוא לא עולה, או יותר גרוע, הוא עובד כמו צב נחלים מצוי.
אז מי אשם? האתר?מישהו בדרך? ספק האינטרנט? ספק התשתית? הרשת המקומית?
MTR יגיד לנו.
MTR הוא כלי שנועד לזהות צווארי בקבוק בקשר ממך לאתר מסויים, הוא עובד במצב גראפי וגם במצב טקסטואלי.
עקרונית זה כלי ללינוקס, אבל אנשים טובים יצרו גרסאת חלונות שלו (לא בדקתי).

בתמונה פה אפשר לראות שיש עומס באחד הנתבים של בזק (תיקון: אין עומס, זו תופעה שנובעת מהגדרות מסויימות בנתב המסויים), שאקטקום עוברים דרכו מאז שבזק בינ"ל (ימח שמם) קנו אותם.

קניתי נתב חדש, ניסיתי להגדיר אותו, ומשום מה הוא לא רוצה להתחבר לכבלים.
אחרי שהתייאשתי רציתי להחזיר את העסק למצב קדמותו, עד שאני אמצא פתרון, וחיברתי את המודם לחשמל של הסוויץ' ואת הסוויץ' לחשמל של המודם.
הסוויץ נשרף והסריח את הסלון תוך דקה וחצי, והמודם סתם לא רוצה להדלק.
גרר.

יש ימים כאלו שעדיף פשוט להשאר במיטה ולדלג עליהם.

מי שעוקב יודע שהיתה לי בעיה מתמשכת עם ספק האינטרנט שלי, אינטרנט זנב.
הבעיה התבטאה בקשיים של אנשים מח"ול להתחבר אלי, ומכיוון שהבלוג רץ (בעבר) מהבית זה די עיצבן אותי.
כשFireStats צבר תאוצה, הבעיה הפכה ליותר קריטית, כי רוב המשתמשים הם מחו"ל, ולכל החלטתי לעבור לספק אחר, ועל הדרך להגדיל את רוחב הפס העולה.
בחרתי בברק עם הוט כספק תשתית, בחבילה של 1500/500 קילוביט, אבל בינתיים נשארתי מחובר לאינטרנט זנב, כי לא רציתי להתנתק לפני שאני משוכנע שהכל בסדר.
כמובן שלא הכל בסדר.
בחודש הראשון היו בעיות עם התשתית של הוט, אבל אחרי שלושה או ארבעה טכנאים שהם שלחו הבעיה טופלה.
בחודש השני התפנתי לבדוק את ברק, וגיליתי שהם סובלים מאותה בעיה כמו של אינטרנט זהב, והיא אפילו חמורה יותר בשעות העומס:
אנשים פשוט לא הצליחו להתחבר אלי מחו"ל.
בנוסף, במהלך סוף שבוע מחורבן ומחוסר חשמל אחד, החלטתי שאני חייב לעשות משהו בנדון, באופן מפתיע נודע לי על hcoop יום לפני הפסקות החשמל, והחלטתי לנסות.
hcoop הוא ארגון שלא למטרות רווח לאכסון אתרים, שנועד למשתמשים שרוצים להריץ דברים מוזרים.
כל חבר (כרגע יש כ100) משלם את החלק היחסי מעלות האכסון של השרתים, כך שהעלות היא נמוכה מאוד (אני חושב שזה עומד על משהו כמו 4$ לחודש כרגע).
העברתי את האתר של FireStats לhcoop, ולאחר קצת חבלי לידה הוא מתפקד יפה מאוד.
במקביל התחלתי לבצע בדיקות קישוריות מחו"ל למחשבים שמחוברים דרך אקטקום, והפלא ופלא, נראה שזה עובד, אפילו בשעות העומס!
בינתיים הבעיה עם ברק המשיכה, כאשר הם ביקשו שאני אעבור לחיבור באמצעות חייגן כדי שהם יוכלו לתעדף את המשתמש שלי במערכת.
ניסיתי וראיתי שזה יותר מדי מסובך, אחרי שהשעתיים שהקצתי לעניין עברו, הגדרתי את החיבור להשתמש באינטרנט זנב (ADSL), והחלטתי שאני מתנתק מברק אם הם לא מספקים לי תמיכה בהגדרות החיבור תחת לינוקס.
כמובן שברק לא הסכימו לספק לי תמיכת לינוקס, ואף איימו בקנס של כ450 שקל על יציאה מההתחייבות בטרם עת, אני מצידי איימתי בתביעה בבית דין לתביעות קטנות כי הם הפרו את החוזה קודם כשלא סיפקו לי חיבור לפי ההתחייבות שלהם, ודי מהר הם התקפלו.
אתמול הגדרתי את החיבור של אקטקום, עם חייגן (מהם קיבלתי תמיכה ללינוקס), ובינתיים הקצבים נראים טובים גם למי שמתחבר מחו"ל, רק שכבר העברתי את גם את הבלוג לhcoop, אז הבעיה נפתרה גם מכיוון אחר.
אני אשאיר את החיבור של אינטרנט זנב במשך עוד כשבוע, ואז אני אתנתק מהם סופית.

פיירפנג.רשת החליט שצפוף לו אצלי בסלון ועבר לארצות הברית, ועכשיו הוא גר ליד firestats.cc.
בהחלט יתכן שהמעבר לא יהיה חלק, ואני אשמח לשמוע אם נתקלתם בבעיה, תקלה או מזימה.

הצטרפתי לhcoop, ארגון שמספק שרותי ארוח שרתים שלא למטרות רווח.
כל חבר בארגון משלם חלק יחסי מסך עלות אחזקת השרתים (כ4$ לחודש כרגע), והתמורה היא גבוהה הרבה יותר ממה שמקובל בענף עבור מחיר כזה.
יש גישת מעטפת מלאה, ואפשר לבקש להתקין דברים ברמת המערכת, או להריץ מה שרוצים בתור המשתמש שלכם.
העסק מיועד לגיקים שלא חוששים משורת הפקודה בלינוקס, וכולם יכולים לבקש להצטרף (אם אתם פונים תגידו שקראתם עליהם בבלוג שלי).

אני בתהליכים של העברת האתר של FireStats לשם (קניתי כבר דומיין חדש לעניין - מה שלגמרי לא חובה, אבל נצלתי את ההזדמנות), זה אומר שצריך להקים שם Subversion repository, ואתר מבוסס trac.
יש קצת קשיים טכניים, אבל העסק מתקדם, ואני מרגיש שיש עם מי לדבר:
בקשות שלי להתקנת חבילות דביאן על המכונה ובקשות לפתיחת פורטים בFireWall אושרו בלי בעיות מיוחדות.

כנראה שגם הבלוגים יעברו בהמשך, אבל מה שדחוף זה FireStats, אני ממש מאוכזב מברק, יש להם את אותה בעיה כמו של אינטרנט זנב, ואפילו גרועה יותר.
כרגע השרת מחובר דרך כבלים עם upload של חצי מגביט לשניה - מי שמתחבר מהארץ מקבל את זה בלי בעיה. מי שמתחבר מחו"ל מקבל הרבה פחות ובהרבה מאוד מקרים בכלל לא מצליח להתחבר.
זה פשוט עצוב כמה שספקי האינטרנט בארץ לא מקצועיים.
נראה לי שהספק הבא שאני אבדוק יהיה אקטקום, למרות שברגע שאני אסיים להעביר את השרת לhcoop הכל יהיה פחות דחוף.

ערב גשום, אני משדרג את הדביאן, בחוץ סופת ברקים עצבנית, פתאום יש ברק קרוב, המסך מרצד מהפולס האלקטרו מגנטי, אבל ממשיך לעבוד.
פתאום אני קולט שאין תגובה מהשרת בסלון, הולך לשם ורואה שהוא עשה ריבוט ולא מוצא את הדיסקים.
נכנס לביוס, משחק קצת, כלום.
מכבה את השרת לאיזה דקה, כשהוא חוזר הוא מוצא את הדיסקים ומתחיל לאתחל.
פתאום הפסקת חשמל.
מחפש פנס, ומתחיל ללמוד את החומר של רשתות ב'.
חמש דקות אחרי, החשמל חוזר, אני קם להדליק את השרת, החשמל הולך.
אני מנתק את שני המחשבים מהחשמל וממשיך לקרוא בחושך, עם פנס.
בשעה הקרובה החשמל בא לביקורים קצרים והולך.
אני הולך לישון, ומתעורר מהאור כשחזר החשמל.
מדליק את השרת, מדליק את המחשב בחדר.
המחשב בחדר מתנהג מוזר, פונטים נעלמים וכאלו דברים.
השרת לא מתחבר לאינטרנט.
אני מטפל קודם בשרת:
נראה שהוא לא מצליח להעלות את הכרטיס רשת, אולי הוא נצלה?
הולך למודם כבלים, ורואה שהוא מת לגמרי.
טוב, למזלי עדיין לא התנתקתי מאינטרנט זנב - אני מקנפג את השרת להתחבר דרך הADSL, ובא לטפל במחשב בחדר.
חשבתי שאולי הפונטים התחרפנו כי המחשב נכבה באמצע השדרוג.
אחרי חפירות וחקירות, אורי ב' בערוץ xorg שאל אם אני משתמש בדריבר ישן של nvidia עם xorg חדש.
זה נשמע הגיוני, וזה בדיוק מה שזה היה.
עדכנתי את הדרייבר של nvidia, והפונטים הסתדרו.

איך אומרים הסינים?
שתחיו בזמנים מעניינים..

מטורפים, הם עוד יהרגו את כולנו!
בתוך כ50 יום, קיבלתי לא פחות מ48000 כניסות של גוגל בוט לדפים באתר, ואני לא מדבר על תמונות, אלא על דפים.
משהו דפוק פה, ונראה לי שזה גוגל.

כרגע קיבלתי בקשה ממישהו להסיר אותו מרשימת התפוצה שלי.
חשבתי שמישהו שלח הודעות תוך שימוש בשם של השרת, אבל אחרי חקירה קצרה גיליתי שאיזה בן זונה השתמש בפלאגין ששולח את העדכונים על פוסטים חדשים בבלוג כדי לשלוח ספאם.
הפלאגין הוא Wordpress email notification plugin 2.3.0.
למזלי הוא שלח "רק" 74 הודעות.
אי לכך, עד להודעה חדשה הפלאגין הזה מנוטרל, אני מציע לכל מי שמשתמש בו לעשות את אותו דבר.
שלחתי הודעה למפתח של הפלגין.