תוספות מעניינות לFireFox למפתחי אתרים

FireBug
כמעט כולם מכירים את FireBug, תוסף פיירפוקס משובח שמאפשר לדבאג קוד ג'אווה-סקריפט שרץ בדפדפן, כולל נקודות עצירה ומה לא.
בנוסף, FireBug מאפשר שיטוט בעץ הDOM (עץ הדומים), סקירה ושינוי של אובייקטים בדף, בדיקה של זמני תגובה של קריאות אג'קס, בדיקה של הCSS ועוד המון.
זה כלי חובה לכל מי שמפתח מפעם לפעם משהו שרץ בדפדפן.

Web developer
עוד כלי חובה למפתחי אתרים, WD מאפשר לחקור ולשנות דפים, לערוך קוקיות, לבטל סקריפטים ואפילו לערוך CSS בזמן אמת.
אחד התכונות השימושיות ביותר היא היכולת להציג את הקוד שנוצר בדפדפן על ידי סקריפטים (Generated code), שאותו לא תראו על ידי הצגה רגילה של הקוד.
עוד תכונה שימושית היא היכולת לשלוח בקלות את הדף לבדיקת תקינות בW3C, גם אם מדובר בדף מקומי (שלא זמין מהאינטרנט).
WD מלא בתכונות שימושיות אחרות, את חלקן אני אפילו לא מבין.
בכל אופן, WD הוא כלי חובה למפתחי אתרים.

TemperData
TemperData הוא שמתאים במיוחד להאקרים או סתם סקרנים, שרוצים לבדוק "מה יקרה אם".
הוא מאפשר לשלוט על הנתונים שהדפדפן שולח לשרת (תוכן הפוסט, קוקיות, שדות HTTP וכו'), ובכך לעקוף את הלוגיקה שמי שפיתח את השרת שתל בצד הלקוח.
בצורה כזו, ניתן במקרים רבים להגיע למקומות אליהם לא חשבו שתגיעו, ולעשות דברים שלא הייתם אמורים לעשות – אם אתם יורדים לסוף דעתי.
כמובן, TemperData מאפשר גם לשחק עם הדפדפן מול השרת שלכם, ולפשט בדיקות מסויימות.

YSlow
YSlow הוא תוסף לFireBug שפותח על ידי Yahoo.
YSlow נותן עצות שימושיות למדי שיאפשרו לכם להאיץ את הזמן בו האתר שלהם נטען.
לא שימושי כמו הקודמים, אבל נחמד.

הספאמר התורן

כרגע קיבלתי ספאם ישראלי שטוען שכסף גדל על עצים וכו'.
הוא מפרסם את השרות של הספאמר עצמו (במילים אחרות, שלמו לנו ותהיו ספאמרים כמונו!).

מה שנחמד, זה שהספאמר עוזר לנו על ידי פרסום של רשימת הלקוחות הספאמרים שלו.
אז אם בטעות בא לכם לקנות משהו מאחת החברות ברשימה, אל.

Geometry wars

מלחמות גאומטריה הוא משחק ממכר ופשוט שנמכר בSteam במחיר המצחיק של 3.95$.
הרעיון פשוט: החללית שלכם מותקפת על ידי גלים על גלים של צורות גאומטריות עויינות, המטרה היא לשבור שיא לפני שאתם מתים.
המימוש, פיגוז. הגרפיקה ממש ממש טובה, והסאונד והמוסיקה הם תענוג.
הוא מתחיל לאט, אבל תוך דקות תהיו עסוקים מעל הראש בלהתחמק ולירות תוך כדי בגלים על גלים של ריבועים, מעויינים נחשים וחורים שחורים.
המשחק מהיר מאוד, והעומס הויזואלי שני רק לסרט החדש של הרובוטריקים, ולמרות זאת הוא פשוט כיף.
קל מאוד לשחק במשחק, קשה מאוד להצטיין בו.

ככה זה נראה בשלבים המתקדמים, אבל אל דאגה, לא תגיעו לשם :).
נכון לכתיבת שורות אלו, השיא שלי הוא 138,000.

המושב הבטוח במטוס

האתר Popular mechaniics בודק איפה עדיף לשבת כשמטוס מתרסק (לדעתי על הקרקע, במקום עם שדה ראיה טוב של ההתרסקות ופחית קולה קרה).
אחרי סקירה של כל ההתרסקויות של טיסות מסחריות מ1971, המסקנות הם שהמקום הבטוח ביותר במטוס הוא החלק האחורי.
מסתבר שאחוזי השרידה של נוסעים בחלק האחורי גבוה משמעותית מאילו שיושבים מקדימה ובמרכז.

דרך סלאשדוט.

IP2C תכנון, מימוש ושיקולי יעילות

IP2C היא ספריה קטנה למציאת קוד המדינה אליה שייכת כתובת IP.
הספרייה מכילה נכון לכרגע מימוש בPHP ובג'אווה, וכוללת ומבוססת על המרת הנתונים לקובץ בינארי קומפקטי שמתוכנן לחיפוש מהיר.
בסיס נתונים של נתוני IP למדינה זה דבר די גדול, בסיס הנתונים החינמי של WHI שמגיע כקובץ CSV מכיל כ77000 טוחי כתובות (הטווח מכתובת X לכתובת Y שייך למדינה C) ובסיסי נתונים אחרים הם הרבה יותר גדולים.
כשרוצים לחפש בדבר כזה יש כמה אפשרויות:
1. העלאת הנתונים לטבלא לבסיס הנתונים ושימוש בבסיס הנתונים לחיפוש.
2. המרה של קובץ הCSV לקובץ בינארי חסכוני ואז חיפוש בקובץ. על הדרך הזו המשך הפוסט מדבר.

הגישה הראשונה בעייתית כי היא דורשת גישת מנהל לבסיס הנתונים כדי לבצע יבוא מהיר, או דורשת עדכון בלולאה – מה שלוקח דקות ארוכות.
הגישה השניה עדיפה כי הנתונים תופסים פחות מקום וקל יותר לעדכן אותם, בנוסף אין תלות בבסיס נתונים.

שורה בקובץ הCSV המקורי מכילה תחילת טווח, סוף טווח, ומידע לגבי הטווח – כמו קוד ISO של המדינה והשם שלה. שורה לדוגמא:
"201620312","201674095","US","USA","UNITED STATES"

נניח שאנחנו שומרים את הנתונים האלו לקובץ בצורה הזו:
לכל מדינה:
4 בתים: תחילת טווח.
4 בתים: סוף טווח.
2 בתים קודISO
X בתים שם מדינה.

יש פה בעיה, כי שם המדינה הוא לא באורך ידוע, מה שלא מאפשר גישה ישירה לנתונים (כדי להגיע לשורה X צריך לסרוק את כל השורות שלפניה).
פתרון חלופי הוא לחלק את הקובץ לשני תחומים כדלקמן:
חלק ראשון בקובץ, לכל מדינה:
4 בתים: תחילת טווח.
4 בתים: סוף טווח.
2 בתים קודISO
4 בתים ההיסט של שם המדינה בתוך הקובץ
חלק שני בקובץ, לכל מדינה:
X בתים: שם המדינה.

זה כבר יותר טוב, עכשיו אפשר לחפש חיפוש בינארי בחלק הראשון, ולמצוא את שם המדינה לפי ההיסט שמצאנו ברשומה בחלק הראשון.

נניח שאלו הנתונים שלנו:
1. 1 עד 10 : ישראל
2. 10 עד 20: הודו
3. 20 עד 22: סין
4. 25 עד 30: ארצות הברית

אפשר לשים לב שלמעט המעבר מסין לארצות הברית טווח n תמיד מתחיל איפה שטווח n-1 נגמר.
ככה זה גם במציאות, כמעט תמיד אין חורים בין הטווחים.
זה מאפשר לנו ליעל את צורת השמירה: פשוט נשמור רק את תחילת הטווח של כל שורה, ונשתמש בתחילת הטווח של השורה הבאה בתור סמן לסוף הטווח.
אבל אני שומע את הצעקות: אבל מה עם סין? היא תקבל עוד שלוש כתובות!
הפתרון הפשוט למדי הוא להוסיף שורת סרק אחרי סין, שסוגרת את הטווח שלה:
1. 1 : ישראל
2. 10: הודו
3. 20 : סין
4. 22: אף אחד
4. 25 : ארצות הברית

חסכנו בממוצע 4 בתים מתוך 14, שזה כשלושים אחוז מנפח הנתונים, בלי לאבד שום דבר.
כמובן שהאלגוריתם של החיפוש יצטרך להתחשב בשורות ששייכות ל"אף אחד", מה שיסבך אותו, אבל זה שווה את המחיר.

אופטימיציה נוספת שמתבקשת היא לשמור את שם המדינה ואת הנתונים הנילוים (קוד מדינה וכו') פעם אחת בלבד לכל מדינה.
מה שיוביל לחסכון רציני נוסף בנפח הנתונים.

למעשה הקובץ שIP2C מייצרת אפילו יותר חסכוני מזה, החלק הראשון של הקובץ מכיל שורות בצורת:
IP התחלה: 4 בתים.
קוד מדינה: 2 בתים.

החלק השני של הקובץ מכיל עוד טבלה מאפשרת לגשת לשאר הנתונים (שם מדינה וכו'), אבל מחיב הפעלת חיפוש בינארי שני (במילים אחרות, המרתי את הנפח הדרוש להיסט בזמן מעט גבוה יותר לחיפוש).
בממוצע, כל טווח מהקובץ המקורי תופס כ7 בתים בקובץ, מאד חסכוני לכל הדעות.

גישה לנתונים

עכשיו שסגרנו את מבנה הקובץ (פחות או יותר), הגיע הזמן לדבר על דרך הגישה אל הנתונים.
יש כמה דרכים, שלא כולן ישימות בכל שפה:
טעינת הקובץ לזכרון
הגישה הטבעית שכמעט כולם יבחרו תהיה להעלות את כל הקובץ לזכרון (סך הכל חצי מגה במקרה שלי) ולחפש בתוכו.
יש שתי חסרונות לגישה הזו: הראשונה היא צריכת הזכרון שפרופורציונית לגודל הקובץ, והשניה היא שהזמן לחיפוש הראשון הוא גדול כי משלמים גם על טעינת הקובץ.
מצד שני החיפוש עצמו מהיר מאוד, הכי מהיר למעשה מכל הגישות האחרות.
הגישה הזו לא אופטימלית לPHP בדרך כלל, כי בכל בקשה נצטרך לטעון את הקובץ מחדש.
הגישה הזו ממומשת כרגע במימוש בJava בלבד.

חיפוש ישירות על הקובץ
הטכניקה הזו היתה הרבה יותר נפוצה בעבר, כש640K היו צריכים להספיק לכולם.
במקום לטעון את הקובץ כולו לזכרון, מבצעים את החיפוש הבינארי ישירות על הקובץ.
החסרון הוא שזה איטי משמעותית יותר מחיפוש בזכרון, והיתרונות הם שצריכת הזכרון מינימלית ושהמחיר של החיפוש הראשון זול בדיוק כמו של אלו שאחריו.
הגישה הזו מתאימה מאוד לPHP, במיוחד אם צריך לבצע מספר קטן של חיפושים בכל בקשה.
מימוש: Java וPHP.

קובץ ממופה זכרון
קובץ ממופה זכרון (Memory mapped file) לוקח את הטוב משני העולמות. מצד אחד לא טוענים את כל הקובץ לזכרון, מצד שני המהירות קרובה למהירות חיפוש בזכרון.
PHP לא תומך בזה, אבל ג'אווה כן – וקיבלתי תוצאות יפות למדי עם זה.
היתרונות הם שכמו בחיפוש ישירות על הקובץ, לא טוענים את כל הקובץ לזכרון בהתחלה ולכן החיפוש הראשון יהיה מהיר בערך כמו החיפוש הראשון בחיפוש ישיר על הקובץ, אבל החיפושים הבאים יתקרבו למהירות חיפוש בזכרון. החיסרון העיקרי הוא שלא כל הפלטפורמות תומכות בזה.
מימוש: Java בלבד.

זכרון משותף
זכרון משותף (Shared memory) היא עוד גישה. הפעם הקובץ נטען פעם אחת ויחידה לזכרון, ונשאר שם. הגישה הזו מנטרלת את הבעיה המרכזית של PHP עם הגישה של טעינת הקובץ לזכרון (שצריך לטעון אותו כל פעם מחדש), אבל עדיין סובלת מהבעיה של צריכת זכרון גבוהה (למעשה הבעיה מחריפה גם הזכרון יהיה בשימוש גם אם אף אחד לא רוצה לבצע חיפוש במשך שבוע).
גם PHP וגם Java תומכים בזכרון משותף, אבל לא בדקתי את הביצועים של מימוש כזה.
מימוש: לא ממומש.

IP2C משוחררת ברשיון GPL2, והיא קלה מאוד לשימוש.

פרוצותי

נתקלתי באתר בשם Hack this site שמאפשר להאקר החובב להתאמן בביצוע משימות ברמת קושי עולה.
יש שם משימות בכל הרמות – הכל מסיסמא שמוסתרת בקוד הHTML של הדף, וכלה בפיצוח של קובץ הרצה שעושה את החיים של מי שמתחבר אליו בדיבאגר קשים ככל האפשר.
שווה נסיון, ולו בשביל ללמוד כמה דברים על מה לא לעשות.

הקורס האחרון בתואר

נרשמתי לקורס האחרון של התואר בפתוחה.
אחרי שעברתי את קומפילציה בשן ועין (מבחן 69, ציון סופי 76), נותר לי רק לסיים את הפרוייקט בסדנא בג'אווה ואת לעבור את הקורס ניתוח ועיצוב מונחה עצמים (קורס מתואר שני), שלא נשמע קשה, במיוחד לאור זה שאני עושה דברים כאלו כבר קרוב לעשר שנים.
סוף סוף רואים את האור בקצה המינהרה.

איחוד ופיצול קבצי MP3

לפני כמה שנים טובות קניתי באמזון את חמשת הספרים הראשונים בסדרת המגדל האפל של סטיבן קינג (באנגלית).
קראתי בעבר את את הספר הראשון והשני, אבל אלו שקניתי מאמזון נשארו על המדף, ופשוט לא מצאתי זמן לקרוא אותם (או הרבה דברים אחרים).
בגלל זה קידמתי בברכה את סדרת האודיו בוק האיכותית של כל שבעת הספרים בסדרה.
למרות שהורדתי את הסדרה, אני מרגיש שבאיזה אופן יש לי זכות מוסרית לשמוע אותה, לפחות עד הספר החמישי :).

הסדרה מגיעה בקבצים של כ75 דקות כל אחד, שזה יותר מדי לשמיעה רצופה בנסיעה לעבודה.
עד הספר השלישי, פשוט חילקתי את הקבצים לשלוש חלקים של כ25 דקות, אבל זה היה מעט מדי בשביל הפקקים בבוקר בדרך להרצליה פיתוח, מה שגרם לי בדרך כלל להתחיל לשמוע את הפרק הבא עד החצי – דבר מבעס למדי.

עכשיו התחלתי את הספר הרביעי, Wizard and glass, והפעם החלטתי לאחד את הקבצים לקובץ אחד ענק לפני החילוק, מה שאיפשר לי לחלק לחתיכות של 35 דקות שמתאימות די טוב לזמן הנסיעה.
כדי לעשות את זה, אפשר להשתמש בmp3wrap ובmp3splt שניתנות להתקנה בקלות בדביאן (חפשו בחבילות).

כדי לאחד את הקבצים לקובץ אחד:
find *.mp3 -print0 | xargs -0 mp3wrap outfile.mp3

וכדי לפצל את הקובץ לחתיכות של 35 דקות (הפיצול מתבצע בנקודות שקט, אז התפר ממש בלתי מורגש) :
mp3splt -a -t 35.00 outfile.mp3

ובא שלום.