מחשבות, מחשבים, ושאר דברי בלע

כשתוכנה מתחברת לשרת HTTP הוא יכולה לדווח לו מי היא, באחד השדות שנקרא user-agent.
הסיבה היא שיתכן שיש לוגיקה ספציפית בצד השרת שמיועדת לדפדפן מסוים (למשל כי יש בו באג שדורש התייחסות שונה מצד השרת).
דפדפנים הם לא התוכנות היחידות שמתחברות לאתרי אינטרנט, גם בוטים (קיצור של רובוטים), הידועים גם בשמות הפחות מחמיאים עכבישים וזחלנים מתחברים.
בוטים לדוגמא הם רובוטים של מנועי חיפוש, שמאנדקסים את הדפים באתר כדי לאפשר חיפוש מהיר.
בוטים אחרים שמפועלים על ידי ספאמרים סורקים את הדפים בחיפוש אחרי כתובות אימייל, או שולחים תגובות ספאם בבלוגים ובמערכות אחרות.
אתרי אינטרנט רבים היום מייצרים את התוכן שלהם בצורה דינאמית, מה שיכול לבלבל ולהעמיס על רובוטים שמנסים לאנדקס את האתר.
בעיה נוספת היא שלפעמים יש חלקים באתר שבעלי האתר לא מעוניין שיאונדקסו על ידי בוטים, למרות שהוא רוצה לאפשר אליהם גישה חופשית לאנשים.
הפתרון לשתי הבעיות הוא קובץ בשם robots.txt, שנמצא בספריית השורש של האתר. הקובץ הזה, שלמרות שלא מוגדר בשום תקן, הפך לסטנדרט להגדרה של איזורים אסורים לבוטים.
הנה הקובץ של גוגל, שאגב יכול לחשוף שרותים מעניינים שלהם.
מטבע הדברים הבוטים הלא לגיטמיים מנסים להסתיר את הזהות שלהם כדי למנוע מהשרת מלהתגונן בפניהם, ולכן מזדהים בעזרת user-agent של דפדפנים נפוצים, בנוסף, בדרך כלל רובוטים כאלו גם לא מתייחסים לקובץ הrobots.txt, אחרי הכל - אם בעל האתר טרח לומר שאסור לבוטים להכנס לאיזור מסויים, אולי זה בדיוק האיזור שאותם בוטים ירצו לסרוק?
כמובן שיש גם בוטים לגיטימיים שפשוט כתובים רע או שמכילים באג שגורם להם להתעלם מהקובץ.
אפשר להשתמש בעובדה שרובוטים זדוניים מתעלמים מקובץ הרובוטים כדי לזהות ואפילו לחסום אותם.
נתקלתי ברעיון כאן.
הרעיון פשוט למדי:
נכניס לקובץ הרובוטים קובץ שאסור לקריאה על ידי רובוטים.
נכניס לדפים שלנו לינק בלתי נראה שמפנה אל אותו קובץ.
מכיוון שהלינק הוא בלתי נראה, אנשים לא יכנסו אליו בטעות.
כל הפעלה של הקובץ הגיעה בעצם מרובוט סורר, מה שיאפשר הוספה שלו לבסיס הנתונים של הרובוטים (הסוררים) וגם חסימה של כתובת האי-פי שלו כדי למנוע ממנו לבצע באתר את מעשיו הנלוזים.
דרך נוספת לזהות בוטים שלא מזדהים בuser-agent שלהם היא באמצעות זיהוי תבנית הכניסות שלהם לאתר.
בוטים נוטים להיות מאוד יסודיים ובדרך כלל סריקה של בוט, במיוחד כזה שלא מזדהה, תהיה בסדר גודל של כמה מאות דפים בכל פעם, בהפרשים קצרים מאוד בין כניסה לכניסה.
אפשר להשתמש בידע הזה כדי לזהות בוטים, מחפשים סדרה ארוכה של כניסות מאותה כתובת אי-פי, כאשר ההפרשים בין כניסה לכניסה קצרים מדי מכדי שזה יהיה סביר שבן אדם ביצע אותם.

אני אממש את שתי הטכניקות באיזה שהוא שלב בFireStats כדי לזהות בוטים שכאלו.
במלכודת הבוטים אני אשתמש כדי לזהות בוטים בזמן אמת, ואילו בטכניקה השניה אני אשתמש כדי לזהות בוטים רטרוקטיבית כדי לנקות את בסיס הנתונים מזבל.

דירוג: 5 (3 מצביעים)

נתקלתי בתכסיס פשוט שיבאיש את מאגרי האימייל שאוספים זחלני רשת זדוניים.
כשזחלן זדוני יגיע ללינק החדש מעל כתובת הדואר שלי , הוא יכנס ויקבל רשימה אין סופית של כתובות דואר מפוברקות.
בתיאבון.

ספאם-האוס, ארגון למלחמה בספאמרים, חוייב על ידי בית משפט במדינת אילינוי בתשלום פיצויים של 11.7 מליון דולר לספאמר דיוויד לינהרדט שתבע את ספאם-האוס לאחר שהכניסו אותו לרשימה השחורה, מה שמנע מהספאמר המסכן גישה חופשית למשתמשים בשרות של ספאם-האוס.
ספאם-האוס נתנו לספאמר ולבית המשפט את האצבע, כשאמרו שבתור ארגון בריטי הם לא מחוייבים לפסיקות של בית משפט באילינוי, ושאם לינהרדט רוצה פסיקה שתחשב הוא צריך להגיש מחדש את התביעה שלו בבית משפט בבריטניה - שם הספאם לא חוקי, ולינדהרט הוא הפושע, ולא ספאם-האוס.
אני מוצא את העניין די מטריד, בית משפט באילינוי משתף פעולה עם חלאות כמו לינדהרט.
מההיבט המשפטי, סתירות בין חוקים של מדינות שונות יוצרות מצבים מעניינים, וזה בטוח לא הפעם האחרונה שניתקל בקונפליקט מהסוג הזה.

מפעל הפיס התקשרו אלי כרגע ודיווחו לי בהודעה אוטמטית שזכיתי בזכות לשלוח להם SMS שעולה שקל אחד בלבד.
חיכיתי כמו מניאק עד שתגמר ההודעה וישאירו טלפון, כדי שאני אוכל לחזור ולצעוק עליהם שהם ספאמרים מזויינים ושאני רוצה שהם יעיפו את הטלפון (החסוי!) שלי מהרשימה שלהם.

בסוף נשארתי עם מספר SMS ביד.

מפעל הפייס.
כולרע.

ציטוט של אימייל ששלחתי לנטוויזן:

שלום.
זו פעם שמינית שאני מתלונן על FixTravel, ששולחים ספאם מהרשת שלכם, ואתם לא עושים כלום.
לדעתי כל מחלקת האביוז שלכם היא פיקציה, ואף אחד לא קורא את הדואר הזה.
זה לא יפריע לי להמשיך לשלוח לכם תלונות, רק בגלל שיום אחד אני אשתמש בתלונות כדי לעשות לכם יחסי ציבור כל כך רעים שרק ספאמרים ישארו לקוחות אצלכם.

אגב, מרגש לקרוא את מדיניות הפצת הדואר שלכם כאן.
לפי מה שכתוב שם, נטוויז'ן היא חברה שקרנית, שמסבנת את הציבור.

אגב, את המכתב הזה פרסמתי פה.

זוכרים את הרשימה האפורה?
תזכורת, greylisting מאפשר לסנן כמעט את כל הספאם על ידי החזרת שגיאה שמוגדרת כזמנית בפרוטוקול SMTP (הפרוטוקול של דואר אלקטרוני).
התגובה התקנית לשגיאה זמנית היא לנסות שוב אחרי פרק זמן מסויים, וזה מה שעושים שרתי דואר אמיתיים.
מכיוון שספאמרים רק רוצים לשלוח ספאם, ולא ממש איכפת להם משגיאות, התוכנות שלהם לא מתייחסות לשגיאות (הרי יש סיכוי טוב שהכתובת לא אמיתית), ולכן הגישה של greylisting עובדת יפה למדי, וכמות הספאם שאני מקבל ממש צנחה ברגע שהפעלתי את זה בשרת הדואר.
אבל נראה שיותר ויותר ספאמרים עוברים להשתמש בשרתים תקניים, או לפחות כאלו שמנסים לשלוח מחדש, מה מה שגורם להודעות שלהם לעבור את המשוכה הזו ,וליפול באחד ממסנני הספאם האחרים.

אגב, postgrey מספיק חכם כדי לא להחזיר הודעות שגיאה בכל פעם, אלא רק כשמקבלים אימייל ממקום לא מוכר לתיבה מסויימת בפעם הראשונה.

טוב, מזמן לא עשיתי את זה, אבל לא הצלחתי להתאפק:

נענע שלחו לי ספאם, בו הם פרסמו, לא פחות - מכסחת דשא.
ובלי להתבלבל הוסיפו למטה:

לפרסום במדיה זו אנא לחץ כאן

לא לימדו אותם בבית ספר לספאמרים שלא עושים כזה דבר?

תגובתי (רק 500 פעם, החלטתי להיות עדין איתם, עברה ראשונה והכל):

Hi,I dont want Viagra, Cialis Pennis enlargement OR GRASS CUTTER.for more information, please contact your mother about "right and wrong".

נשבר לי הזין מנטוויז'ן ומההתעלמות שלהם מתלונות על ספאם.

גוגל-בוט, סרוק את זה:

נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם נטוויז'ן תומכים בספאם

 עדכון:
התקשרתי כרגע לנטוויז'ן בבקשה לדבר עם מישהו ממחלקת האביוז שלהם, הם אמורים לחזור תוך 72 שעות.

אימייל ששלחתי לנטויז'ן, ספק האינטרנט הידידותי ביותר לספאמרים בישראל.

שלום רב.
אני מכתב אימייל זה למחלקת האביוז הלא מתפקדת שלכם, לתמיכה ולפניות הציבור. אם הייתם נותנים את האימייל של המנכ"ל שלכם באתר הייתי מכתב את זה גם אליו.
פניתי אליכם לגבי ספאם ממשתמש שלכם שמפרסם את fixtravel כבר שלוש או ארבע פעמים, ובינתיים נראה שעדיף שאני אדבר עם הכלב שלי, זכרונו לברכה.
יש יותר סיכוי שהוא יעשה משהו.
במלא הרצינות, אתם חייבים להתחיל לפעול בנחרצות נגד ספאמרים.
לא יתכן שאני אתלונן ארבע (!) פעמים על ספאמר שמפרסם דרכיכם, ושוב ושוב אני אקבל ממנו הודעות שיצאו דרכיכם!
הגיע הזמן שתתחילו לפעול!
אם אתם רוצים רעיון, הנה אחד:
צרו רשימה שחורה של משתמשים שמפרסמים בספאם (כולל מספר כרטיס אשראי).
ברגע שמשתמש נכנס לשם, נגמר הסיפור, לא מקבל יותר שרות (תחת השם הזה, או עם הכרטיס הזה תחת שם אחר).
רצוי אפילו לחלוק את הרשימה עם ספקי האינטרנט האחרים (אולי עם HASH של המספרים של כרטיסי האשראי - תשאלו את המחלקה
הטכנית שלכם, הם ידעו).

האם אני חושב שזה יעשה משהו?
כנראה לא, אבל זה שווה את הוצאת הקיטור.

אני מתחיל לחשוב שמי שאחראי לספאם בארץ הם ספקי האינטרנט.
כמה ספאמרים אתם חושבים שיש כבר בארץ? 200? 500?
כמה קשה זה כבר ליצור רשימה שחורה של משתמשים ששולחים ספאם ולא לתת להם שרות?

הנה מגוון כותרות של הודעות תלונה על ספאם ששלחתי לתיבות האביוז של ספקי אינטרנט.
נטוויז'ן:
אפשר לראות את ההסלמה בטון של ההודעות, שהופיעה במקביל להסלמה בהבנה שלי שהם לא שמים קצוץ.

שלום, ההודעה המצורפת היא ספאם שנשלח מהרשת שלכם.
טפלו בזה בבקשה.

שלום.
ספאם זה נשלח מהרשת שלכם.
טפלו בעניין בבקשה.

שלום,
הנה עוד ספאם שיצא מהרשת של ספק האינטרנט הטוב מכולם -
זה שלא מפלה משתמשים של רקע גיל, גזע והודעות זבל.

ספק האינטרנט האהוב על הספאמרים בישראל מכה שנית.

שלום,
שוב אני, המדבר לקירות.
עוד ספאם מהרשת שלכם, בתקווה שתזיזו את ישבנכם המדושן ותעשו משהו.


שלום. פעם שניה או שלישית שאני מתלונן בפניכם על ספאם מהמשתמש הזה.
הגיע הזמן שבמקום להזהיר ולהזהיר תעיפו אותו קיבינמט.
אני חייב לציין שמכל ספקי האינטרנט הישראלים, אתם הגרועים ביותר
בטיפול בתלונות על דואר זבל מהרשת שלכם.
012
והנה קצת של 012, שכנראה מזנבים בנטוויז'ן במאבק על חסדי הספאמרים.

שלום למחלקת האביוז האהובה עלי.
המשתמש הזה שולח ספאם מהשרת שלכם.
אני אודה לכם אם תירו בו ובילדים שלו.


Hello, a user of yours is sending spam from his personal machine, please
take care of it.






Hello. this is the second time I complain about this:
Pizza metter is spamming from your servers - please handle this.
the mail is attached, and below is the mail header.


בהמשך לאימייל הקודם ששלחתי לכם על הספאמר, הנה המחירון שלו.
למקרה שהיה לכם ספק שהוא ספאמר בן ז*נה.

כן, השגתי מחירון של ספאמר, מה דעתכם, רוצים לראות?