הגדרה של ספיידרלינג וסורקי אינטרנט

עכבישים & סורק אינטרנט: מה שאתה צריך לדעת כדי להגן על נתוני האתר

עכבישים הם תוכניות (או סקריפטים אוטומטיים) ש"זוחלים "דרך האינטרנט ומחפשים נתונים. עכבישים נוסעים דרך כתובות אתר אינטרנט ויכולים למשוך נתונים מדפי אינטרנט כגון כתובות דוא"ל. עכבישים משמשים גם להאכיל מידע למצוא באתרי אינטרנט למנועי חיפוש.

עכבישים, אשר מכונים גם "אינטרנט סורקים" החיפוש באינטרנט ולא כולם ידידותיים בכוונתם.

ספאמרים אתרים עכביש לאסוף מידע

Google, Yahoo!

ומנועי חיפוש אחרים אינם היחידים המעוניינים לסרוק אתרי אינטרנט - כך גם שולחי דואר זבל ושולחי דואר זבל.

עכבישים וכלים אוטומטיים אחרים משמשים שולחי דואר זבל כדי למצוא כתובות דוא"ל (באינטרנט נוהג זה מכונה לעתים קרובות "הקציר") באתרי אינטרנט ולאחר מכן להשתמש בהם כדי ליצור רשימות דואר זבל.

עכבישים הם גם כלי המשמש את מנועי החיפוש כדי למצוא מידע נוסף על אתר האינטרנט שלך אבל נותר ללא ביקורת, אתר ללא הוראות (או, 'הרשאות') על איך לסרוק את האתר שלך יכול להציג סיכונים מרכזיים אבטחת מידע. עכבישים נוסעים על ידי הקישורים הבאים, והם מאוד מיומנת במציאת קישורים למסדי נתונים, קבצי תוכניות ומידע אחר, אשר ייתכן שלא תרצה להם גישה.

מנהלי אתרים יכולים להציג יומנים כדי לראות מה עכבישים ורובוטים אחרים ביקרו באתרים שלהם. מידע זה מסייע למנהלי אתרים לדעת מי מוסיף לאינדקס את האתר שלהם, ובאיזו תדירות.

מידע זה שימושי משום שהוא מאפשר למנהלי אתרים לכוונן את ה- SEO שלהם ולעדכן קבצי robot.txt כדי לאסור על רובוטים מסוימים לסרוק את האתר שלהם בעתיד.

טיפים על הגנה על האתר שלך מפני סורק רובוטים לא רצוי

יש דרך פשוטה למדי לשמור על סורקים לא רצויים מתוך האתר שלך. גם אם אתה לא מודאג עכבישים זדוניים לסרוק את האתר שלך (obsuscating כתובת הדוא"ל לא יגן עליך מפני רוב הסורקים), אתה עדיין צריך צריך לספק למנועי החיפוש הוראות חשובות.

לכל אתרי האינטרנט יש קובץ הממוקם בספריית השורש הקרויה קובץ robots.txt. קובץ זה מאפשר לך להנחות סורקי אינטרנט שבהם אתה רוצה שהם ייראו לדפי אינדקס (אלא אם כן צוין אחרת בנתוני meta של דף ספציפי כדי לא להיות באינדקס) אם הם מנוע חיפוש.

בדיוק כפי שאתה יכול לספר סורקים רצה איפה אתה רוצה אותם לגלוש, אתה יכול גם להגיד להם איפה הם לא יכולים ללכת ואפילו לחסום סורקים ספציפיים מכל האתר שלך.

חשוב לזכור כי גם קובץ robots.txt היטב יש ערך עצום עבור מנועי החיפוש והוא יכול גם להיות מרכיב מפתח בשיפור הביצועים של האתר שלך, אבל כמה סורקים הרובוט עדיין להתעלם ההוראות שלך. מסיבה זו, חשוב לשמור את כל התוכנות, תוספים ויישומים מעודכנים בכל עת.

מאמרים ומידע

בשל השכיחות של קצירת מידע המשמש למטרות מזיק (דואר זבל), חקיקה עברה בשנת 2003 כדי להפוך פרקטיקות מסוימות בלתי חוקיים. חוקים אלה להגנה על הצרכן נופלים תחת CAN-SPAM Act of 2003.

חשוב לך לקחת את הזמן כדי לקרוא על CAN-SPAM Act אם העסק שלך עוסק בכל דיוור המוני או איסוף מידע.

תוכל למצוא מידע נוסף על חוקי אנטי ספאם וכיצד להתמודד עם שולחי דואר זבל, ומה שאתה כבעל עסק לא יכול לעשות, על ידי קריאת המאמרים הבאים:

• CAN-SPAM Act 2003
• CAN-SPAM חוק למלכ"רים
• 5 CAN-SPAM חוקי עסקים קטנים צריכים להבין