סריקה, אינדוקס וכתובות
מה robots.txt קובע
לבדוק סריקה בלי לבלבל אותה עם אינדוקס
דוגמה מהשטח
ספריית סינון הוסתרה ב־robots והכתובת עוד מופיעה בתוצאה
שלבי עבודה
- מצאו את הכלל שחל על הסוכן ועל הנתיב
- קבעו אם המטרה היא מניעת סריקה, הסרה מהחיפוש או חסימת גישה
עכשיו תורכם
כתבו טיפול שונה לכל אחת משלוש המטרות
איך אדע שביצעתי נכון?
מניעת גישה למסמך פרטי דורשת הרשאה אמיתית