דילוג לתוכן הראשי

סריקה, אינדוקס וכתובות

מה robots.txt קובע

לבדוק סריקה בלי לבלבל אותה עם אינדוקס

דוגמה מהשטח

ספריית סינון הוסתרה ב־robots והכתובת עוד מופיעה בתוצאה

שלבי עבודה

  1. מצאו את הכלל שחל על הסוכן ועל הנתיב
  2. קבעו אם המטרה היא מניעת סריקה, הסרה מהחיפוש או חסימת גישה

עכשיו תורכם

כתבו טיפול שונה לכל אחת משלוש המטרות

איך אדע שביצעתי נכון?

מניעת גישה למסמך פרטי דורשת הרשאה אמיתית

כיצד פועל החיפוש של Google
השיעור הקודםהשיעור הבא