پروتکل robots
مي توان با يک فايل متني و بسيار ساده، ميزان دسترسي موتورهاي
جستجوگر به محتواي سايت ها را کنترل کرد. اين فايل robots.txt نام دارد و پروتکل
حاکم بر آن پروتکل robots نام دارد.
موتور جستجوگر قبل از آنکه وارد سايتي شود، ابتدا فايل ياد شده را درخواست مي کند و تمام محدوديت هاي پيش روي خود در آن سايت را مي خواند. نبود اين فايل در يک سايت به معناي نبودن هيچ گونه محدوديتي براي تمام اسپايدرها است (حالت پيش فرض).
موتور جستجوگر بعد از آنکه تمام فايل ها و مسيرهاي ممنوع را دانست. شروع به خواندن مطالب سايت مي کند و البته به محدوديت هاي موجود نيز احترام مي گذارد.
منبع: http://www.sr.blogfa.com | 