طريقة كتابة robots.txt

البرق · #1 16 - 05 - 2008, 23:08

طريقة كتابة robots.txt

السلام عليكم ورحمة الله وبركاته

الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.

لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:

تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.

Disallow:طريقة المنع

Crawl-delay:مدة تاخير بين زيارة اخرى

Request-rate:معدل طلب الصفحة

Visit-time:الاوقات المسموح بها بالزيارة

sitemap:خارطة الموقع بصيغة .xml او .xml.gz

-------

نبدأ بسم الله الامثلة:
1.
[PHP]User-agent: *
Disallow:
[/PHP]

نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.

2.
[PHP]User-agent: *
Disallow: /[/PHP]

هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.

3.
[PHP]User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/ [/PHP]

منع الجميع من زيارة مجلدين cgi-bin و tmp

4.
[PHP]User-agent: *
Disallow: /downloads/index.html[/PHP]

نمنع الجميع من زيارة صفحة معينة

5.
[PHP]User-agent: BadBot
Disallow: /[/PHP]

هذا ربوت سيء امنعه من دخول الي الموقع

6.
[PHP]User-agent: ]DontLikeBot
Disallow: /private/[/PHP]

اريد ان امنع هذا الروبوت من مجلد واحد فقط

7.
[PHP]User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800[/PHP]

مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt

8.
[PHP]User-agent: msnbot
Crawl-delay: 120 [/PHP]

سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.

9.
[PHP]Sitemap: http://www.ketaballah.net/sitemap.xml[/PHP]

لكل السبيدرز هذا هو رابط خريطة موقعي

10.
[PHP]User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/[/PHP]

نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin

المصدر: منتديات مدينة الاحلام

'vdrm ;jhfm robots>txt