طريقة كتابة robots.txt
 

طريقة كتابة robots.txt

السلام عليكم ورحمة الله وبركاته

الكثير من الاخوة كتبوا عن هذا الموضوع من قبل.

لكن انا حبيت ان اضع امثلة لطريقة الاستخدام افضل من الكلام الكثير:

تعريفات:
user-agent:هو اسم سبيدر او المتصفح اوحتى الهاتف المحمول. طبعا هنا نحن نتكلم عن روبوتس فهو اسم السبيدر.

Disallow:طريقة المنع

Crawl-delay:مدة تاخير بين زيارة اخرى

Request-rate:معدل طلب الصفحة

Visit-time:الاوقات المسموح بها بالزيارة

sitemap:خارطة الموقع بصيغة .xml او .xml.gz

-------

نبدأ بسم الله الامثلة:
1.
[PHP]User-agent: *
Disallow:
[/PHP]

نحن نقول لكل سبيدر يزور الموقع بسبب * انه يمكن ان يتصفح الموقع وذلك لاننا لم نضع شيء امام المنع.

2.
[PHP]User-agent: *
Disallow: /[/PHP]

هنا نحن نمنع كل السبيدر من زيارة اي صفحة في الموقع.

3.
[PHP]User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/ [/PHP]

منع الجميع من زيارة مجلدين cgi-bin و tmp


4.
[PHP]User-agent: *
Disallow: /downloads/index.html[/PHP]

نمنع الجميع من زيارة صفحة معينة


5.
[PHP]User-agent: BadBot
Disallow: /[/PHP]

هذا ربوت سيء امنعه من دخول الي الموقع


6.
[PHP]User-agent: ]DontLikeBot
Disallow: /private/[/PHP]

اريد ان امنع هذا الروبوت من مجلد واحد فقط

7.
[PHP]User-agent: *
Disallow: /
Request-rate: 1/5
Visit-time: 0600-0800[/PHP]

مسموح بزيارة كل السبيدر لكل صفحات موقعي بس بالشروط التالية: معدل الوقت المسموح هو 5 ثواني لكل صفحة واحدة. وايضا الوقت المسموح فيه بالزيارة هو من 6 الى 8 صباحا gmt

8.
[PHP]User-agent: msnbot
Crawl-delay: 120 [/PHP]

سبيدر msn مزعج وكثير الزيارات انا اريدة ان لا يزور صفحات موقعي الا كل دقيقتين.


9.
[PHP]Sitemap: http://www.ketaballah.net/sitemap.xml[/PHP]


لكل السبيدرز هذا هو رابط خريطة موقعي


10.
[PHP]User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /cgi-bin/[/PHP]

نمنع الجميع من الزيارة كل الموقع
لكن نسمح لجوجل بزيارة كل الموقع ما عدا cgi-bin

مشكووور اخوي البرق

مجهود رائع

دمت رائعة

السامي

مرورك هنا أكثر من المجهود

الف شكر لك

مشكور عزيزي البرق علي الدرس