Veb saytınızın kökündə saxlanılan bir robots.txt faylı axtarış motoru örümcekleri kimi web robotlarını hansı qovluq və faylları taramasına icazə verəcəklərini bildirəcəkdir. Robots.txt faylı istifadə etmək asandır, ancaq yadda saxlamaq lazım olan bəzi şeylər var:
- Qara şapka web robotları robots.txt faylını görməyəcək. Ən çox yayılmış növlər məhsula e-poçt ünvanlarını axtaran malware botları və robotlardır.
- Bəzi yeni proqramçılar robots.txt faylını görməyən robot yazacaqlar. Bu adətən səhv edir.
- Hər kəs robots.txt faylınızı görə bilir. Onlar həmişə robots.txt deyirlər və həmişə veb səhifənin kökündə saxlanılırlar.
- Nəhayət, robots.txt dosyanızın robots.txt faylından kənara alınmayan bir səhifədən robots.txt dosyanız tərəfindən istisna olmaqla fayl və ya qovluqla əlaqə qurarsa, axtarış motorları onu hər halda tapa bilər.
Mühüm şey gizlətmək üçün robots.txt fayllarını istifadə etməyin. Əksinə, mühüm məlumatları təhlükəsiz şifrələr arxasında qoymalı və ya tamamilə internetdən çıxarmalısınız.
Bu nümunə fayllardan necə istifadə edilir?
Mətni nəyi istəsəniz ən yaxın nümunədən kopyalayın və robots.txt faylına yapışdırın. Tercih etdiyiniz konfiquraya uyğun robot, qovluq və fayl adlarını dəyişdirin.
İki əsas Robots.txt faylları
İstifadəçi agenti: *
Uydurma: /
Bu fayl, hər hansı bir robota (İstifadəçi agenti *) daxil olan saytdakı hər bir səhifəni görməməlidir (Disallow: /).
İstifadəçi agenti: *
Uydurma:
Bu fayl, hər hansı bir robotun (İstifadəçi agenti *) sayta daxil olan hər bir səhifəni (icazəsiz:) göstərməsinə icazə verdiyini bildirir.
Ayrıca, robots.txt dosyanızı boş bırakmanız və ya sitenizde heç birinin olmamasıyla da bunu edə bilərsiniz.
Robotlardan spesifik kataloqların qorunması
İstifadəçi agenti: *
Disallow: / cgi-bin /
Disallow: / temp /
Bu fayl ona daxil olan hər hansı bir robot (cari-bin / disallow: / temp /) / cgi-bin / və / temp / dizinləri görməməlidir.
Robotlardan spesifik səhifələrin qorunması
İstifadəçi agenti: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Bu faylda daxil olan hər hansı bir robot (User-agent: *) faylları /jenns-stuff.htm və /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php) faylları görməməlidir.
Xüsusi bir robotun Saytınıza daxil olmasını önləyin
İstifadəçi agenti: Lycos / xx
Uydurma: /
Bu faylda Lycos bot (User-agent: Lycos / xx) saytın hər hansı bir yerə daxil olmasına icazə verilmir (Disallow: /).
Yalnız bir xüsusi robotun əldə olunmasına icazə verin
İstifadəçi agenti: *
Uydurma: /
User-agent: Googlebot
Uydurma:
Bu fayl ilk növbədə yuxarıda etdiyimiz kimi bütün robotlara icazə vermir və sonra Googlebotun (İstifadəçi agenti: Googlebot) hər şeyə (Disallow:) daxil olmasına imkan verir.
İstədiyiniz istisnaları dəqiq bir şəkildə almaq üçün birdən çox xəttləri birləşdirin
İstifadəçi agenti kimi * çox istifadəçi bir istifadəçi agenti xəttini istifadə etmək daha yaxşı olsa da, istədiyiniz kimi xüsusi ola bilərsiniz. Robotların faylını oxuduğunu unutmayın. Belə ki, ilk xətləri bütün robotların hər şeyə qadağan edildiyini və daha sonra faylda bütün robotların hər şeyə icazə verildiyini söyləyirlərsə, robotlar hər şeydən istifadə edə biləcəklər.
Robots.txt dosyanızı düzgün yazdığınızdan əmin deyilsinizsə, robots.txt dosyanızı yoxlamaq və ya yenisini yazmaq üçün Google Webmaster Tools istifadə edə bilərsiniz.