html saytı üçün düzgün Robots txt faylı axtarış motoru botları üçün fəaliyyət maketləri yaradır və onlara nəyi yoxlaya biləcəklərini bildirir. Bu fayl tez-tez Robot İstisna Protokolu adlanır. Veb saytı taramadan əvvəl botların axtardığı ilk şey robots.txt-dir. O, Sayt Xəritəsinə müəyyən subdomenləri yoxlamamağı göstərə və ya deyə bilər. Axtarış motorlarının ən çox tapılanları axtarmasını istədiyiniz zaman robots.txt tələb olunmur. Bu prosesdə faylın düzgün formatlaşdırılması və istifadəçi səhifəsini istifadəçinin şəxsi məlumatları ilə indeksləşdirməməsi çox vacibdir.
Robot skanlama prinsipi
Axtarış mühərriki faylla qarşılaşdıqda və qadağan edilmiş URL-i gördükdə, onu skan etmir, lakin onu indeksləşdirə bilər. Bunun səbəbi, robotların məzmuna baxmasına icazə verilməsə belə, qadağan edilmiş URL-ə işarə edən geri bağlantıları xatırlaya bilər. Linkə giriş bloklandığına görə, URL axtarış motorlarında görünəcək, lakin fraqmentlərsiz. Əgər adaxil olan marketinq strategiyası üçün bitrix (Bitrix) üçün düzgün Robots txt tələb olunur, onlar skanerlər vasitəsilə istifadəçinin tələbi ilə saytın yoxlanılmasını təmin edir.
Digər tərəfdən, əgər fayl düzgün formatlaşdırılmayıbsa, bu, saytın axtarış nəticələrində görünməməsi və tapılmaması ilə nəticələnə bilər. Axtarış motorları bu faylı keçə bilməz. Proqramçı istənilən saytın robots.txt faylına onun domeninə keçərək onu robots.txt ilə izləyə bilər, məsələn, www.domain.com/robots.txt. İstənilən domeni daxil edə biləcəyiniz Unamo-nun SEO optimallaşdırma bölməsi kimi alətdən istifadə etməklə xidmət faylın mövcudluğu haqqında məlumat göstərəcək.
Skanlama üçün məhdudiyyətlər:
- İstifadəçi köhnə və ya həssas məzmuna malikdir.
- Saytdakı şəkillər şəkil axtarış nəticələrinə daxil edilməyəcək.
- Sayt robot tərəfindən indeksləşdiriləcək demo üçün hələ hazır deyil.
Unutmayın ki, istifadəçinin axtarış motorundan almaq istədiyi məlumat URL-i daxil edən hər kəs üçün əlçatandır. Həssas məlumatları gizlətmək üçün bu mətn faylından istifadə etməyin. Əgər domendə 404 (tapılmadı) və ya 410 (keçildi) xətası varsa, axtarış sistemi robots.txt faylının olmasına baxmayaraq saytı yoxlayır və bu halda faylın çatışmadığını hesab edir. 500 (Daxili Server Xətası), 403 (Qadağandır), vaxtı bitdi və ya "mövcud deyil" kimi digər xətalar robots.txt təlimatlarına uyğun gəlir, lakin fayl əlçatan olana qədər keçid gecikdirilə bilər.
Axtarış faylı yaradılır
ÇoxluWordPress kimi CMS proqramlarında artıq robots.txt faylı var. Robots txt WordPress-i düzgün konfiqurasiya etməzdən əvvəl istifadəçi ona necə daxil olacağını anlamaq üçün onun imkanları ilə tanış olmalıdır. Proqramçı faylı özü yaradırsa, o, aşağıdakı şərtlərə cavab verməlidir:
- Kiçik hərflə yazılmalıdır.
- UTF-8 kodlamasından istifadə edin.
- Mətn redaktorunda fayl (.txt) kimi yadda saxlayın.
İstifadəçi onu hara yerləşdirəcəyini bilmədiyi zaman domenin kökünə necə daxil olmağı öyrənmək və ya Google konsoluna daxil olub onu endirmək üçün veb server proqram təminatı satıcısı ilə əlaqə saxlayır. Bu funksiya ilə Google həmçinin botun düzgün işlədiyini və fayldan istifadə edərək bloklanmış saytların siyahısını yoxlaya bilər.
Bitrix (Bitrix) üçün düzgün Robots txt-nin əsas formatı:
- Legend robots.txt.
- , yalnız qeyd kimi istifadə edilən şərhləri əlavə edir.
- Bu şərhlər skanerlər tərəfindən istənilən istifadəçi yazı xətası ilə birlikdə nəzərə alınmayacaq.
- İstifadəçi-agent - fayl üçün təlimatların hansı axtarış sistemində qeyd olunduğunu göstərir.
- Ulduz işarəsi () əlavə etmək skanerlərə təlimatların hamı üçün olduğunu bildirir.
Xüsusi botu göstərmək, məsələn, Googlebot, Baiduspider, Applebot. Disallow veb saytın hansı hissələrinin taranmaması lazım olduğunu tarayıcılara bildirir. Bu belə görünür: İstifadəçi-agent:. Ulduz işarəsi "bütün botlar" deməkdir. Bununla belə, siz xüsusi səhifələr təyin edə bilərsinizbotlar. Bunun üçün tövsiyələrin təyin olunduğu botun adını bilməlisiniz.
Yandex üçün düzgün robot txt belə görünə bilər:
Əgər bot saytı taramamalıdırsa, siz onu qeyd edə bilərsiniz və istifadəçi agentlərinin adlarını tapmaq üçün useragentstring.com-un onlayn imkanları ilə tanış olmaq tövsiyə olunur.
Səhifənin optimallaşdırılması
Aşağıdakı iki sətir tam robots.txt faylı hesab olunur və tək robotlar faylı taramanı söndürən və ya aktivləşdirən çoxlu istifadəçi agentləri və direktivləri ehtiva edə bilər. Düzgün Robots txt-nin əsas formatı:
- İstifadəçi agenti: [agent istifadəçi adı].
- İcazə vermə: [Taranmayan URL sətri].
Faylda direktivlərin hər bir bloku sətirlə ayrılmış diskret kimi göstərilir. Agent istifadəçi kataloqunun yanındakı faylda hər bir qayda bölmə ilə ayrılmış sətirlərin xüsusi dəstinə tətbiq edilir. Faylın multi-agent qaydası varsa, robot yalnız ən xüsusi təlimatlar qrupunu nəzərdən keçirəcək.
Texniki sintaksis
Onu robots.txt fayllarının "dili" kimi düşünmək olar. Bu formatda mövcud ola bilən beş termin var, əsas olanlar bunlardır:
- İstifadəçi-agent - Tarama təlimatları olan veb brauzeri, adətən axtarış mühərriki.
- Disallow istifadəçi agentinə yan keçməsini bildirmək üçün istifadə edilən əmrdirxüsusi URL-in (buraxılış). Hər biri üçün yalnız bir qadağan olunmuş şərt var.
- İcazə verin. Giriş əldə edən Googlebot üçün hətta istifadəçi səhifəsi də rədd edilir.
- Tarama gecikməsi - taramadan əvvəl sürünənə neçə saniyə lazım olacağını müəyyənləşdirir. Bot bunu təsdiq etmədikdə, sürət Google konsolunda təyin edilir.
- Sitemap - URL ilə əlaqəli istənilən XML xəritələrini tapmaq üçün istifadə olunur.
Nümunə uyğunluğu
Əslində URL-lərin bloklanmasına və ya etibarlı Robots txt-ə icazə verilməsinə gəldikdə, əməliyyatlar olduqca çətin ola bilər, çünki onlar sizə bir sıra mümkün URL parametrlərini əhatə etmək üçün nümunə uyğunluğundan istifadə etməyə imkan verir. Google və Bing hər ikisi SEO-nun istisna etmək istədiyi səhifələri və ya alt qovluqları müəyyən edən iki simvoldan istifadə edir. İki simvol ulduz () və dollar işarəsidir ($), burada:hər hansı simvol ardıcıllığını təmsil edən joker işarədir. $ - URL-in sonuna uyğun gəlir.
Google istifadəçiyə Robots txt faylını necə düzgün qurmağı izah edən mümkün şablon sintaksislərinin böyük siyahısını təklif edir. Bəzi ümumi istifadə hallarına aşağıdakılar daxildir:
- Dublikat məzmunun axtarış nəticələrində görünməsinin qarşısını alın.
- Veb-saytın bütün bölmələrini gizli saxlayın.
- Açıq bəyanat əsasında axtarış nəticələrinin daxili səhifələrini yadda saxlayın.
- Məkanı göstərin.
- Axtarış motorlarının müəyyən indeksləşdirməsinin qarşısını alınfayllar.
- Birdən çox məzmun sahəsini eyni anda skan edərkən yenidən yükləməni dayandırmaq üçün tarama gecikməsi göstərilir.
Robot faylının olub-olmadığı yoxlanılır
Əgər saytda taranması lazım olan sahələr yoxdursa, robots.txt ümumiyyətlə lazım deyil. Əgər istifadəçi bu faylın mövcudluğuna əmin deyilsə, o, kök domenini daxil etməli və onu URL-in sonunda belə bir şey yazmalıdır: moz.com/robots.txt. Bir sıra axtarış botları bu fayllara məhəl qoymur. Lakin, bir qayda olaraq, bu tarayıcılar nüfuzlu axtarış sistemlərinə aid deyil. Bunlar spam göndərənlər, poçt aqreqatorları və digər növ avtomatlaşdırılmış botlardır ki, İnternetdə çoxlu sayda tapılır.
Robot istisna standartından istifadənin effektiv təhlükəsizlik tədbiri olmadığını xatırlamaq çox vacibdir. Əslində, bəzi botlar istifadəçinin onları skan rejiminə təyin etdiyi səhifələrlə başlaya bilər. Standart istisna faylına daxil olan bir neçə hissə var. Robotun hansı səhifələrdə işləməməsi lazım olduğunu söyləməzdən əvvəl hansı robotla danışacağınızı dəqiqləşdirməlisiniz. Əksər hallarda istifadəçi "bütün botlar" mənasını verən sadə bəyannamədən istifadə edəcək.
SEO optimallaşdırılması
Optimallaşdırmadan əvvəl istifadəçi saytın yan keçməsi lazım olan hər hansı məzmunu və ya bölmələrini bloklamadığından əmin olmalıdır. Düzgün Robots txt ilə bloklanmış səhifələrə keçidlərə hörmət edilməyəcək. Bu o deməkdir:
- Əgər onlar axtarış motorları üçün mövcud olan digər səhifələrlə əlaqələndirilməyibsə, yəni. səhifələr,robots.txt və ya meta robot tərəfindən bloklanmır və əlaqəli resurslar taranmayacaq və buna görə də indeksləşdirilə bilməz.
- Bloklanmış səhifədən keçid təyinat yerinə heç bir keçid ötürülə bilməz. Əgər belə bir səhifə varsa, robots.txt-dən fərqli bloklama mexanizmindən istifadə etmək daha yaxşıdır.
Digər səhifələr birbaşa şəxsi məlumatları olan səhifəyə keçid edə bildiyinə və siz bu səhifəni axtarış nəticələrindən bloklamaq istədiyinizə görə parol qorunması və ya noindex meta datası kimi fərqli üsuldan istifadə edin. Bəzi axtarış motorlarında birdən çox istifadəçi agenti var. Məsələn, Google orqanik axtarışlar üçün Googlebot və şəkil axtarışları üçün Googlebot-Image-dən istifadə edir.
Eyni axtarış sistemindən olan əksər istifadəçi agentləri eyni qaydalara əməl edir, ona görə də bir neçə taramaçının hər biri üçün direktivləri müəyyən etməyə ehtiyac yoxdur, lakin bunu etmək sayt məzmununun skan edilməsini dəqiq tənzimləyə bilər. Axtarış motoru faylın məzmununu keşləyir və adətən gündə ən azı bir dəfə keşlənmiş məzmunu yeniləyir. İstifadəçi faylı dəyişirsə və onu həmişəkindən daha tez yeniləmək istəsə, robots.txt URL-ni Google-a təqdim edə bilər.
Axtarış motorları
Robots txt-in necə düzgün işlədiyini başa düşmək üçün axtarış sistemlərinin imkanları haqqında bilməlisiniz. Bir sözlə, onların qabiliyyəti, proqramları olan "skanerlər" göndərmələrindədirməlumat üçün internetə baxır. Daha sonra bu məlumatın bir hissəsini istifadəçiyə ötürmək üçün saxlayırlar.
Bir çox insanlar üçün Google artıq İnternetdir. Əslində, onlar haqlıdırlar, çünki bu, bəlkə də onun ən mühüm ixtirasıdır. Axtarış motorları yarandığı gündən çox dəyişsə də, əsas prinsiplər hələ də eynidir. "botlar" və ya "hörümçəklər" kimi də tanınan taramaçılar milyardlarla vebsaytdan səhifələr tapırlar. Axtarış motorları onlara hara getmələri barədə istiqamətlər verir, eyni zamanda ayrı-ayrı saytlar da botlarla əlaqə saxlaya və onlara hansı xüsusi səhifələrə baxmalı olduqlarını deyə bilər.
Ümumiyyətlə, sayt sahibləri axtarış sistemlərində görünmək istəmirlər: admin səhifələri, backend portalları, kateqoriyalar və teqlər və digər məlumat səhifələri. robots.txt faylı axtarış motorlarının səhifələri yoxlamasının qarşısını almaq üçün də istifadə edilə bilər. Qısacası, robots.txt veb taramaçılara nə etməli olduqlarını bildirir.
Qadağa Səhifələri
Bu, robot istisna faylının əsas hissəsidir. Sadə bir bəyannamə ilə istifadəçi bota və ya bot qrupuna müəyyən səhifələri taramamağı əmr edir. Sintaksis sadədir, məsələn, saytın "admin" kataloqundakı hər şeyə girişi rədd etmək üçün yazın: Disallow: /admin. Bu sətir botların yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html və admin kataloqu altındakı hər şeyi taramasının qarşısını alacaq.
Bir səhifəyə icazə verməmək üçün onu sadəcə olaraq icazə verilmə sətirində qeyd edin: İcazə ver: /public/exception.html. İndi "istisna" səhifəsiköçməyəcək, lakin "ictimai" qovluqdakı hər şey olacaq.
Birdən çox səhifə daxil etmək üçün sadəcə onları sadalayın:
Simfoniya üçün düzgün Robots txt-nin bu dörd sətri https://www.symphonyspace.org/ üçünrobots.txt bölməsinin yuxarısında qeyd olunan istənilən istifadəçi agentinə tətbiq olunacaq.
Sayt xəritəsi:
Digər əmrlər:canlı - veb taramaçılara cpresources/ və ya provayderi/ indeksləşdirməyə icazə verməyin.
İstifadəçi agenti:İcazə vermə: /cpresources/.
Rədd et: / satıcı / İcazə ver: /.env.
Standartların təyin edilməsi
İstifadəçi əvvəlki iki elementi birləşdirərək müxtəlif botlar üçün xüsusi səhifələr təyin edə bilər, bu belə görünür. Bütün axtarış motorları üçün düzgün Robots txt nümunəsi aşağıda təqdim olunur.
"Admin" və "şəxsi" bölmələr Google və Bing üçün görünməyəcək, lakin Google hələ də "gizli" kataloqu görəcək, Bing isə görməyəcək. Siz ulduz istifadəçi agentindən istifadə edərək bütün botlar üçün ümumi qaydaları müəyyən edə və sonra aşağıdakı bölmələrdə botlara xüsusi göstərişlər verə bilərsiniz. Yuxarıdakı biliklərlə istifadəçi bütün axtarış sistemləri üçün düzgün Robots txt nümunəsini yaza bilər. Sadəcə sevimli mətn redaktorunuzu işə salın və botlara saytın müəyyən hissələrində xoş gəlmədiklərini bildirin.
Server performansını yaxşılaşdırmaq üçün məsləhətlər
SublimeTextçox yönlü mətn redaktoru və bir çox proqramçılar üçün qızıl standart. Onun proqramlaşdırma məsləhətləri üstəlik, effektiv kodlaşdırmaya əsaslanır. istifadəçilər proqramda qısa yolların mövcudluğunu yüksək qiymətləndirirlər. İstifadəçi robots.txt faylının nümunəsini görmək istəyirsə, istənilən sayta daxil olmalı və sonuna "/robots.txt" əlavə etməlidir. Bu, GiantBicycles robots.txt faylının bir hissəsidir.
Proqram istifadəçilərin axtarış sistemlərində göstərmək istəmədiyi səhifələrin yaradılmasını təmin edir. Həm də az adamın bildiyi bir neçə eksklüziv şey var. Məsələn, robots.txt faylı botlara hara getməmək lazım olduğunu bildirsə də, sayt xəritəsi faylı bunun əksini edir və onlara axtardıqlarını tapmağa kömək edir və axtarış motorları yəqin ki, sayt xəritəsinin harada yerləşdiyini artıq bilsələr də, o, alınmır. yolunda.
İki növ fayl var: HTML səhifəsi və ya XML faylı. HTML səhifəsi ziyarətçilərə veb-saytda mövcud olan bütün səhifələri göstərən səhifədir. Öz robots.txt-də o, belə görünür: Sitemap://www.makeuseof.com/sitemap_index.xml. Sayt axtarış motorları tərəfindən indeksləşdirilməyibsə, veb robotlar tərəfindən bir neçə dəfə taranmasına baxmayaraq, siz faylın mövcud olduğundan və onun icazələrinin düzgün ayarlandığından əmin olmalısınız.
Defolt olaraq, bu, bütün SeoToaster quraşdırmalarında baş verəcək, lakin zərurət yaranarsa, siz onu bu şəkildə sıfırlaya bilərsiniz: Fayl robots.txt - 644. PHP serverindən asılı olaraq, bu istifadəçi üçün işləmirsə, o, aşağıdakıları sınamaq tövsiyə olunur: Fayl robots.txt - 666.
Skan gecikməsinin qurulması
Yanlış gecikmə direktivi müəyyən məlumat veriraxtarış motorları saytdakı bir səhifəni nə qədər tez-tez indeksləyə bilərlər. O, saniyələrlə ölçülür, baxmayaraq ki, bəzi axtarış motorları bunu bir qədər fərqli şərh edir. Bəzi insanlar növbəti skan etməyə başlamaq üçün hər skandan sonra beş saniyə gözləməyi tələb etdikdə 5 tarama gecikməsini görür.
Başqaları bunu hər beş saniyədə yalnız bir səhifə skan etmək göstərişi kimi şərh edirlər. Robot server bant genişliyini qorumaq üçün daha sürətli skan edə bilməz. Serverin trafikə uyğun gəlməsi lazımdırsa, o, bypass gecikməsini təyin edə bilər. Ümumiyyətlə, əksər hallarda istifadəçilərin bu barədə narahat olmasına ehtiyac yoxdur. Səkkiz saniyəlik tarama gecikməsi belə təyin edilir - Tarama gecikməsi: 8.
Lakin heç də bütün axtarış motorları bu təlimata tabe olmayacaq, ona görə də səhifələrə icazə vermədikdə, müəyyən axtarış motorları üçün müxtəlif tarama gecikmələri təyin edə bilərsiniz. Fayldakı bütün təlimatlar qurulduqdan sonra onu sayta yükləyə bilərsiniz, ilk öncə onun sadə mətn faylı olduğuna və robots.txt adının olduğuna və yoursite.com/robots.txt ünvanında tapıla biləcəyinə əmin olun.
Ən yaxşı WordPress botu
WordPress saytında hər dəfə kilidlənməli olan bəzi fayl və qovluqlar var. İstifadəçilərin icazə verməməli olduğu qovluqlar cgi-bin kataloqu və standart WP kataloqlarıdır. Bəzi serverlər cgi-bin kataloquna daxil olmağa icazə vermir, lakin istifadəçilər Robots txt WordPress-i düzgün konfiqurasiya etməzdən əvvəl onu icazə vermə direktivinə daxil etməlidirlər
Standart WordPress qovluqları,bloklanmalı olanlar wp-admin, wp-content, wp-daxildir. Bu qovluqlarda ilkin olaraq axtarış motorları üçün faydalı olan məlumatlar yoxdur, lakin bir istisna var, yəni wp-content kataloqunda yükləmələr adlı alt kataloq var. Bu alt kataloqa robot.txt faylında icazə verilməlidir, çünki o, WP media yükləmə funksiyasından istifadə edərək yüklənən hər şeyi ehtiva edir. WordPress məzmunu strukturlaşdırmaq üçün teqlərdən və ya kateqoriyalardan istifadə edir.
Kateqoriyalar istifadə olunursa, proqram istehsalçısı tərəfindən müəyyən edildiyi kimi Wordpress üçün düzgün Robotlar txt faylını hazırlamaq üçün axtarışdan etiket arxivlərini bloklamaq lazımdır. Əvvəlcə "İdarəetmə" panelinə> "Parametrlər"> "Daimi keçid"ə keçərək verilənlər bazasını yoxlayırlar.
Defolt olaraq, sahə boşdursa, əsas teqdir: İcazə vermə: / tag /. Kateqoriyadan istifadə edilərsə, robot.txt faylında kateqoriyanı deaktiv etməlisiniz: Disallow: /category/. Varsayılan olaraq, sahə boşdursa, əsas teqdir: Disallow: / tag /. Kateqoriya istifadə olunursa, siz robot.txt faylında kateqoriyanı deaktiv etməlisiniz: İcazə ver: / kateqoriya /.
Əsasən məzmunu göstərmək üçün istifadə edilən fayllar Wordpress üçün düzgün Robots txt faylı tərəfindən bloklanacaq:
Joomla əsas quraşdırma
İstifadəçi Joomla-nı quraşdırdıqdan sonra idarəetmə panelində yerləşən qlobal konfiqurasiyada düzgün Joomla Robots txt parametrinə baxmaq lazımdır. Burada bəzi parametrlər SEO üçün çox vacibdir. Əvvəlcə saytın adını tapın və buna əmin olunsaytın qısa adından istifadə olunur. Sonra eyni ekranın sağında SEO parametrləri adlanan bir qrup parametr tapırlar. Mütləq dəyişdirilməli olan ikincidir: yenidən yazan URL istifadə edin.
Bu mürəkkəb səslənir, lakin o, əsasən Joomla-ya daha təmiz URL-lər yaratmağa kömək edir. URL-lərdən index.php sətrini silsəniz daha çox nəzərə çarpır. Daha sonra dəyişdirsəniz, URL-lər dəyişəcək və Google bunu bəyənməyəcək. Bununla belə, bu ayarı dəyişdirərkən, Joomla üçün düzgün robot txt faylını yaratmaq üçün eyni vaxtda bir neçə addım atılmalıdır:
- Joomla kök qovluğunda htaccess.txt faylını tapın.
- Onu.htaccess kimi qeyd edin (uzatma yoxdur).
- Səhifənin başlıqlarına sayt adını daxil edin.
- Qlobal konfiqurasiya ekranının aşağı hissəsində metadata parametrlərini tapın.
Buludda robot MODX
Əvvəllər MODX Cloud istifadəçilərə idarə panelindəki keçid əsasında robots.txt faylının xidmət göstərilməsinə icazə verən davranışa nəzarət etmək imkanı verirdi. Bu faydalı olsa da, İdarə panelindəki seçimi dəyişdirərək, səhnələşdirmə/inkişaf saytlarında indeksləşdirməyə təsadüfən icazə vermək mümkün oldu. Eynilə, istehsal saytında indeksləşdirməni deaktiv etmək asan idi.
Bu gün xidmət aşağıdakı istisna olmaqla fayl sistemində robots.txt fayllarının mövcudluğunu nəzərdə tutur: modxcloud.com ilə bitən istənilən domen Disallow funksiyasını yerinə yetirəcək: mövcudluğundan asılı olmayaraq bütün istifadəçi agentləri üçün /direktiv və ya faylın olmaması. Həqiqi ziyarətçi trafiki alan istehsal saytları, əgər istifadəçi öz saytını indeksləşdirmək istəyirsə, öz domenindən istifadə etməlidir.
Bəzi təşkilatlar Kontekstlərdən istifadə edərək bir quraşdırmadan çoxsaylı veb-saytları idarə etmək üçün modx üçün düzgün Robots txt-dən istifadə edir. Bunun tətbiq oluna biləcəyi hal açılış səhifəsi mikro saytları və ola bilsin ki, ictimai olmayan intranet ilə birləşdirilmiş ictimai marketinq saytı ola bilər.
Ənənəvi olaraq bunu çox istifadəçili quraşdırmalar üçün etmək çətin olub, çünki onlar eyni şəbəkə kökünü paylaşırlar. MODX Cloud ilə bu asandır. Sadəcə olaraq əlavə faylı robots-intranet.example.com.txt adlı vebsayta aşağıdakı məzmunla yükləyin və o, yaxşı işləyən robotlarla indeksləşdirməni bloklayacaq və digər xüsusi ad qovşaqları olmadığı halda bütün digər host adları standart fayllara qayıdır.
Robots.txt istifadəçiyə Google-da, əsas axtarış sistemlərində və digər veb-saytlarda sayta keçid etməyə kömək edən mühüm fayldır. Veb serverin kökündə yerləşən bu fayl veb robotlara saytı taramağı, Bot İstisna Protokolu adlanan təlimatlar toplusundan istifadə edərək hansı qovluqları indeksləşdirməli və ya indeksləməməyi tapşırır. Bütün axtarış motorları üçün düzgün Robotlar txt nümunəsi obots.txt SeoToaster ilə etmək xüsusilə asandır. Bunun üçün idarəetmə panelində xüsusi menyu yaradılıb, ona görə də bot giriş əldə etmək üçün heç vaxt çox işləməli olmayacaq.
