SEO optimallaşdırıcının işi çox geniş miqyaslıdır. Başlayanlara heç bir addımı qaçırmamaq üçün optimallaşdırma alqoritmini yazmaq tövsiyə olunur. Əks təqdirdə, tanıtım çətin ki, uğurlu adlandırılacaq, çünki sayt daim uğursuzluqlar və uzun müddət düzəldilməli olan xətalarla qarşılaşacaq.
Optimallaşdırma addımlarından biri robots.txt faylı ilə işləməkdir. Hər bir resursda bu sənəd olmalıdır, çünki onsuz optimallaşdırmanın öhdəsindən gəlmək daha çətin olacaq. O, anlamalı olduğunuz bir çox funksiyaları yerinə yetirir.
Robot Köməkçisi
Robots.txt faylı sistemin standart Notepad-də baxıla bilən düz mətn sənədidir. Onu yaradan zaman kodlaşdırmanı UTF-8 olaraq təyin etməlisiniz ki, düzgün oxuna bilsin. Fayl http, https və FTP protokolları ilə işləyir.
Bu sənəd robotların axtarışı üçün köməkçidir. Bilmədiyiniz halda, hər bir sistem sorğular üçün müvafiq saytları qaytarmaq üçün Ümumdünya Şəbəkəsini sürətlə sürünən "hörümçəklərdən" istifadə edir.istifadəçilər. Bu robotların resurs məlumatlarına girişi olmalıdır, robots.txt bunun üçün işləyir.
Hörümçəklərin yolunu tapması üçün siz robots.txt sənədini kök kataloqa göndərməlisiniz. Saytda bu faylın olub olmadığını yoxlamaq üçün brauzerin ünvan çubuğuna “https://site.com.ua/robots.txt” daxil edin. "site.com.ua" əvəzinə sizə lazım olan resursu daxil etməlisiniz.
Sənəd funksiyaları
Robots.txt faylı taramaçılara bir neçə növ məlumat təqdim edir. O, qismən giriş verə bilər ki, "hörümçək" resursun xüsusi elementlərini skan etsin. Tam giriş bütün mövcud səhifələri yoxlamağa imkan verir. Tam qadağa robotların hətta yoxlamağa başlamasının qarşısını alır və onlar saytı tərk edirlər.
Resursa baş çəkdikdən sonra "hörümçəklər" sorğuya müvafiq cavab alırlar. Onların bir neçəsi ola bilər, hamısı robots.txt-dəki məlumatlardan asılıdır. Məsələn, skan uğurlu olarsa, robot 2xx kodunu alacaq.
Ola bilsin ki, sayt bir səhifədən digərinə yönləndirilib. Bu zaman robot 3xx kodunu alır. Bu kod bir neçə dəfə baş verərsə, hörümçək başqa bir cavab alana qədər onu izləyəcək. Baxmayaraq ki, bir qayda olaraq, o, yalnız 5 cəhddən istifadə edir. Əks halda, məşhur 404 xətası görünür.
Cavab 4xx olarsa, robota saytın bütün məzmununu taramasına icazə verilir. Lakin 5xx kodu vəziyyətində yoxlama tamamilə dayandırıla bilər, çünki bu, tez-tez müvəqqəti server xətalarını göstərir.
Nə üçünrobots.txt lazımdır?
Təxmin etdiyiniz kimi, bu fayl saytın kökü üçün robotların bələdçisidir. İndi o, uyğun olmayan məzmuna girişi qismən məhdudlaşdırmaq üçün istifadə olunur:
- istifadəçilərin şəxsi məlumatları olan səhifələr;
- güzgü saytları;
- axtarış nəticələri;
- data təqdimetmə formaları və s.
Sayt kökündə robots.txt faylı yoxdursa, robot tamamilə bütün məzmunu tarayacaq. Müvafiq olaraq, axtarış nəticələrində arzuolunmaz məlumatlar görünə bilər ki, bu da həm sizin, həm də saytın əziyyət çəkəcəyini bildirir. Əgər robots.txt sənədində xüsusi təlimatlar varsa, o zaman "hörümçək" onları izləyəcək və resurs sahibinin istədiyi məlumatı verəcək.
Faylla işləyir
Saytın indeksləşdirilməsini bloklamaq üçün robots.txt-dən istifadə etmək üçün bu faylı necə yaratacağınızı başa düşməlisiniz. Bunu etmək üçün təlimatlara əməl edin:
- Notepad və ya Notepad++ proqramında sənəd yaradın.
- ".txt" fayl uzantısını təyin edin.
- Tələb olunan məlumatları və əmrləri daxil edin.
- Sənədi yadda saxlayın və saytın kökünə yükləyin.
Gördüyünüz kimi, mərhələlərdən birində robotlar üçün əmrlər təyin etmək lazımdır. Onlar iki növdür: icazə vermək (İcazə vermək) və qadağan etmək (İcazə vermək). Həmçinin, bəzi optimallaşdırıcılar tarama sürətini, hostu və resursun səhifə xəritəsinə keçidi təyin edə bilər.
Robots.txt ilə işə başlamaq və saytın indeksləşdirilməsini tamamilə bloklamaq üçün istifadə olunan simvolları da başa düşməlisiniz. Məsələn, bir sənəddəbütün saytın seçildiyini göstərən "/" istifadə edin. Əgər "" istifadə olunursa, simvolların ardıcıllığı tələb olunur. Bu yolla, skan edilə bilən və ya edilməyən xüsusi qovluğu müəyyən etmək mümkün olacaq.
Botların xüsusiyyəti
Axtarış motorları üçün "Hörümçəklər" fərqlidir, ona görə də əgər siz eyni anda bir neçə axtarış motoru üçün işləyirsinizsə, o zaman bu anı nəzərə almalı olacaqsınız. Onların adları fərqlidir, yəni konkret robotla əlaqə saxlamaq istəyirsinizsə, onun adını qeyd etməli olacaqsınız: “İstifadəçi agenti: Yandex” (dırnaq işarələri olmadan).
Bütün axtarış sistemləri üçün direktivlər təyin etmək istəyirsinizsə, o zaman əmrdən istifadə etməlisiniz: "User Agent: " (dırnaq işarələri olmadan). Saytın robots.txt vasitəsilə indeksləşdirilməsini düzgün şəkildə bloklamaq üçün siz məşhur axtarış sistemlərinin xüsusiyyətlərini bilməlisiniz.
Fakt budur ki, ən populyar axtarış sistemləri Yandex və Google-da bir neçə bot var. Onların hər birinin öz vəzifələri var. Məsələn, Yandex Bot və Googlebot saytı taranan əsas “hörümçəklər”dir. Bütün botları bilməklə resursunuzun indeksləşdirilməsini dəqiq tənzimləmək daha asan olacaq.
Nümunələr
Beləliklə, robots.txt köməyi ilə siz sadə əmrlərlə saytı indeksləşdirmədən bağlaya bilərsiniz, əsas odur ki, konkret olaraq nəyə ehtiyacınız olduğunu başa düşəsiniz. Məsələn, Googlebot-un resursunuza yaxınlaşmamasını istəyirsinizsə, ona müvafiq əmri verməlisiniz. O, belə görünəcək: "İstifadəçi-agent: Googlebot Disallow: /" (dırnaq işarələri olmadan).
İndi biz bu əmrdə nə olduğunu və onun necə işlədiyini başa düşməliyik. Beləliklə, "İstifadəçi-agent"botlardan birinə birbaşa zəngdən istifadə etmək üçün istifadə olunur. Sonra, hansı birinə, bizim vəziyyətimizdə Google olduğunu göstəririk. "Disallow" əmri yeni sətirdən başlamalı və robotun sayta daxil olmasını qadağan etməlidir. Bu halda kəsik işarəsi əmrin icrası üçün resursun bütün səhifələrinin seçildiyini bildirir.
Robots.txt-də siz sadə əmrlə bütün axtarış sistemləri üçün indeksləşdirməni söndürə bilərsiniz: "İstifadəçi-agent:İcazə ver: /" (dırnaq işarələri olmadan). Bu vəziyyətdə ulduz simvolu bütün axtarış robotlarını bildirir. Tipik olaraq, belə bir əmr saytın indeksləşdirilməsini dayandırmaq və onun üzərində əsas işə başlamaq üçün lazımdır, əks halda bu optimallaşdırmaya təsir göstərə bilər.
Resurs böyükdürsə və çoxlu səhifələrdən ibarətdirsə, o, çox vaxt ya açıqlanması arzuolunmaz, ya da təşviqata mənfi təsir göstərə bilən mülkiyyət məlumatlarını ehtiva edir. Bu halda, siz robots.txt-də indeksləşdirmədən səhifəni necə bağlamaq lazım olduğunu başa düşməlisiniz.
Siz qovluğu və ya faylı gizlədə bilərsiniz. Birinci halda, müəyyən bir bot və ya hər kəslə əlaqə saxlayaraq yenidən başlamalısınız, buna görə də "İstifadəçi-agent" əmrindən istifadə edirik və aşağıda müəyyən bir qovluq üçün "İcazə vermə" əmrini təyin edirik. Bu belə görünəcək: "İcazə vermə: / qovluq /" (dırnaq işarələri olmadan). Beləliklə, bütün qovluğu gizlədə bilərsiniz. Əgər orada göstərmək istədiyiniz bəzi vacib fayl varsa, o zaman aşağıdakı əmri yazmalısınız: “İcazə verin: /qovluq/file.php” (dırnaq işarələri olmadan).
Faylı yoxlayın
Əgər saytı bağlamaq üçün robots.txt istifadə edirsinizsəSiz indeksləşdirməyə müvəffəq oldunuz, lakin bütün direktivlərinizin düzgün işlədiyini bilmirsiniz, işin düzgünlüyünü yoxlaya bilərsiniz.
İlk olaraq sənədin yerləşdirilməsini yenidən yoxlamaq lazımdır. Unutmayın ki, o, yalnız kök qovluğunda olmalıdır. Kök qovluğundadırsa, o zaman işləməyəcək. Sonra brauzeri açın və ora bu ünvanı daxil edin: “https://siteniz. com/robots.txt (dırnaq işarələri olmadan). Veb brauzerinizdə xəta alsanız, o zaman fayl olması lazım olan yerdə deyil.
Direktivləri, demək olar ki, bütün veb ustalarının istifadə etdiyi xüsusi alətlərdə yoxlamaq olar. Söhbət Google və Yandex məhsullarından gedir. Məsələn, Google Axtarış Konsolunda "Tarama" nı açmalı və sonra "Robots.txt Fayl Təftiş Aləti"ni işə salmalı olduğunuz alətlər paneli var. Sənəddən bütün məlumatları pəncərəyə köçürməli və skan etməyə başlamalısınız. Eyni yoxlama Yandex. Webmaster-də edilə bilər.
