robots.txt — saytın kök qovluğunda yerləşən və axtarış motorlarının botlarına (Googlebot, Bingbot, YandexBot və s.) saytın hansı hissələrinə daxil ola biləcəklərini, hansına isə daxil olmamalı olduqlarını bildirən kiçik bir tekst faylıdır.
Bu fayl istifadəçilər üçün nəzərdə tutulmayıb, yalnız “crawl bot” adlanan avtomatik proqramlar üçündür. Botlar saytı skan etməyə başlamazdan əvvəl ilk olaraq https://domen.com/robots.txt ünvanına baxır və oradakı təlimatlara uyğun hərəkət edir.
robots.txt sadə görünsə də, səhv istifadə olunanda SEO üçün çox ciddi nəticələrə səbəb ola bilən fayldır. Yəni bir xətt səhv olsa bütün sayt indeksdən çıxarıla bilər.
Qısa desək:
robots.txt saytın botlara verdiyi rəsmi təlimat kitabçasıdır.
robots-txt niyə önəmlidir?
1. Crawl büdcəsinin idarə olunması
Axtarış botlarının hər sayta ayırdığı skanetmə vaxtı məhduddur. robots.txt lazımsız səhifələrin skan edilməsinin qarşısını alır və bot resurslarını əsas səhifələrə yönəldir.
Xüsusilə, böyük e-commerce saytlarında bu kritik əhəmiyyət daşıyır.
2. Gizli və ya heç bir SEO dəyəri olmayan səhifələrin bloklanması
Bura daxildir:
- admin paneli
- login səhifələri
- sınaq (test) səhifələri
- alış-veriş səbəti, checkout
- filter nəticələri və parametrli URL-lər
- daxili texniki qovluqlar
Bu səhifələrin indeksdə olması həm resurs israfıdır, həm də istifadəçi təcrübəsini korlayır.
3. Duplikat kontentin qarşısını almaq
Ən çox edilən səhvlərdən biri də, parametrli URL-lər (?sort=, ?page=, ?utm= və s.) yanlış indekslənərsə SERP-də xaos yaranır.
4. Sitemap ünvanını botlara göstərmək
robots.txt içində sitemap-in ünvanının yazılması Google-un saytı daha sürətli və düzgün indeksləməsinə kömək edir. Yəni robots.txt həm təhlükəsizlik, həm də indeksləmə optimizasiyası deməkdir.
robots-txt necə yaratmaq olar?
Robots.txt yaratmaq üçün heç bir xüsusi proqram lazım deyil. Addımlar çox sadədir:
- Kompüterdə adi bir text faylı açırsınız (Notepad, TextEdit və s.).
- Faylın adını robots.txt qoyursunuz.
- İçinə botlara verəcəyiniz qaydaları yazırsınız.
Məsələn:
User-agent: *
Allow: /
Buradakı terminlər:
- User-agent — qaydaların hansı bota aid olduğunu bildirir. “*” bütün botlar deməkdir.
- Allow — göstərilən qovluq və ya səhifəyə girişə icazə verir.
- Disallow — həmin ünvanın botlara qapalı olduğunu bildirir.
Qeyd:
Disallow edilmiş səhifəyə “noindex” qoymaq mənasızdır.Bot həmin səhifəni görə bilmədiyi üçün noindex-i də oxuya bilmir.
Yaradılmış robots-txt faylını hara yerləşdirmək lazımdır?
robots-txt mütləq domenin kök qovluğunda olmalıdır.
Doğru ünvan:
https://domen.com/robots.txt
Əgər başqa yerdə olarsa:
- /folder/robots.txt
- /az/robots.txt
- /wp-content/robots.txt
Botlar onu görməyəcək, fayl ümumiyyətlə işə yaramayacaq.
Hər subdomain üçün ayrıca robots.txt lazımdır:
- blog.site.com/robots.txt
- shop.site.com/robots.txt
Subdomenlər ayrı sayt kimi qiymətləndirilir.
Ən önəmli robots-txt kodlar — düzgün formalar və funksiyaları
robots.txt direktivləri botlara “icazə ver”, “girmə” və ya “bu faylı tap” kimi təlimatlar verir. Aşağıda ən çox istifadə olunan kodlar var.
1. Bütün saytın indekslənməsinə icazə vermək (standart)
User-agent: *
Allow: /
Sitemap: https://domen.com/sitemap.xml
Bu, yeni saytların çoxu üçün ən düzgün başlanğıc variantıdır.
2. Admin və texniki səhifələri bloklamaq
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://domen.com/sitemap.xml
3. Bütün botların bütün sayt girişi qadağası
User-agent: *
Disallow: /
4. Müəyyən botları bloklamaq (AhrefsBot, SemrushBot və s.)
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
Analiz botlarının girişini məhdudlaşdırmaq istəyəndə istifadə olunur.
5. Parametrli URL-ləri bloklamaq (duplikatın qarşısı)
User-agent: *
Disallow: /*?*
Bu, URL parametrləri ilə yaradılan duplikat səhifələrin indekslənməsinin qarşısını alır.Bunu Ahrefs e-commerce-lər üçün güclü bir tövsiyə kimi verir.
Nəticə
robots-txt çox sadə görünən, amma saytınızın indekslənməsinə birbaşa təsir edən texniki SEO elementidir.
Doğru istifadə:
- Botların sayt daxilində düzgün hərəkət etməsini,
- Dəyərsiz səhifələrin indeksdən kənarda qalmasını,
- Crawl büdcəsinin israf edilməməsini,
- Sitemap-in doğru tanınmasını və indeksin sürətlənməsini təmin edir.
Robots txt-də olan yanlış konfiqurasiya bütün saytın görünməz olmasına səbəb ola bilər.
Rəqəmsal dünyada doğru strategiya uğurun açarıdır. OnDigital agentliyi olaraq biz, bizneslərin inkişafını təmin edən peşəkar marketinq xidmətləri təqdim edirik.