robots.txt nədir?

robots.txt — saytın kök qovluğunda yerləşən və axtarış motorlarının botlarına (Googlebot, Bingbot, YandexBot və s.) saytın hansı hissələrinə daxil ola biləcəklərini, hansına isə daxil olmamalı olduqlarını bildirən kiçik bir tekst faylıdır. Bu fayl istifadəçilər üçün…