فایل Robots.txt چیست و چه کاربردی دارد؟

فایل Robots.txt چیست و چه کاربردی دارد؟

فایل robots.txt یک فایل متنی ساده است که در ریشه (root) اکثر وب‌سایت‌ها قرار دارد. این فایل به موتورهای جستجو مانند گوگل، بینگ و یاندکس دستور می‌دهد که کدام قسمت‌های وب‌سایت شما قابل ایندکس شدن و کدام قسمت‌ها باید از ایندکس شدن جلوگیری کنند. در واقع، این فایل یک توافق‌نامه بین وب‌سایت و موتورهای جستجو […]