بستن
فایل robots.txt را برای کنترل دسترسی موتورهای جستجو به بخشهای مختلف سایت ایجاد کنید. قوانین موردنظر خود را وارد کرده و کد آماده دریافت کنید.
robots.txt فقط یک دستورالعمل پیشنهادی است و خزندههای مخرب ممکن است آن را نادیده بگیرند. برای محتوای حساس، باید از کنترل دسترسی در سمت سرور استفاده شود.