از ورود خزنده های موتورهای جستجو جلوگیری کند مسیر ساخت فایل روبوتس تکس به صورت زیر است
http://www.example.com/robots.txt آموزش ساخت فایل به این صورت است که بعد از تنظیم پیش فرض ها فایل ها و آدرسهایی از سایت را که نمی خواهیم موتور جستجو وارد آن شوند را مشخص می کنیم و در فایل قرار می دهیم
User-agent: * Disallow: /image/ Disallow: /image/picture.png/ Disallow: /simple.html/ Disallow: /simple.zip/
برای جلوگیری از ورود موتور جستجو روش دیگری هم می توان استفاده کرد که به صورت روبرو است
<meta name="robots" content="noindex" />
و در قسمت هدر قرار می دهیم تا صفحه مورد نظر ما در موتور جستجو ایندکس نشود
اضافه کردن نقشه سایت به انتهای فایل
فایل روبوتس علاوه بر جلوگیری از ورود موتورهای جستجو میتواند نقشه سایت شما را نیز به ربات ها معرفی کند برای این کار باید آدرس فایل نقشه سایت را به انتهای فایل اضافه کنید robots.txt
User-agent: * Disallow: /image/ Disallow: /simple.html/ Disallow: /simple.zip/ Sitemap: http://www.nicom.ir/sitemap.xml
برچسب هاrobots.txt آموزش ساخت
ممنون بابت آموزشتون
پس جایی که نقشه سایت قرار میگیره یک فایل XML هم به عنوان Robots.txt قرار میگیره دیگه درسته؟
درسته
کنار آن باید حتما sitemap وجود داشته باشد
موفق باشید
http://www.KSPgroup.ir
سلام ممنونم از سایت خوبی که دارید
سلام و تشکر فراوان از سایت عالیتون. موفق باشید.
سلام ممنونم از سایت خوبی که دارید