استفاده تاثیر گذار از robots.txt

در این مقاله نحوه بکارگیری ابزار Robots.txt را مورد مطالعه قرار داده ایم.

استفاده تاثیر گذار از Robots.txt

محدود کردن مکان های که نباید جستجو شود به کمک Robots.txt

Robots.txtبه موتور های اعلام میکنند که وارد کدام قسمت های سایت نشوند و به کجا ها دسترسی داشته باشند. این سایت باید به نامRobots.txtو در شاخه اصلی سایت ذخیره شود.

مثال:

User-agent: *

Disallow: /images/

Disallow: /search

فایل های Robots را چگونه استفاده کنیم

برخی از صفحات ممکن است برای کابران مفید نباشد بنابراین نیازی نیست که این صفحات در نتیجه جستجو نمایش داده شوند. اگر میخواهید که از جستجوی صفحه ای از سایت توسط موتور های جستجو جلوگیری کنید . در ابزار های google webmasterابزاری برای ایجاد یک فایل Robots.txtوجود دارد .اگر شما زیر دامنه ای دارید که نمی خواهید صفحاتی در آن جستجو شوند شما نیاز به یک فایل Robots.txtمجزا برای این زیر دامنه دارید.

بهترین روش های ایجاد یک فایل Robots.txt

از روش های امنتر برای مطالب حساس استفاده کنید

شما باید بدانید که فایل Robots.txtبرای محافظت از مطالب حساس و فایل های محرمانه ایجاد نشده است. مثلا با اینکه موتور های جستجو قادر به دیدن عنوان صفحه نیستند ولی همچنان از طریق آدرس صفحه به آن درسترسی دارند. کافیست که به یکی از این آدرس ها در جایی از اینترنت لینکی وجود داشته باشد. و برخی از موتور های جستجو از قواعدی که در فایل خود درج کرده اید تبعیت نمی کنند این اتفاق بیشتر در مواقعی که شما از استاندارد های نوشتن فایل Robots.txtتبعیت نمی کنید رخ می دهد. کاربران کنجکاو با بررسی شاخه های که فایل Robots.txtمحدودیتی را در درون صفحات آن ایجاد کرده بررسی می کنند و صفحه مخفی شده را پیدا می کنند . سعی کنید برای حفاظت از فایل های خود از فایل .htaccess. و قرار دادن رمز عبور برای دیدن صفحه استفاده کنید.

بپرهیزید:
1- از اینکه کاربران را با یک عنوان جستجو به صفحات نا مرتبط هدایت کنید بپرهیزید.
کاربران از این که بصفحه ای غیر مرتبط هدایت شوند خوششان نخواهد آمد.
2- برای جستجو شدن آدرس های خود ،این آدرس ها را به عنوان proxy servicesمعرفی ننمائید