درباره فایل robots.txt و نقش آن در دسترسی بات موتورهای جستجو به مطالب سایت

درباره فایل robots.txt و نقش آن در دسترسی بات موتورهای جستجو به مطالب سایت

بات های جستجوگر وب مثل بات گوگل، محتوای سایت ها را بررسی می کنند و سایت را بر اساس محتوا و کلمات کلیدی استفاده شده در آن طبقه بندی می کنند. فایل robots.txt برای مشخص کردن میزان دسترسی بات ها به مطالب سایت در طراحی سایت مورد استفاده قرار می گیرد. robots.txt در بحث بهینه سازی سئو اهیت خود را نشان می دهد.

مقدمه:

برای آشنایی با فایل robots.txt در ابتدا توضیح مختصری درباره بات های اینترنتی یا همان ربات های وب ارائه می شود:

بات اینترنتی ( وب ربات ) یا به عبارت ساده تر بات، نرم افزاری کاربردی است که به منظور انجام کارهای خودکار در اینترنت طراحی شده است. ربات های اینترنتی بیشتر جهت انجام کارهای ساده، تکراری و با حجم زیاد، برنامه نویسی می شوند. منظور از حجم زیاد کارها، کارهایی هستند که میزان آنها به قدری زیادی است که انجام دادن آنها از عهده انسان خارج است. بیشترین استفاده از ربات های اینترنتی در موتورهای جستجوگر اینترنت است. بات های موتورهای جستجوگر در صفحات مختلف وبسایت ها می چرخند و مطالب آنها را برای فهرست بندی در منابع موتورهای جستجو لیست می کنند.

بات ها به طور کلی 60 درصد ترافیک اینترنت را در اختیار دارند، به این معنی که بیشتر مشاهدات وبسایت ها به جای انسان ها توسط آن ها صورت می گیرد . بات های خزنده یا همان بات های موتورهای جستجوگر، جز بات های مفید حساب می شوند. درصد بالایی از ترافیک اینترنت هم در اختیار بات های مخرب است. این گونه از ربات معمولا توسط هکرها و جهت سودجویی یا سرقت اطلاعات شخصی کاربران اینترنت طراحی می شوند.

فایل robots.txt چیست؟

وب مسترها با تنظیم کردن فایلی به اسم robots.txt می توانند دسترسی بات ها ( به خصوص بات های موتورهای جستجوگر ) را به محتوای وبسایت ها کنترل کنند. برای درک راحت تر عملکرد فایل robots.txt، این مثال آورده شده است:

اگر نشانی وبسایت ( URL ) به صورت www.example.com/welcome.html باشد، رباتی که سایت را مشاهده می کند، در ابتدا به دنبال این آدرس می گردد: www.example.com/robots.txt

آدرس دوم نشان دهنده موجود بودن فایل متنی robots می باشد. وب مستر ها با استفاده از چند دستور ساده می توانند انواع بات هایی که مجوز ورود به وبسایت را دارند، مشخص کنند. همچنین تعداد صفحات یک وبسایت که بات ها مجاز به مرور آن ها هستند در همین فایل تعریف می شود.

ویژگی های فایل :robots.txt

هنگامی که قصد دارید در طراحی سایت خود از robots.txt استفاده نمایید، به این دو نکته توجه داشته باشید:

1- بدافزارها که قصد آسیب رساندن به وبسایت ها را دارند، می توانند فایل robots.txt و محتویات آن را نادیده بگیرند.

2- فایل robots.txt برای عموم کاربران نمایش داده می شود. هر کاربری می تواند متوجه شود که کدام صفحات سایت، نباید توسط ربات خوانده شوند.

موجود بودن فایل robots.txt در طراحی سایت در مبحث بهینه سازی سئو تاثیر مثبتی دارد، اما با توجه به دو مورد بالا بهتر است که از این فایل برای مخفی کردن صفحات استفاده نشود. در حقیقت فایل بالا برلی محدود کردن دسترسی به وبسایت نیست ( اگر به این منظور مورد استفاده واقع شود، اشتباه است. ) در صورتی که در طراحی فایل robots.txt، صفحاتی از وبسایت برای ورود بات ها محدود شوند، می توان به این محدودیت به شکل یک علامت " ورود ممنوع! " که روی یک درب نصب شده نگاه کرد. وجود این علامت روی درب به معنای قفل بودن درب نیست. یک نکته مهم در مورد این فایل این است که در زمان ذخیره کردن فایل، تمامی حروف آن باید با حرف های کوچک نوشته شود.

بلاک کردن بد افزارها با فایل robots.txt به صورت تئوری امکان پذیر است اما در عمل خیر. برای بلاک کردن بدافزارها ( Malwares ) یا همان بات های مخرب، بهترین روش استفاده از گزینه های پیشرفته فایروال شبکه ( Network Firewall ) است. این گزینه ها امکان بلاک کردن خودکار نشانی های پروتکل اینترنت (Internet Protocol Address ) را فراهم می کنند. با تنظیمات صحیح فایروال شبکه می توان نشانی های اینترنتی مختلف ( IP ) با تعداد زیاد را، که قصد دسترسی به منابع یک وبسایت را دارند متوقف کرد. امروزه سیستم های مدیریت محتوا ( CMS ) قابلیت تنظیم و کنترل دسترسی به تک تک صفحات وبسایت را فراهم نموده اند.

جمع بندی:

بات های جستجوگر وب مثل بات گوگل، محتوای سایت ها را بررسی می کنند و سایت را بر اساس محتوا و کلمات کلیدی استفاده شده در آن طبقه بندی می کنند. فایل robots.txt برای مشخص کردن میزان دسترسی بات ها به محتوا در طراحی سایت مورد استفاده قرار می گیرد. robots.txt در بحث بهینه سازی سئو اهیت خود را نشان می دهد. همان طور که گفته شد، اصولا استفاده از این فایل برای مسدود کردن بررسی صفحات وبسایت، بی مورد است. تولید محتوای مناسب جز یکی از مهم ترین بخش های فرایند بهینه سازی سئو در جهت افزایش رنک می باشد. باید دقت داشت که در طراحی فایل robots.txt صفحات مطلوب را که لازم است توسط بات موتورهای جستجو خوانده شوند، به اشتباه مسدود نکرد.

---