فایل robots.txt چیست؟ توسط این فایل شما می‌توانید مشخص کنید که گوگل چه قسمت‌هایی از سایت شما را ایندکس کند و درواقع می‌توانید گوگل را کنترل کنید. 

توسط این فایل قسمت‌های محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس می‌شود.

درواقع توسط این قسمت مشخص می‌شود که گوگل به چه قسمت‌هایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود.

این فایل به‌صورت اتوماتیک بر عملکرد سایت شما تأثیر می‌گذارد.

و به‌وسیله آن می‌توان صفحاتی که محتوای آن‌ها از اهمیت چندانی برخوردار نیست ایندکس نشاند.

درواقع موتورهای جستجو توسط این ربات متوجه می‌شوند که به چه بخش‌هایی اجازه دسترسی دارند.

چرا فایل robots.txt برای سئو مهم است؟

به دلیل این‌که برای ربات‌های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این‌که اجازه می‌دهد موتورهای جستجو مانند:

گوگل و یاهو و یا بینگ محدرات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد.

بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت.

در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود

و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند.

شما توسط این فایل به‌عنوان یک وب‌مستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است!

پس ساخت آن را حتماً جدی بگیرید.

پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید.

شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید.

این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.

به طور کلی فایل robots.txt از دو دستور و قانون پیروی میکنه که عبارتند از:

• User-agent: این دستور نشان دهنده اینه که میتونید تعیین کنید چه نوع رباتی قادر به دسترسی به دایرکتوری‌های تعیین شده در هاست شما خواهد بود. منظور از نوع ربات اینه که ربات کدوم سایت و یا موتور جستجو میتونه تا از این دستورات پیروی کنه
• Disallow: این دستور هم نشون دهنده اینه که ربات اجازه ورود به چه مسیرهایی در هاست شما را نخواهد داشت.

تعیین سطح دسترسی به ربات خاص با فایل robots.txt وردپرس

همه ما ممکنه تا گاهی به این نیاز پیدا کنیم تا تصویری را در هاست خودمون آپلود کنیم و در اختیار دیگران قرار بدیم که نمیخوایم

این تصویر در دسترس عموم کاربران قرار بگیره و به عبارت دیگه دیگران وارد حریم خصوصی ما نشن،

بنابراین برای اینکه این تصویر توسط موتورهای جستجو ایندکس نشه باید از طریق فایل robots.txt اقدام کنیم.

گوگل هم بر همین اساس دارای ربات‌های گوناگونی هستش که هر کدوم از این ربات‌ها وظیفه بررسی و خزش محتوای خاصی از سایت‌ها را دارند.

به عنوان مثال معروف‌ترین ربات گوگل که با نام Googlebot شناخته شده

وظیفه بررسی و ایندکس صفحات را داره که بعد از ثبت سایت در گوگل کار خودش را برای سایت ما آغاز میکند.

یا ربات Googlebot-image وظیفه بررسی و ایندکس تصاویر را داره

که در این مثال ما باید از این ربات برای غیرفعال کردن دسترسی این بات به تصویر خودمون استفاده کنیم.

چند نکته درباره فایل robots.txt

1.  صفحاتی مثل صفحه ورود وردپرس و صفحه پیشخوان وردپرس که به ترتیب در آدرس‌های wp-login.php و wp-admin در دسترس هستند به صورت پیش‌فرض در حالت Noindex هستند، بنابراین نیازی نیست تا با استفاده از فایل robots.txt دسترسی به این دو صفحه را محدود کنید.
2.   نقشه سایت یا Sitemap خود را در این فایل مشابه نمونه زیر وارد کنید تا وقتی ربات‌های جستجوگر فایل robots.txt را بررسی می‌کنند نقشه سایت را مشاهده کرده و قبل از هر صفحه از سایت این صفحه را مورد بررسی قرار دهند تا سرعت ایندکس صفحات شما بیشتر شود.
3.  استفاده از این فایل اطلاعاتی مثل نسخه مورد استفاده از وردپرس و… را که معمولا توسط ربات این کارها انجام میگیره به دست آورده و با استفاده از آن شروع به کارهای مخرب روی سایت شما بکنند. هرچند که راه‌های بسیار زیادی برای دونستن نسخه مورد استفاده وجود داره اما اگر سایر راه‌ها را بسته باشید و تنها این راه بر سر راه فرد قرار گرفته باشه با این روش هم دیگه قادر نخواهد بود تا نسخه وردپرس مورد استفاده شما را بداند.
4.   دسترسی به دایرکتوری افزونه‌های وردپرس را محدود کنید. با استفاده از این کار دایرکتوری که افزونه‌های وردپرس در اون قرار دارند ایمن شده و مشابه همون فایل readme.html براش اتفاق افتاده و میشه امنیت سایت خودتون را افزایش بدین. برای این کار کافیه تا دستور زیر را به فایل robots.txt اضافه کنید تا دسترسی به پوشه افزونه های وردپرس از ربات‌ها مصون بماند.