سایت ها و مقالات مخفی اینترنت را چگونه بیابیم؟!

این عنوان یکی از مقالاتی بود که چند روز گذشته در وب سایتHelpero ارسال شده بود. عنوان صفحه طوری بود که کاربر را کنجکاو کند تا به متن مقاله نگاهی بیاندازد. من نیز از روی همین کنجکاوی، مقاله نه چندان بلند آن را مطالعه کردم! نویسنده در 5 مرحله کاربر را راهنمایی می کند تا بتواند صفحاتی را که تحت وب به صورت مخفی در آمده اند را بیابد. در اینجا منظور از مخفی بودن، به صفحاتی اشاره می شود که به وسیله Robotstxt از دید موتورهای جستجو پنهان می شوند. متن زیر ترجمه (برداشت) آزادی است از این نوشته که برای این پست آن را در نظر گرفته ام.

در اینترنت صاحبان وب سایت های زیادی وجود دارند که بعضی از صفحات سایت خود را از دید موتور های جستجو پنهان می کنند. اما حالا به وسیلهRobotstxt شما توانایی این را دارید که اینگونه صفحه ها را به سادگی پیدا کنید.Robotstxt همانطور که از پسوند آن پیداست، فایلی است متنی که در ریشه اصلی سایت قرار می گیرد و به وسیله آن می توان فهرست شدن صفحات را توسط روبوت های جستجو کنترل کرد. اگر در این فایل از خاصیت disallow استفاده شود، صفحات مورد اشاره از دید موتور های جستجو مخفی می مانند. اطلاعات بیشتر در مورد نحوه استفاده از Robotstxt را می توانید در این پست مشاهده نمایید.
یک: وب سایت گوگل را باز کنید و این کلمه کلیدی را در آن جستجو نمایید: "robots.txt" "disallowfiletypetxt
دو: پس از آن شما نتایج فایل های Robots.txt که در آن ها از فرمان disallow استفاده شده را خواهید دید.
سه: به عنوان نمونه، نتیجه اول که سایت کاخ سفید است را باز می کنیم. طبق آن چیزی که مشاهده می شود، می توان دید که صفحات زیادی به حالت پنهان در آمده اند.
چهار: برای باز کردن یکی از آن صفحات ممنوعه کافی است که فرمان مقابل عبارات disallow را بدون کلمه Text انتهایی کپی کنید.
پنج: حالا متن کپی شده را در انتهای آدرس اصلی وب سایت قرار بدهید و وارد آن صفحه شوید.
این یکی از صفحات پنهان شده کاخ سفید است! حالا چه احساسی می توانید داشته باشید، یک شرلوک هولمز مدرن اینترنتی...؟!