ربات هاي وب به برنامه هايي مي گويند که به صورت خودکار سراسر وب را مي گردند و جستجو مي کنند. موتورهاي جستجويي نظير گوگل از آنها براي محتواي درون وب استفاده مي کنند و اسپمرها براي به دست آوردن ايميل آدرس ها. آنها کارايي هاي بي شماري دارد.دارندگان سايت ها از robots.txt جهت معرفي ساختار سايتشان به ربات هاي سراسر وب استفاده مي کنند.