Robot wyszukiwarki nazywany jest też botem. Jest to samodzielny program, który porusza się po Internecie i zbiera informacje dotyczące struktury i zawartości stron internetowych dla wyszukiwarki internetowej. Jego obecność na witrynach jest obowiązkowa, ponieważ bez niej strona nie pojawi się w indeksie wyszukiwarki.