Robot de căutare

Un mesaj despre crawler-ul care nu își poate face treaba din cauza fișierului robots.txt. Captura de ecran este de la Wayback Machine care încearcă să acceseze Facebook.com.

Un robot de căutare este un software, care în mod automat și sistematic cercetează Internetul (în special rețeaua World Wide Web) și stochează conținutul (parțial sau integral) acestuia. Motoarele de căutare și alte aplicații web folosesc roboți de căutare pentru actualizarea conținutului site-urilor.

Vezi și

• Internet
• Motor de căutare