Wikipedia:Bak pasir

Perayap Web, kadang-kadang disebut laba-laba atau spiderbot dan sering disingkat menjadi perayap, adalah bot Internet yang secara sistematis menjelajahi World Wide Web dan biasanya dioperasikan oleh mesin pencari untuk tujuan pengindeksan Web (web spidering).[1]

Mesin pencari web dan beberapa situs web lain menggunakan perangkat lunak perayap atau spidering web untuk memperbarui konten web mereka atau mengindeks konten web situs lain. Perayap web menyalin halaman untuk diproses oleh mesin pencari, yang mengindeks halaman yang diunduh sehingga pengguna dapat mencari dengan lebih efisien.

Perayap menghabiskan sumber daya pada sistem yang dikunjungi dan sering kali mengunjungi situs tanpa diminta. Masalah jadwal, beban, dan "kesopanan" ikut berperan ketika koleksi halaman dalam jumlah besar diakses. Ada mekanisme untuk situs publik yang tidak ingin dirayapi untuk memberitahukan hal ini kepada agen perayap. Sebagai contoh, menyertakan file robots.txt dapat meminta bot untuk mengindeks hanya sebagian dari situs web, atau tidak sama sekali.

Jumlah halaman Internet sangat banyak; bahkan perayap terbesar pun tidak mampu membuat indeks yang lengkap. Karena alasan ini, mesin pencari kesulitan untuk memberikan hasil pencarian yang relevan pada tahun-tahun awal World Wide Web, sebelum tahun 2000. Saat ini, hasil yang relevan diberikan hampir secara instan.

Perayap dapat memvalidasi hyperlink dan kode HTML. Mereka juga dapat digunakan untuk scraping web dan pemrograman berbasis data.

Translated with DeepL.com (free version)