Saat ini, keberadaan mesin pencari (search engine) di internet seperti halnya Yahoo! atau Google sudah tidak dapat lagi dipisahkan dari kehidupan kita.

Pengguna internet menggunakan mesin pencari untuk mendapatkan berbagai macam informasi, mulai dari mencari lowongan, mencari klien, mencari data, menemukan teman, hingga mencari cara membuat atau melakukan sesuatu.

Bagaimana cara mesin pencari tersebut menemukan halaman web yang kita cari?

Menurut pengelola Google, cara kerja mesin pencari sama seperti mencari kata yang tepat di dalam indeks sebuah buku yang tebal. Saat kita mencari di Google, program mereka akan memeriksa indeks guna menentukan hasil yang paling relevan untuk disampaikan kepada Anda.

Proses pencarian ini memiliki tiga komponen penting, yakni crawling atau menjelajahi, menyusun index, dan menyajikan hasilnya.

Crawling adalah sebuah proses dimana Googlebot menemukan halaman baru atau yang telah diperbaharui untuk ditambahkan pada indeks ... Read more »