Apa yang dilakukan mesin telusur?
Mesin telusur adalah versi digital dari pustakawan. Keduanya menggunakan indeks yang komprehensif untuk membantu menemukan informasi yang tepat untuk kueri. Memahami dasar-dasar penelusuran akan membantu Anda membuat konten yang dapat ditemukan oleh pengguna.
Cara crawler menjelajahi web
Crawling seperti membaca semua buku di perpustakaan. Sebelum mesin telusur dapat menampilkan hasil penelusuran, mesin telusur harus memiliki informasi sebanyak mungkin dari web. Untuk melakukannya, mesin telusur menggunakan crawler—program yang berpindah dari satu situs ke situs lain dan bertindak seperti browser.
Jika buku atau dokumen tidak ada atau rusak, crawler tidak dapat membacanya. Crawler mencoba mengambil setiap URL untuk menentukan status dokumen. Jika dokumen menampilkan kode status error, crawler tidak dapat menggunakan kontennya, dan mungkin akan mencoba ulang URL tersebut di lain waktu. Hal ini memastikan hanya dokumen yang dapat diakses secara publik yang masuk ke indeks.
Jika crawler menemukan kode status pengalihan (seperti 301 atau 302), crawler akan mengikuti pengalihan ke URL baru dan melanjutkan prosesnya di sana. Setelah mendapatkan respons yang berhasil, yang berarti mereka telah menemukan dokumen yang dapat diakses oleh pengguna, mereka akan memeriksa apakah dokumen tersebut diizinkan untuk di-crawl, lalu mendownload kontennya.
Pemeriksaan ini mencakup HTML dan semua konten yang disebutkan dalam HTML, seperti gambar, video, atau JavaScript. Crawler juga mengekstrak link dari dokumen HTML sehingga crawler juga dapat mengunjungi URL yang ditautkan. Dengan mengikuti link, crawler menemukan halaman baru di web.
Crawler tidak mengklik link atau tombol secara aktif, melainkan mengirim URL ke antrean untuk di-crawl nanti. Saat mengakses URL baru, tidak ada cookie, pekerja layanan, atau penyimpanan lokal (seperti IndexedDB) yang tersedia.
Membangun indeks
Setelah mengambil dokumen, crawler akan menyerahkan konten ke mesin telusur untuk ditambahkan ke indeks. Mesin telusur kini merender dan menganalisis konten untuk memahaminya. Rendering berarti menampilkan halaman seperti yang dilakukan browser (dengan beberapa batasan).
Mesin telusur melihat kata kunci, judul, link, judul, teks, dan banyak hal lainnya. Hal ini disebut sinyal yang menjelaskan konten dan konteks halaman. Sinyal memungkinkan mesin telusur menjawab kueri tertentu dengan halaman terbaik.
Mesin telusur mungkin menemukan konten yang sama di URL yang berbeda. Misalnya,
resep "pai apel" mungkin ada di /recipes/apple-pie dan di
/recipes/1234. Untuk menghindari pengindeksan dan penayangan resep dua kali, mesin telusur
menentukan URL utama dan menghapus URL alternatif yang menampilkan
konten yang sama.
Menyajikan hasil yang paling berguna
Mesin telusur melakukan lebih dari sekadar mencocokkan kueri dengan kata kunci dalam indeks. Untuk memberikan hasil yang berguna, mesin telusur mungkin mempertimbangkan konteks, pilihan kata alternatif, lokasi pengguna, dan lainnya. Misalnya, "silicon valley" mungkin merujuk ke wilayah geografis atau acara TV. Namun, jika kuerinya adalah "pemeran silicon valley", hasil tentang wilayah tersebut tidak terlalu membantu.
Beberapa kueri bisa bersifat tidak langsung, seperti "lagu dari pulp fiction", dan mesin telusur perlu menafsirkannya dan menampilkan hasil untuk musik dalam film tersebut. Saat pengguna menelusuri sesuatu, mesin telusur menentukan hasil yang paling berguna, lalu menampilkannya kepada pengguna. Peringkat, atau pengurutan, halaman terjadi berdasarkan kueri. Urutan ini sering kali dapat berubah seiring waktu jika tersedia informasi yang lebih baik.
Langkah berikutnya: Cara mengoptimalkan situs untuk mesin telusur
Setelah memahami dasar-dasar cara kerja mesin telusur, Anda mungkin melihat manfaat pengoptimalan untuk mesin telusur. Hal ini disebut SEO, atau 'Search Engine Optimization'. Dengan memastikan mesin telusur dapat menemukan dan otomatis memahami konten Anda, Anda akan meningkatkan visibilitas situs untuk penelusuran yang relevan. Hal ini dapat menghasilkan lebih banyak pengguna yang tertarik untuk mengunjungi situs Anda. Audit situs Anda dengan Lighthouse dan periksa hasil SEO untuk melihat seberapa baik mesin telusur dapat membuat pengguna mengetahui konten Anda.