Apa yang dilakukan mesin telusur?
Mesin telusur adalah versi digital dari pustakawan. Mereka menggunakan indeks komprehensif untuk membantu menemukan informasi yang tepat untuk kueri. Memahami dasar-dasar penelusuran akan mempersiapkan Anda untuk membuat konten Anda dapat ditemukan oleh pengguna.
Cara crawler menjelajahi web
Crawling seperti membaca semua buku di perpustakaan. Sebelum mesin penelusuran dapat menampilkan hasil penelusuran, mesin penelusuran harus memiliki informasi sebanyak mungkin dari web. Untuk melakukannya, mesin telusur menggunakan crawler—program yang berpindah dari satu situs ke situs lain dan berfungsi seperti browser.
Jika buku atau dokumen hilang atau rusak, crawler tidak dapat membacanya. Crawler mencoba mengambil setiap URL untuk menentukan status dokumen. Jika dokumen menampilkan kode status error, crawler tidak dapat menggunakan kontennya, dan mungkin akan mencoba ulang URL tersebut di lain waktu. Hal ini memastikan bahwa hanya dokumen yang dapat diakses secara publik yang masuk ke indeks.
Jika menemukan kode status pengalihan (seperti 301 atau 302), crawler akan mengikuti pengalihan ke URL baru dan melanjutkan di sana. Setelah mendapatkan respons yang berhasil, yang berarti mereka telah menemukan dokumen yang dapat diakses oleh pengguna, mereka akan memeriksa apakah dokumen tersebut diizinkan untuk di-crawl, lalu mendownload kontennya.
Pemeriksaan ini mencakup HTML dan semua konten yang disebutkan dalam HTML, seperti gambar, video, atau JavaScript. Crawler juga mengekstrak link dari dokumen HTML sehingga crawler juga dapat mengunjungi URL tertaut. Mengikuti link adalah cara crawler menemukan halaman baru di web.
Crawler tidak secara aktif mengklik link atau tombol, tetapi mengirim URL ke antrean untuk meng-crawl-nya nanti. Saat mengakses URL baru, tidak ada cookie, pekerja layanan, atau penyimpanan lokal (seperti IndexedDB) yang tersedia.
Membuat indeks
Setelah mengambil dokumen, crawler akan menyerahkan konten ke mesin telusur untuk menambahkannya ke indeks. Mesin telusur kini merender dan menganalisis konten untuk memahaminya. Rendering berarti menampilkan halaman seperti yang dilakukan browser (dengan beberapa batasan).
Mesin telusur melihat kata kunci, judul, link, judul, teks, dan banyak hal lainnya. Hal ini disebut sinyal yang menjelaskan konten dan konteks halaman. Sinyal memungkinkan mesin telusur menjawab kueri tertentu dengan halaman terbaik.
Mesin telusur mungkin menemukan konten yang sama di URL yang berbeda. Misalnya,
resep "pai apel" mungkin berada di /recipes/apple-pie dan di
/recipes/1234. Untuk menghindari pengindeksan dan menampilkan resep dua kali, mesin telusur
akan menentukan URL utama dan menghapus URL alternatif yang menampilkan
konten yang sama.
Menayangkan hasil yang paling berguna
Mesin telusur melakukan lebih banyak hal daripada sekadar mencocokkan kueri dengan kata kunci dalam indeks. Untuk memberikan hasil yang berguna, fitur ini dapat mempertimbangkan konteks, kata-kata alternatif, lokasi pengguna, dan lainnya. Misalnya, "silicon valley" mungkin merujuk pada wilayah geografis atau acara TV. Namun, jika kuerinya adalah "silicon valley cast", hasil di wilayah tersebut tidak terlalu membantu.
Beberapa kueri dapat bersifat tidak langsung, seperti "lagu dari pulp fiction", dan mesin penelusuran perlu menafsirkannya dan menampilkan hasil untuk musik dalam film. Saat pengguna menelusuri sesuatu, mesin telusur akan menentukan hasil yang paling berguna lalu menampilkannya kepada pengguna. Peringkat, atau pengurutan, halaman terjadi berdasarkan kueri. Urutan ini sering kali dapat berubah dari waktu ke waktu jika informasi yang lebih baik tersedia.
Langkah berikutnya: cara mengoptimalkan untuk mesin telusur
Setelah memahami dasar-dasar cara kerja mesin telusur, Anda mungkin melihat nilai dalam mengoptimalkan mesin telusur. Hal ini disebut SEO, atau 'Search Engine Optimization'. Dengan memastikan mesin telusur dapat menemukan dan memahami konten Anda secara otomatis, Anda meningkatkan visibilitas situs untuk penelusuran yang relevan. Hal ini dapat menarik lebih banyak pengguna yang tertarik untuk membuka situs Anda. Audit situs Anda dengan Lighthouse dan periksa hasil SEO untuk melihat seberapa baik mesin telusur dapat membuat pengguna mengetahui konten Anda.