Apa fungsi mesin telusur?
Mesin telusur adalah pustakawan versi digital. Mereka menggunakan indeks komprehensif untuk membantu menemukan informasi yang tepat untuk kueri. Dengan memahami dasar-dasar penelusuran, Anda akan mempersiapkan agar konten Anda dapat ditemukan oleh pengguna.
Cara crawler menjelajahi web
Merangkak seperti membaca semua buku di perpustakaan. Sebelum dapat menampilkan hasil penelusuran, mesin telusur harus memiliki informasi sebanyak mungkin dari web. Untuk melakukannya, mesin telusur menggunakan crawler—program yang berjalan dari situs ke situs lainnya dan bertindak seperti browser.
Jika buku atau dokumen hilang atau rusak, crawler tidak dapat membacanya. Crawler mencoba mengambil setiap URL untuk menentukan status dokumen. Jika dokumen menampilkan kode status error, crawler tidak dapat menggunakan konten apa pun di dalamnya, dan dapat mencoba kembali URL tersebut di lain waktu. Dengan begitu, hanya dokumen yang dapat diakses secara publik yang masuk ke dalam indeks.
Jika menemukan kode status pengalihan (seperti 301 atau 302), crawler akan mengikuti pengalihan ke URL baru dan melanjutkan ke sana. Setelah mendapatkan respons yang berhasil, artinya pengguna telah menemukan dokumen yang dapat diakses oleh pengguna, mereka memeriksa apakah dokumen tersebut diizinkan untuk di-crawl lalu mendownload kontennya.
Pemeriksaan ini mencakup HTML dan semua konten yang disebutkan dalam HTML, seperti gambar, video, atau JavaScript. Crawler juga mengekstrak link dari dokumen HTML sehingga crawler juga dapat mengunjungi URL yang ditautkan. Tautan berikut adalah cara {i>crawler <i} menemukan halaman baru di web.
Crawler tidak mengklik link atau tombol secara aktif, tetapi mengirim URL ke antrean untuk meng-crawl-nya nanti. Saat mengakses URL baru, tidak ada cookie, pekerja layanan, atau penyimpanan lokal (seperti IndexedDB).
Membuat indeks
Setelah mengambil dokumen, crawler memberikan konten tersebut ke mesin telusur untuk menambahkannya ke indeks. Mesin telusur kini merender dan menganalisis konten untuk memahaminya. Rendering berarti menampilkan halaman seperti yang dilakukan browser (dengan beberapa batasan).
Mesin telusur memeriksa kata kunci, judul, link, heading, teks, dan banyak hal lainnya. Ini disebut sinyal yang mendeskripsikan konten dan konteks halaman. Sinyal memungkinkan mesin telusur menjawab semua kueri tertentu dengan halaman terbaik.
Mesin telusur mungkin menemukan konten yang sama di URL yang berbeda. Misalnya,
resep "pai apel" mungkin ada di bawah /recipes/apple-pie dan di bawah
/recipes/1234. Untuk menghindari pengindeksan dan menampilkan resep dua kali, mesin telusur
menentukan URL utamanya dan menghapus URL alternatif yang menampilkan
konten yang sama.
Menyajikan hasil yang paling bermanfaat
Mesin telusur melakukan lebih banyak hal daripada sekadar mencocokkan kueri dengan kata kunci dalam indeks. Untuk memberikan hasil yang berguna, mereka dapat mempertimbangkan konteks, kata-kata alternatif, lokasi pengguna, dan banyak lagi. Misalnya, "lembah silikon" mungkin mengacu pada wilayah geografis atau acara TV. Namun, jika kuerinya adalah "silicon lembah cast", hasil pada wilayah tersebut tidak terlalu membantu.
Beberapa kueri dapat bersifat tidak langsung, seperti "lagu dari fiksi pulp", dan mesin pencari perlu menafsirkannya dan menampilkan hasil untuk musik dalam film tersebut. Saat pengguna menelusuri sesuatu, mesin telusur menentukan hasil yang paling berguna, lalu menampilkannya kepada pengguna. Peringkat, atau pengurutan, halaman terjadi berdasarkan kueri. Urutan dapat berubah dari waktu ke waktu jika informasi yang lebih baik tersedia.
Langkah berikutnya: cara mengoptimalkan mesin telusur
Setelah memahami dasar-dasar cara kerja mesin telusur, Anda dapat melihat nilai pengoptimalan untuk mesin telusur. Hal ini disebut SEO, atau 'Pengoptimalan Mesin Telusur'. Dengan memastikan mesin telusur dapat menemukan dan memahami konten secara otomatis, Anda meningkatkan visibilitas situs untuk penelusuran yang relevan. Hal ini dapat menarik lebih banyak pengguna yang tertarik untuk mengunjungi situs Anda. Audit situs Anda dengan Lighthouse dan periksa hasil SEO untuk melihat seberapa baik mesin telusur dapat membuat pengguna mengetahui konten Anda.