Apa fungsi mesin telusur?
Mesin telusur adalah versi digital seorang pustakawan. Mereka menggunakan indeks komprehensif untuk membantu menemukan informasi yang tepat untuk kueri. Memahami dasar-dasar penelusuran akan mempersiapkan Anda untuk membuat konten yang dapat ditemukan oleh pengguna.
Cara crawler menjelajahi web
Meng-crawl seperti membaca semua buku di perpustakaan. Sebelum mesin telusur dapat menampilkan hasil penelusuran, mesin telusur harus memiliki sebanyak mungkin informasi dari web. Untuk melakukannya, mesin telusur menggunakan crawler, yakni program yang berjalan dari satu situs ke situs lainnya dan bertindak seperti browser.
Jika buku atau dokumen hilang atau rusak, crawler tidak dapat membacanya. Crawler mencoba mengambil setiap URL untuk menentukan status dokumen. Jika dokumen menampilkan kode status error, crawler tidak dapat menggunakan kontennya, dan mungkin mencoba lagi URL di lain waktu. Hal ini memastikan bahwa hanya dokumen yang dapat diakses secara publik yang masuk ke indeks.
Jika menemukan kode status pengalihan (seperti 301 atau 302), crawler akan mengikuti pengalihan ke URL baru dan melanjutkannya. Setelah mendapatkan respons yang berhasil, yang berarti mereka telah menemukan dokumen yang dapat diakses oleh pengguna, mereka akan memeriksa apakah dokumen diizinkan untuk di-crawl, lalu mendownload kontennya.
Pemeriksaan ini mencakup HTML dan semua konten yang disebutkan dalam HTML, seperti gambar, video, atau JavaScript. Crawler juga mengekstrak link dari dokumen HTML sehingga crawler juga dapat mengunjungi URL tertaut. Mengikuti link adalah cara crawler menemukan halaman baru di web.
Crawler tidak secara aktif mengklik link atau tombol, tetapi mengirim URL ke antrean untuk di-crawl nanti. Saat mengakses URL baru, tidak ada cookie, pekerja layanan, atau penyimpanan lokal (seperti IndexedDB) yang tersedia.
Membangun indeks
Setelah mengambil dokumen, crawler menyerahkan konten ke mesin telusur untuk menambahkannya ke indeks. Mesin telusur kini merender dan menganalisis konten untuk memahaminya. Rendering berarti menampilkan halaman seperti yang dilakukan browser (dengan beberapa batasan).
Mesin telusur melihat kata kunci, judul, link, tajuk, teks, dan banyak hal lainnya. Ini disebut sinyal yang mendeskripsikan konten dan konteks halaman. Sinyal memungkinkan mesin telusur menjawab kueri yang diberikan dengan halaman terbaik.
Mesin telusur mungkin menemukan konten yang sama di URL yang berbeda. Misalnya,
resep untuk "pai apel" mungkin ada di bawah /recipes/apple-pie dan di bawah
/recipes/1234. Agar resep tidak diindeks dan ditampilkan dua kali, mesin telusur
menentukan URL utamanya dan menghapus URL alternatif yang menampilkan
konten yang sama.
Menyajikan hasil yang paling berguna
Mesin telusur melakukan lebih banyak pekerjaan daripada sekadar mencocokkan kueri dengan kata kunci dalam indeks. Untuk memberikan hasil yang berguna, desainer dapat mempertimbangkan konteks, pilihan kata alternatif, lokasi pengguna, dan lainnya. Misalnya, "silicon Valley" dapat merujuk pada wilayah geografis atau acara TV. Namun, jika kuerinya adalah "silicon Valley Cast", hasil pada wilayah tersebut tidak terlalu membantu.
Beberapa kueri dapat bersifat tidak langsung, seperti "lagu dari fiksi pulp", dan mesin telusur harus menafsirkannya serta menampilkan hasil musik dalam film tersebut. Saat pengguna menelusuri sesuatu, mesin telusur menentukan hasil yang paling berguna, lalu menampilkannya kepada pengguna. Peringkat, atau pengurutan, halaman terjadi berdasarkan kueri. Urutan sering kali dapat berubah dari waktu ke waktu jika tersedia informasi yang lebih baik.
Langkah berikutnya: cara mengoptimalkan mesin telusur
Setelah memahami dasar-dasar cara kerja mesin telusur, Anda dapat melihat nilai pengoptimalan untuk mesin telusur. Ini disebut SEO, atau 'Pengoptimalan Mesin Telusur'. Dengan memastikan mesin telusur dapat menemukan dan otomatis memahami konten, Anda meningkatkan visibilitas situs untuk penelusuran yang relevan. Hal ini dapat membuat lebih banyak pengguna yang tertarik datang ke situs Anda. Audit situs Anda dengan Lighthouse dan periksa hasil SEO untuk melihat seberapa baik mesin telusur dapat membuat pengguna menyadari konten Anda.