מה עושה מנוע חיפוש?
מנועי חיפוש הם הגרסה הדיגיטלית של הספרן. הן משתמשות במדד מקיף כדי למצוא את המידע הנכון לשאילתה. הבנת העקרונות הבסיסיים של החיפוש תעזור לכם להפוך את התוכן שלכם לגלוי למשתמשים.
איך סורקים גולשים באינטרנט
הסריקה היא כמו קריאה בכל הספרים בספרייה. כדי שמנועי החיפוש יוכלו להציג תוצאות חיפוש, הם צריכים לקבל כמה שיותר מידע מהאינטרנט. כדי לעשות זאת, מנועי החיפוש משתמשים בסורק – תוכנה שעוברת מאתר לאתר ופועלת כמו דפדפן.
אם ספר או מסמך חסרים או פגומים, הסריקה לא תוכל לקרוא אותם. הסורקים מנסים לאחזר כל כתובת URL כדי לקבוע את מצב המסמך. אם מסמך מחזיר קוד סטטוס שגיאה, הסרקים לא יכולים להשתמש בתוכן שלו, ויכול להיות שהם ינסו שוב את כתובת ה-URL במועד מאוחר יותר. כך מוודאים שרק מסמכים שגלויים לכולם ייכללו במדד.
אם הסורק מזהה קוד סטטוס של הפניה אוטומטית (כמו 301 או 302), הוא עוקב אחרי ההפניה האוטומטית לכתובת URL חדשה וממשיך שם. אחרי שהם מקבלים תשובה מוצלחת, כלומר הם מצאו מסמך שזמין למשתמשים, הם בודקים אם מותר לסרוק אותו ואז מורידים את התוכן.
הבדיקה הזו כוללת את ה-HTML ואת כל התוכן שצוין ב-HTML, כמו תמונות, סרטונים או JavaScript. סורקים גם מחלצים את הקישורים ממסמכי HTML כדי שהסורק יוכל לבקר גם בכתובות ה-URL המקושרות. סרקים עוקבים אחרי קישורים כדי למצוא דפים חדשים באינטרנט.
מנועי הסריקה לא לוחצים באופן פעיל על קישורים או לחצנים, אלא שולחים כתובות URL לתור כדי לסרוק אותן מאוחר יותר. כשנכנסים לכתובת URL חדשה, אין קובצי cookie, שירותי עבודה או אחסון מקומי (כמו IndexedDB) זמינים.
יצירת אינדקס
אחרי אחזור מסמך, הסריקה מעבירה את התוכן למנוע החיפוש כדי להוסיף אותו לאינדקס. מנוע החיפוש מעבד ומנתח את התוכן כדי להבין אותו. עיבוד הוא הצגת הדף כמו שהדפדפן היה מציג אותו (עם מגבלות מסוימות).
מנועי החיפוש בודקים מילות מפתח, את הכותרת, קישורים, כותרות, טקסט ועוד הרבה דברים. הנתונים האלה נקראים אותות, והם מתארים את התוכן וההקשר של הדף. אותות מאפשרים למנועי חיפוש לענות על כל שאילתת חיפוש באמצעות הדף הטוב ביותר האפשרי.
מנועי חיפוש עשויים למצוא את אותו תוכן בכתובות URL שונות. לדוגמה, מתכון ל'עוגת תפוחים' עשוי להופיע בכתובת /recipes/apple-pie ובכתובת /recipes/1234. כדי למנוע הוספה של המתכון לאינדקס והצגה שלו פעמיים, מנועי החיפוש קובעים מהי כתובת ה-URL הראשית ומבטלים את כתובות ה-URL החלופיות שמוצג בהן אותו תוכן.
הצגת התוצאות המועילות ביותר
מנועי החיפוש מבצעים פעולות נוספות מלבד התאמת השאילתה למילות מפתח במדד. כדי לספק תוצאות מועילות, המערכת עשויה להביא בחשבון הקשר, ניסוח חלופי, המיקום של המשתמש ועוד. לדוגמה, 'סיליקון ואלי' יכול להתייחס לאזור הגיאוגרפי או לתוכנית הטלוויזיה. אבל אם השאילתה היא "silicon valley cast", התוצאות באזור לא מועילות במיוחד.
שאילתות מסוימות יכולות להיות עקיפות, כמו "השיר מ'ספרות זולה'", ומנועי החיפוש צריכים לפרש את השאילתה הזו ולהציג תוצאות לגבי המוזיקה בסרט. כשמשתמש מחפש משהו, מנועי החיפוש קובעים מהן התוצאות השימושיות ביותר ומציגים אותן למשתמש. הדירוג או הסדר של הדפים מתבצע על סמך השאילתה. הסדר יכול להשתנות לעיתים קרובות לאורך זמן אם יהיו זמינים נתונים טובים יותר.
השלבים הבאים: איך מבצעים אופטימיזציה למנועי חיפוש
עכשיו, אחרי שהבנתם את העקרונות הבסיסיים של אופן הפעולה של מנועי החיפוש, אולי תראו את הערך של אופטימיזציה למנועי חיפוש. התהליך הזה נקרא אופטימיזציה למנועי חיפוש (SEO). אם מנועי החיפוש יוכלו למצוא את התוכן שלכם ולהבין אותו באופן אוטומטי, האתר שלכם יוצג בתוצאות החיפוש הרלוונטיות. כך תוכלו למשוך לאתר משתמשים רבים יותר שמתעניינים בנושא. בודקים את האתר באמצעות Lighthouse ובודקים את תוצאות האופטימיזציה למנועי חיפוש כדי לראות עד כמה מנועי החיפוש יכולים להציג למשתמשים את התוכן שלכם.