כיצד פועלים מנועי החיפוש?




בכל פעם שאתם מקלידים מלה או ביטוי אל תוך שורת החיפוש בגוגל או במנוע חיפוש אחר ולוחצים enter, אתם מקבלים רשימה של תוצאות שמכילות את המלה או הביטוי שהקלדתם.

גולשים נוטים ללחוץ על תוצאות החיפוש הראשונות ברשימה מתוך הנחה שהן מתאימות יותר לחיפוש שלהם. אם אי פעם תהיתם כיצד הרשימה הזו נבנית ומה קובע את סדר ההופעה של אתרים ברשימה הזו, הרי שבעצם שאלתם את עצמכם כיצד פועלים מנועי החיפוש.


עקרונות בסיסיים של מנועי חיפוש

הדבר הראשון שיש להבין לגבי מנועי חיפוש הוא העובדה שהם אינם אנושיים. זה אולי נשמע מובן מאליו, אך יש לכך נגזרות משמעותיות.

בשונה מבני אנוש, מנועי החיפוש מתמקדים במחרוזות טקסט בתוך דפי האתר. את הקונטקסט (המשמעות) של האתר הם מנתחים על פי הטקסט שמופיע בו. מנועי החיפוש אינם יודעים להבחין אם העיצוב "יפה" יותר או פחות, אם מנגינה שמושמעת באתר היא נעימה או צורמת, או מה מציגות התמונות באתר. במקום זאת, מנועי החיפוש זוחלים (crawl) במרחבי הרשת, אוספים מחרוזות טקסט מכל דף שבו הם נתקלים ודרך ניתוח הטקסט מנסים ללמוד על משמעות הדף עצמו.

גוגל בוט (googlebot)

זו היא תוכנה של גוגל שתפקידה הוא לזחול במרחבי הרשת.
גם למנועי חיפוש אחרים כדוגמת בינג (bing) או יאהו (yahoo) יש תוכנות זחילה דומות. הגוגל בוט סורק באופן מתמיד את האינטרנט (כל האינטרנט!), מבצע סריקה של הדפים שבהם הוא נתקל ובמקביל מבצע אינדוקס (indexing) של אותם דפים.

האינדוקס היא פעולה של רישום הדפים שהוא מצא, לעומת סריקת הטקסט שנועדה לנתח את הקונטקסט של אותם הדפים. לאור הכמות האדירה של דפים באינטרנט הגוגל בוט אינו סורק את האתר שלכם באופן יומי (מספר הדפים באינטרנט גדל באפן מתמיד, אך כדי לסבר את האוזן מדובר בכמה עשרות מיליארדים של דפים). ייתכן ויעברו שבועות בין סריקה אחת שלו לבאה.

קובץ robots.txt

קובץ שיושב באתר שלכם ומגדיר עבור הגוגל בוט (ושאר מנועי החיפוש) אלו חלקים באתר מותר לו לסרוק ואלו אתם מבקשים שלא יסרוק. הקובץ יושב בתיקיית השורש של האתר שלכם (root) לרוב באותה רמה שבה יושב דף הכניסה לאתר.

חשוב שתדעו כיצד נראה הקובץ הזה ותוודאו שאינכם חוסמים בטעות חלקים מהאתר שלכם בפני מנועי החיפוש. לכל אתר אינטרנט חשוב שיהיה קובץ כזה.
צפו כיצד נראה הקובץ של האתר שלנו.

אתם יכולים לבצע בדיקה של הקובץ שלכם וללמוד כיצד גוגל בוט רואה אותו על ידי שימוש ב-Google Webmasters Tools.

אינדקוס של הדפים

בזמן שדף אינטרנט נסרק על ידי הגוגל בוט, אותו הדף גם עובר אינדוקס, כלומר נרשם בבסיס נתונים של גוגל שמכיל את כל הדפים שמצא מנוע החיפוש.

בבסיס נתונים זה, כל דף נשמר עם הביטויים שהגוגל בוט מצא כרלוונטיים ביותר לאותו הדף. בשל גודלו העצום, לבני אנוש חיפוש ומציאת דף מסוים בבסיס הנתונים הזה היא משימה בלתי אפשרית, אך למנועי החיפוש זוהי משימה קלה ביותר והם מבצעים אותה במהירות אדירה.

כך תוצאות החיפוש שלכם מופיעות מהר מאד לאחר שלחצתם enter בשורת החיפוש ולעיתים אף מידיית כאשר מנועי החיפוש יודעים לשנות את רשימת התוצאות תוך כדי שאתם מקלידים את הביטוי לחיפוש.

מה שמתרחש ברקע הוא מעבר של מנוע החיפוש על בסיס הנתונים וחיפוש של דף שיש התאמה בינו ובין הביטוי שהקלדתם. מכיוון שייתכן שמליוני דפי אינטרנט שונים מכילים את אותו ביטוי החיפוש, מנועי החיפוש גם מבצעים חישוב של "רלוונטיות" שבו הם מנסים לדרג את הדפים הללו בהתאם לכמה כל דף רלוונטי לביטוי החיפוש.

חלק מתורת ה-SEO היא "לעזור" למנועי החיפוש להבין טוב יותר מה הקונטקסט של האתר שלכם כדי לשפר את דירוג דפי האתר שלכם בעיני גוגל.


איך מנועי חיפוש מחשבים את הדירוג של דף אינטרנט?

זוהי שאלה שהתשובה אליה היא אחד הסודות השמורים ביותר בעולם.

למעשה השאלה הזו זהה לשאלה כיצד עובדים אלגוריתמי החיפוש של גוגל ושל מנועי החיפוש האחרים. גוגל שומרים את מהות האלגוריתם שלהם בסוד. מבחינתם, המטרה היא לספק לגולשים חווית חיפוש טובה ומדויקת ככל האפשר ולמנוע מבעלי אתרים לעקוף או לנצל את מנגנוני החישוב של האלגוריתם שלהם.

הערכה זהירה גורסת שיש בסביבות 200 פרמטרים שונים שגוגל משתמשים בהם כדי לקבוע מה הדירוג של דף מסוים לגבי ביטוי חיפוש ספציפי.
אתם יכולים לקרוא עוד על דירוג של דפי אינטרנט כאן.

בין הפרמטרים השונים שידועים כרלוונטים ניתן למצוא את גיל האתר (כמה זמן הוא באוויר), מיקום שרתי האחסון, מבנה ה-URL ושמות הדפים השונים באתר, משאבים חיצוניים שנדרשים להצגת תוכן האתר, השפה של הטקסט באתר ועוד.


מה ההבדלים בין מנועי החיפוש השונים?

אף שהרעיון העקרוני זהה בכל מנועי החיפוש, יש הבדלים בצורה שבה בנוי האלגוריתם שלהם ולכן יש הבדלים גדולים ביניהם בתוצאות החיפוש עבור אותו הביטוי.

לאורך תקופה ובמידה מסוימת גם היום, בקרב מומחי SEO מנוע החיפוש בינג נחשב בצחוק כמנוע חיפוש שבאופן מכוון מתאמץ לתת תוצאות חיפוש שאינן מתאימות לביטוי שהוקלד. לעומתו, מהרגע שצץ ועד היום גוגל נחשב למנוע החיפוש הטוב והמדויק ביותר מבין מנועי החיפוש הקיימים ואחוז השימוש בו מחזק את הטענה הזו. ההערכה היא שמעל 90% מנפח השוק של מנועי החיפוש שייך לגוגל ולא במקרה הפך גוגל שם נרדף לחיפוש.

הצפי הוא שמגמה זו אינה עומדת להשתנות בעתיד הקרוב כך שמאמצי קידום האתר שלכם צריכים בראש ובראשונה להתמקד בשיפור הדירוג שלכם במנוע חיפוש זה. יש לומר גם, שכל מאמץ שתשקיעו כדי לשפר את דירוגכם בתוצאות החיפוש של גוגל גם יעזרו לשפר את הדירוג של האתר שלכם במנועי החיפוש האחרים.



אנחנו מקווים שהמאמר הזה תרם לכם עניין וידע. אם יש לכם שאלות נוספות בנושא או אם הייתם מעוניינים לשמוע וללמוד על תחום אחר בנושא SEO ומובייל, כתבו לנו.

צוות קופיף.