איכות חיפוש: איך מעריכים וכווננים רלוונטיות בחנות

מערכת חיפוש יכולה להיות מהירה ובלי שגיאות ועדיין להחזיר התאמות גרועות. איכות חיפוש עוסקת בתועלת של התוצאות, וזה דורש מדידה אחרת מניטור מערכת רגיל.

שיפוטי רלוונטיות אנושיים — דירוג מדגם של זוגות שאילתה־תוצאה מול רובריקה — ואותות התנהגות כמו CTR, הוספה לעגלה ושיעור ניסוח מחדש. לכל אחד נקודות עיוורות לבד, ולכן רוב הצוותים משתמשים בשניהם.

כשקונה מחפש שוב מיד עם ניסוח אחר וקשור, זה אות חזק שהניסיון הראשון לא החזיר מה שרצה — גם אם טכנית הוחזרו תוצאות כלשהן. האות הזה חשוב במיוחד בעברית, שבה אנשים מנסחים מחדש בין עברית לאנגלית.

כי שינוי רלוונטיות משפיע על כל שאילתה בבת אחת, הבדיקה הסטנדרטית היא להריץ על תת־קבוצה של תעבורה לפני פריסה מלאה, כדי לתפוס נסיגה לפני שהיא פוגעת בכל החנות.