كلیه اطلاعات این سایت مربوط به شركت طراحی سایت - شركت نرم افزاری بهپردازان می باشد


شركت نرم افزاری بهپردازان

موضوع مقاله : چطور موتورهاي جستجوي سايت عمل مي‌کنند؟ :

شرح : وقتي جستجويي در يک موتور جستجوگر انجام و نتايج جستجو ارايه مي‌شود، کاربران در واقع نتيجه کار بخش‌هاي متفاوت موتور جستجوگر را مي‌بينند.

موتور جستجوگر قبلاً پايگاه داده‌اش را آماده کرده است و اين گونه نيست که درست در همان لحظه‌ي جستجو، تمام وب را بگردد.

مفاهيم: ادبيات موتورهاي جستجو چيست؟

بسياري از خود مي‌پرسند که چگونه ممکن است گوگل در کمتر از يک ثانيه تمام سايت‌هاي وب را بگردد و ميليون‌ها صفحه را در نتايج جستجوي خود ارايه کند؟

گوگل و هيچ موتور جستجوي ديگري توانايي انجام اين کار را ندارند. همه آنها در زمان پاسخ‌گويي به جستجوهاي کاربران، تنها در پايگاه داده‌اي که در اختيار دارند به جستجو مي‌پردازند و نه در وب! موتور جستجوگر به کمک بخش‌هاي متفاوت خود، اطلاعات مورد نياز را قبلاً جمع‌آوري، تجزيه و تحليل مي‌کند، آنرا در پايگاه داده‌اش ذخيره مي‌نمايد و به هنگام جستجوي کاربر تنها در همين پايگاه داده مي‌گردد. بخش‌هاي مجزاي يک موتور جستجوگر عبارتند از:


Spider يا عنکبوت
Crawler يا خزنده
Indexer يا بايگاني کننده
Database يا پايگاه داده
Ranker يا سيستم رتبه‌بندي

الف: Spider (عنکبوت)
اسپايدر يا روبوت (Robot) نرم افزاري است که کار جمع‌آوري اطلاعات مورد نياز يک موتور جستجو را بر عهده دارد. اسپايدر به صفحات مختلف سر مي‌زند، محتواي آنها را مي‌خواند، لينک‌ها را دنبال مي‌کند، اطلاعات مورد نياز را جمع‌آوري مي‌کند و آنرا در اختيار ساير بخش‌هاي موتور جستجوگر قرار مي‌دهد. کار يک اسپايدر، بسيار شبيه کار کاربران وب است. همانطور که کاربران، صفحات مختلف را بازديد مي‌کنند، اسپايدر هم درست اين کار را انجام مي‌دهد با اين تفاوت که اسپايدر کدهاي HTML صفحات را مي‌بيند اما کاربران نتيجه حاصل از کنار هم قرار گرفتن اين کدها را.

اسپايدر، به هنگام مشاهده صفحات، بر روي سرورها رد پا برجاي مي‌گذارد. شما اگر اجازه دسترسي به آمار ديد و بازديدهاي صورت گرفته از يک سايت و اتفاقات انجام شده در آن را داشته باشيد، مي‌توانيد مشخص کنيد که اسپايدر کدام يک از موتورهاي جستجوگر صفحات سايت را مورد بازديد قرار داده است. يکي از فعاليت‌هاي اصلي که در SEM انجام مي‌شود تحليل آمار همين ديد و بازديدها است.

اسپايدرها کاربردهاي ديگري نيز دارند، به عنوان مثال عده‌اي از آنها به سايت‌هاي مختلف مراجعه مي‌کنند و فقط به بررسي فعال بودن لينک‌هاي آنها مي‌پردازند و يا به دنبال آدرس ايميل (E-mail) مي‌گردند.

ب: Crawler (خزنده)
کراولر، نرم‌افزاري است که به عنوان يک فرمانده براي اسپايدر عمل مي‌کند. کراولر مشخص مي‌کند که اسپايدر کدام صفحات را مورد بازديد قرار دهد. در واقع کراولر تصميم مي‌گيرد که کدام يک از لينک‌هاي صفحه‌اي که اسپايدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند، بعضي‌ها را دنبال کند و يا هيچ کدام را دنبال نکند.

کراولر، ممکن است قبلاً برنامه‌ريزي شده باشد که آدرس‌هاي خاصي را طبق برنامه در اختيار اسپايدر قرار دهد تا از آنها ديدن کند. دنبال کردن لينک‌هاي يک صفحه به اين بستگي دارد که موتور جستجو چه حجمي از اطلاعات يک سايت را مي‌تواند (يا مي‌خواهد) در پايگاه داده‌اش ذخيره کند. همچنين ممکن است اجازه دسترسي به بعضي از صفحات به موتورهاي جستجوگر داده نشده باشد.

شما به عنوان دارنده سايت، همان طور که دوست داريد موتورهاي جستجو اطلاعات سايت شما را با خود ببرند، مي‌توانيد آنها را از بعضي صفحات سايت‌تان دور کنيد و اجازه دسترسي به محتواي آن صفحات را به آنها ندهيد. موتور جستجو اگر مودب باشد قبل از ورود به هر سايتي ابتدا قوانين دسترسي به محتواي سايت را (در صورت وجود) در فايلي خاص بررسي مي‌کند و از حقوق دسترسي خود اطلاع مي‌يابد. تنظيم ميزان دسترسي موتورهاي جستجو به محتواي يک سايت توسط پروتکل Robots انجام مي‌شود. به عمل کراولر، خزش (Crawling) مي‌گويند.

بازگشت