أنواع الروبوتات وطرق الكشف عنها والحماية

تم إعداد المقال مع المطور Antibot.cloud.

أنواع الروبوتات ونتائج نشاطها

يمكن تقسيم الوصول إلى الموقع إلى ثلاث مجموعات:

• أشخاص حقيقيون قاموا بتسجيل الدخول إلى المتصفح.
• روبوتات مفيدة (مثل روبوتات محركات البحث).
• برامج الروبوت “السيئة” التي يمكن أن تسبب ضررًا لموقعك.

لا يعرف مالكو مواقع الويب حتى عدد برامج الروبوت التي تزور صفحات مواردهم. وفقًا لـ Antibot ، قد تكون النسبة المئوية للأشخاص 0.5٪ فقط من إجمالي عدد الروبوتات. من المؤكد أنك لاحظت ارتفاعًا في عدد الزيارات بالإضافة إلى الزيارات من مواقع غير عادية أو من أجهزة غريبة ، خاصة أثناء دراسة تقارير Google Analytics. على الأرجح ، كانت الروبوتات مسؤولة عن هذه الارتفاعات. على سبيل المثال ، في عام 2021 ، لاحظنا زيادة في حركة المرور على مدونة Travelpayouts من أجهزة ذات دقة شاشة منخفضة. هذا هو واحد من العديد من مظاهر حركة مرور الروبوتات.

يمكن تقسيم الروبوتات إلى فئتين:

• الروبوتات التي تنفذ إجراءات محددة على الموقع.
• الروبوتات التي تنتقل من موقع إلى آخر. على سبيل المثال ، انقر على رابط الشريك على موقع الشريك وانتقل إلى مورد العلامة التجارية.

قد يختلف الغرض من هذه الروبوتات وعواقب نشاطها.

حركة المرور على الموقع

روبوتات البحث (الزواحف)

روبوتات البحث هي روبوتات محركات البحث. يبحثون عن صفحات جديدة على الويب ، ويفحصون تلك الصفحات ويساعدون في فهرستها في البحث.

هذه الروبوتات مفيدة لتحسين محركات البحث ولا تسبب أي مشاكل.

روبوتات تحسين محركات البحث

روبوتات تحسين محركات البحث (SEO) مملوكة لمنصات تحسين محركات البحث (مثل Ahrefs و SEMrush و Serpstat وغيرها) التي تساعد مستخدميها على تحليل موارد المنافسين. يمكن لمالكي مواقع الويب استخدام هذه البيانات لتحسين مواقع البحث الخاصة بهم.

الآثار:

الجانب السلبي الوحيد لهذه الروبوتات هو كيفية إبطاء تحميل الموقع. إذا لم تكن مستخدمًا لمنصات تحسين محركات البحث (SEO) ، فيمكنك حظرها.

روبوتات العوامل السلوكية للغش السلبي

روبوتات الغش في العوامل السلوكية هي طريقة “رمادية” للترويج لموقع الشخص في نتائج البحث. في موقع تم تكليفه ، تحاكي هذه الروبوتات الزيارات من أشخاص حقيقيين. على سبيل المثال ، يمكنهم تصفح صفحات مختلفة على مدار فترة زمنية طويلة لتقليل معدل الارتداد.

لتعزيز المورد المفوض إلى الأعلى ، تعمل الروبوتات على تفاقم العوامل السلوكية على المواقع التي تحتل السطور الأولى من نتائج البحث. هنا ، على العكس من ذلك ، يقضون القليل من الوقت على الصفحات ويزيدون من معدل الفشل.

الآثار:

يمكن أن يصبح موردك مصدرًا تحاول برامج الروبوت إزالته من مواقع البحث العليا. نتيجة لذلك ، قد ينتهي موقعك على الصفحات الخلفية للبحث.

مكشطة الروبوتات

تجمع أدوات الكشط بيانات مهمة من الصفحات ، مثل العناوين أو تفاصيل الاتصال الأخرى. في بعض الحالات ، يسرق الموزعون المحتوى.

الآثار:

قد يتم سرقة المحتوى الخاص بك ونشره على موارد أخرى. في مثل هذه الحالات ، تصبح المقالات والصور أقل تميزًا ، ولهذا السبب ، قد يفقد الموقع مكانته في نتائج البحث.

ماسحات الضعف

تقوم هذه الروبوتات بتحليل ملايين المواقع والبحث عنها بحثًا عن نقاط الضعف. يقوم بعضهم بالإبلاغ عن المشاكل إلى المالك ، بينما يستخدم البعض الآخر هذه المعلومات لصالحهم.

الآثار:

نقل المعلومات التي تم جمعها إلى جهة خارجية ، والتي قد تبيع البيانات أو تستخدمها لاختراق المواقع.

تنزيل برامج الروبوت

يتم إنشاء روبوتات التنزيل لتنزيل المواد من موقعك. على سبيل المثال ، أدلة مجانية أو قوائم تحقق مفيدة يستخدمها مالكو مواقع الويب كمغناطيس رئيسي في استراتيجيات التسويق الخاصة بهم.

الآثار:

اعطاء انطباع خاطئ عن كفاءة المواد. افترض أن لديك روابط شركاء في دليلك. من المحتمل أن تلاحظ عددًا كبيرًا من تنزيلات الدليل ، لكن عدد النقرات على الروابط لن يتطابق مع متوسط ​​التحويل. بعد ذلك سترغب على الأرجح في تصحيح الدليل أو تغيير مسار التسويق. ومع ذلك ، إذا تجاوزت برامج الروبوت عدد التنزيلات ، فمن غير المرجح أن يتحسن عملك متعدد الأيام من حيث معدل التحويل.

روبوتات البريد العشوائي

تملأ روبوتات البريد العشوائي نماذج الاتصال ، وترسل رسائل البريد الإلكتروني المخادعة ، وإنشاء تعليقات لا معنى لها أو متعلقة بالإعلان على مواقع الويب والشبكات الاجتماعية.

الآثار:

سرعان ما تشعر روبوتات البريد العشوائي بالملل ويمكن أن تؤثر سلبًا على سمعة الموقع. يجب عليك قراءة رسائل البريد الإلكتروني باستمرار أو تعديل التعليقات.

حركة المرور من الموقع

انقر فوق الروبوتات

انقر فوق الروبوتات التي تحاكي سلوك المستخدم وتنخرط في الاحتيال ، مثل النقر فوق الإعلانات وروابط الشركاء والأدوات الأخرى.

الآثار:

إذا كان لديك إعلان الدفع لكل نقرة على موقعك ، مثل إعلانات AdSense أو روابط الشركاء من البرامج التابعة لـ CPC (تكلفة النقرة) ، فسيتم حظرك من برامج النقر فوق الآلي. تعمل روبوتات النقر على تشويه الإحصائيات الخاصة ببرامج CPA الشريكة (تكلفة الإجراء) ، لأنها تولد العديد من مرات الظهور والنقرات على أدوات الشركاء ، ولكن دون مبيعات.

كيفية اكتشاف حركة مرور الروبوت

1. مراجعة البيانات من أنظمة التحليلات

قد يكون المشروع موجودًا لسنوات مع برامج الروبوت ، لكن الآثار السلبية قد لا تظهر على الفور أو قد تكون أقل وضوحًا. على سبيل المثال ، نظرًا لأن حركة مرور الروبوت ستنخفض تدريجيًا بمرور الوقت ، فإن موضع صفحات الموقع سيؤدي إلى إبطاء تطور المشروع.

يزداد عدد الروبوتات غير الضرورية مع نمو الموقع. عندما يصبح المورد أكثر جدارة بالثقة ، يزداد عدد الصفحات والروابط الخلفية بالإضافة إلى عدد الروبوتات. لذلك ، فإن المهمة الأساسية لمالك موقع الويب هي اكتشاف حركة مرور الروبوتات الضارة.

يمكنك اكتشاف عدد الروبوتات من خلال سجلات الخادم: access.log وما إلى ذلك. يمكنك أيضًا تحديد مظهر الروبوتات باستخدام Google Analytics. انتبه إلى الارتفاع المفاجئ في مشاهدات الصفحة ، ومعدلات الارتداد المرتفعة ، ومدة الجلسات غير المعتادة ، والزيارات من مواقع غريبة.

2. تعلم إحصائيات برنامج الشريك بدون الروبوتات

إذا كنت تكسب من خلال التسويق بالعمولة ، فضع في اعتبارك أن الزيارات من جميع أنواع الروبوتات يتم جمعها في إحصاءات البرامج الشريكة. يؤدي هذا إلى تشويه صورة التحويل ، حيث يصعب تقدير عدد الأشخاص الحقيقيين المهتمين بالمحتوى الخاص بك ويقومون بالنقر فوق أدوات شريكك. بسبب الإحصائيات غير الدقيقة ، قد تتخذ قرارًا خاطئًا بشأن العمل مع بعض العلامات التجارية. على سبيل المثال ، قد تعتقد أنك تجتذب الكثير من حركة المرور ، لكنك لن تحصل في نهاية المطاف على مكافأة عالية بما يكفي لعملك.

لجعل إحصائيات شركائنا أكثر دقة ، قمنا في Travelpayouts بعمل فلتر فريد مضاد للروبوتات. باستخدامه ، يمكنك استبعاد حركة مرور الروبوت من تقارير البرنامج بنقرة واحدة. للقيام بذلك ، انتقل إلى إعدادات الملف الشخصي في حسابك ، وقم بالتمرير لأسفل ، وحدد مربع الاختيار “إخفاء نشاط الروبوت” ، وانقر فوق “حفظ”. سيتم تحديث جميع التقارير في حسابك تلقائيًا وإظهار البيانات المكررة.

يمكنك معرفة المزيد حول كيفية عمل ميزة Travelpayouts في مركز المساعدة الخاص بنا.

كيف تحمي مشروعك من حركة مرور الروبوت ومتى تبدأ؟

من المهم أن تتحقق بانتظام من حركة المرور الخاصة بك بحثًا عن برامج روبوت ضارة وأن تكون مستعدًا في أي وقت لحماية نفسك. حتى إذا لم تلاحظ التأثيرات السلبية بعد ، فحاول حساب مقدار حركة مرور الروبوت. إذا كانت الروبوتات تمثل أكثر من 25٪ من إجمالي حركة المرور الخاصة بك ، فهناك خطر حدوث مشكلات على Google. هذا هو الوقت الذي تحتاج فيه إلى البدء بشكل عاجل في حماية موقع الويب الخاص بك.

يجب أن تفهم أنه من المستحيل التخلص من 100٪ من الروبوتات. ومع ذلك ، هناك خدمات بسيطة ستساعدك على تقليل عددها. ستحفظ هذه الخدمات المحتوى الخاص بك ، وتحسن مراكزك في نتائج البحث ، بالإضافة إلى حماية إعلاناتك وروابطك من النقرات الاحتيالية.

CloudFlare

يحمي CloudFlare حوالي 30٪ من جميع المواقع.

مزايا:

• يخزن الصور مؤقتًا ، مما يقلل الحمل على الخادم.
• إذا قمت بتكوين ثلاث قواعد بسيطة ، فستتلقى حماية ممتازة من العديد من الروبوتات التي لا تدعم HTTP2. هذه القواعد الثلاث هي: محللات المحتوى البدائي ، ومدققات الثغرات الأمنية ، وبعض مرسلي البريد العشوائي.
• يحميك من هجمات DDoS.
• كل هذا متاح مع الخطة المجانية. حتى خدمات الحماية من هجمات DDoS المدفوعة لا تتمتع عمومًا بمزايا مهمة على CloudFlare.

سلبيات:

• CloudFlare لا يحمي من الغش في العوامل السلوكية.

تقدم CloudFlare العديد من الخيارات. على سبيل المثال ، فهو مجاني للمواقع والتطبيقات الشخصية لما يصل إلى 50 مستخدمًا. إذا كنت بحاجة إلى ميزات أمان أكثر قوة ، فيمكنك توصيل الخيارات المدفوعة التي تبدأ من 5 دولارات شهريًا.

مضاد بوت

ساعد AntiBot في حل مشكلة الروبوتات على مدونة Travelpayouts. تم تثبيته في فبراير 2021 وأوقف جميع أنواع الروبوتات ، بما في ذلك تلك التي تغش في العوامل السلوكية. يمكن استخدام AntiBot مع CloudFlare.

أثناء فحص AntiBot ، يرى المستخدمون صفحة مشابهة لصفحة CloudFlare لمدة 1-3 ثوانٍ ، ثم ينتقلون تلقائيًا إلى الصفحة التالية. إذا لم يجتاز المستخدمون الاختبار التلقائي ، والذي يحدث في حوالي 5٪ من الحالات ، فيجب عليهم الضغط على الزر.

مزايا:

1. سهولة التكامل والإعدادات.
2. أقصى قدر من الحماية ضد الروبوتات المقنعة من قبل البشر لتحسين العوامل السلوكية.
3. باستخدام AntiBot ، لا يتم حظر المواقع ولا تغير مواقعها في نتائج البحث نتيجة للروبوتات.
4. تتم ترجمة الاختبار إلى أكثر اللغات شيوعًا ، ويمكنك تخصيص هذه الصفحة.
5. يحمي AntiBot الإعلانات من النقرات الاحتيالية ولا يتدخل في طريقة عمل هذه الإعلانات. تخضع المواقع التي تحتوي على AntiBot للإشراف بنجاح في AdSense (عند إعداد حسابك: تحتاج إلى إضافة إلى القائمة البيضاء للروبوتات في AdSense).
6. إذا لم تكن لديك خبرة في تثبيت البرامج النصية ، فيمكنك شراء إعداد التثبيت والتجهيز الكامل مقابل رسوم إضافية.

سلبيات:

1. لن تتمكن المواقع التي تحتوي على AntiBot من الإعلان على إعلانات Google ، حيث لن يتم الإشراف عليها.
2. لا يوفر حماية ضد هجمات DDoS.

تعتمد تكلفة Antibot على عدد المجالات وتتراوح من 25 دولارًا إلى 99 دولارًا سنويًا. بالنسبة لقراء مدونة Travelpayouts ، أعدت AntiBot رمزًا ترويجيًا لمدة تزيد عن 30 يومًا من فترة الاختبار على مجال واحد وجميع نطاقاته الفرعية. ال TP2022 القسيمة صالحة للتسجيل حتى 1 سبتمبر 2023.

هل سبق لك أن اكتشفت روبوتات على موقعك؟ شارك في التعليقات كيف أثرت هذه الروبوتات على مشروعك وكيف قمت بحماية موقعك؟