البدايات البيضاء: هل الروبوتات "الجيدة" جيدة حقًا؟

البدايات البيضاء: هل الروبوتات "الجيدة" جيدة حقًا؟

يبدو أن مسألة الروبوتات الجيدة والسيئة بسيطة للغاية بالنسبة للشركات: حظر البعض ، والسماح للآخرين بالمرور. ومع ذلك ، فإن هذه العملية لها الفروق الدقيقة الخاصة بها. ويرجع ذلك إلى حقيقة أن الروبوتات السيئة تتنكر على أنها برامج جيدة ، وحقيقة أن الروبوتات التي تمت تهيئتها بشكل غير صحيح من القائمة البيضاء يمكن أن تفسد حركة المرور وتعطيل الموقع ، وحقيقة أن الشركات لا تحتاج دائمًا إلى حظر روبوت ، ولكنك تحتاج فقط إلى فهم أين سار. دعونا نرى كيف تختلف الروبوتات السيئة عن الجيدة.

بعض الإحصائيات

GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .

, , . , , - 22.9%, - - 17.9%.

: , , DDoS-, , , , - , - , - , , , - , .

. . , (, - -), , -.

(crawlers)

- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.

-

, , , , . : Amazon Echo, Google Home, Siri, . .

-, : , , . , . - Content ID YouTube, .

, Google Shopping. - , .

, (, , - ).

, whitelist Variti , , , preview - , - . , , ., AdSense-, , .

, , , , . .

, . . , - - . , , . .

. , , - , . .

, , , , - .. , , IP-, .

, . , Android , , . , , . , - , , , . , .

, , IP , . IP , CIDR-, .

“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .

. , , website.com/api. API, - , API IP . , API .

whitelists, IP , , – Variti, , Telegram- Variti .

, , . , , . - SMS-. , SMS- - . , . , . , SMS, .

, “”, . , 10 , 1000. robots.txt, , . , , . , - , .

- . - , IP-, , .. DDoS-. , .

, , . . . – , , . , .

GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .

, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .

, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .

, , . , , .

Variti user agent, , IP , , , . , , ( Chrome, headless) , .

, , , , . .

, “ ”

“” , . , , . , , — . , , - - , .

, , , email. - , . , , .

Firefox, Chrome, Internet Explorer Safari , - , . .

robots.txt — , . , , . : , . , - - , robots.txt. - .

, , . , - - , (, - ), stealth-, , . - ?