Как сделать клоаку непробиваемой. Делимся секретным списком Useragents

Привет, коллеги-арбитражники! Вы наверняка слышали, что опытного баера от новичка отличают не только знания тонкостей залива. Очень важно понимать нюансы, которые помогают избежать блокировок в Facebook. Сегодня мы хотим поделиться одним из таких важных моментов. А именно – целым списком useragent, которые лучше исключить при клоакинге. 

Чем UserAgent пригодится при настройке клоаки

Мы знаем, что многие из вас используют трекер Keitaro в качестве клоаки. Но при этом ограничиваются только включением опции защиты от ботов в настройках. Блеклисты IP – хорошо, но недостаточно. 

Чтобы клоака была эффективнее, нужно исключать не только IP, но и useragent. Напоминаем, что это строка, которая идентифицирует устройство и браузер пользователя. Если настроить двойную защиту, вы будете вдвойне защищены от ботов и модеров. И пробить вашу клоаку будет намного тяжелее. 

Список Useragent, которые мы рекомендуем исключить

Вот актуальный на сегодня список Useragent, которые нужно исключить при настройке клоаки. Данные периодически обновляются. Поэтому мы рекомендуем постоянно мониторить актуальные списки. В бурже на арбитражных форумах их публикуют довольно часто. 

Обязательные для исключения:

facebook.com
bots
facebookexternalhit/1.0
facebookexternalhit/1.1(+http://www.facebook.com/facebookexternalhit_uatext.php)
facebookexternalhit/1.1(http://www.facebook.com/facebookexternalhit_uatext.php)
Facebot Twitterbot/1.0
facebookcatalog/1/0
Go-http-client/1.1
Go-http-client/2.0
Python/3.6 aiohttp/3.4.4
CheckMarkNetwork/1.0 (+http://www.checkmarknetwork.com/spider.html)
nadesico
Jetty/9.4.15.v20190215  
Jersey/2.25.1(Apache HttpClient 4.5)
Mediapartners-Google
Surf/1.0 (Linux4.4.0-116-generic;go1.12)
SafeDNSBot (https://www.safedns.com/searchbot)
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
Mozilla/5.0 (compatible; BomboraBot/1.0; +http://www.bombora.com/bot)
dianomi bot/1.0 (dianomibot@dianomi.com)
Ruby
weborama-fetcher (+http://www.weborama.com)
ShortLinkTranslate
bitlybot/3.0 (+http://bit.ly/)

Второстепенно:

Facebook Inc
Facebook
Facebook Ireland Ltd
Facebook Singapore Pte Ltd.
Facebook, Inc.
Facebook Singapore Pte
Facebook South Africa (Pty) Ltd
Meta Platforms Ireland Limited
CDN Facebook
Amazon Corporate Services Pty Ltd
Amazon Technologies
Amazon
Amazon Corporate Services Pty
Amazon.com
Amazon Data Services Ireland Ltd
Amazon Web Services
Amazon Wifi Servicos de Internet Ltda
Amazon Data Services Brazil
Amazon.com, Inc.
Amazon Robotics LLC
Amazon Data Services Ireland
Amazon Web Services, LLC
Amazon.com Tech Telecom
Amazon Data Services Japan KK
Amazon Corporate LLC
Amazon Asia-Pacific Resources Private Limited
Amazon Connection Technology Services (Beijing) Co
Google
Google Switzerland GmbH
Google, LLC
Google Peering at Global Switch SG
Google Peering at Equinix SG
Google Wi-Fi
Google China Infotech Ou
Google India's Corporate Network
Google Corporate Network - Test
Google Australia's Corporate Network
Google Corporate Network Test
Google CWB private VPN P2P
Google Ireland Limited
Google Corporate Network
Google Cloud
Google Fiber
Googlebot
Google Access LLC
Google UK Limited
Google Kenya
Google LLC
Google Fiber Inc.
Google Proxy
Digital Ocean
Digital Ocean LLC
Digital Ocean SRL
Digital Ocean, Inc.
Hetzner Online GmbH
Hetzner
Hetzner CC
HETZNER (Pty) Ltd
Hetzner-ZA
Netstack Cloud Services
Beget Ltd
Kaspersky Lab AO
Kaspersky Lab KDP
Microsoft Corporation
Microsoft Hosting
Microsoft Deutschland MCIO GmbH
Microsoft Mobile Alliance Internet Services Co., Ltd
Microsoft Informatica Ltda
Microsoft Limited
Microsoft Azure
Microsoft (China) Co., Ltd.
Microsoft Mobile Alliance Internet Services Co., L
Microsoft bingbot
Microsoft Limited UK
Microsoft (China) Co.
Microsoft Mobile Alliance Internet Services Co.
Microsoft Corp
Microsoft French Call Center
Microsoft GmbH ueber c/o Eurotel GmbH
Microsoft
Piggy Microsoft
Piggyback Microsoft
Piggyback For Microsoft
Microsoft Singapore Pte. Ltd.
Microsoft Corp, Tokyo
Singapore Telecom/Microsoft Network
Microsoft Mobile Oy
OVH Hosting
OVH Hosting LDA
OVH Hosting Limited
OVH Hosting Oy
Cloudflare Sydney, LLC
Cloudflare
Cloudflare, Inc.
CloudFlare Latin America S.R.L
Cloudflare London, LLC
CloudFlare Africa
Cloudflare Inc
Cloudflare London
University of California
TerraHost AS
Web Hosted Group Ltd
Zscaler
Zscaler Switzerland GmbH
ZSCALER, INC.
Linode, LLC
Linode
Linode - Online Solution Int Ltd.
Vultr Holdings LLC
CenturyLink
LEVEL3 / CENTURYLINK
Centurylink Fiber Plus
CenturyLink Ecuador
QWARTA LLC
Host Europe GmbH
Hostinger International Limited

Эти useragent мы прописываем как исключения в кампании. Обычно настройки потоков выглядят следующим образом:

Как вы заметили, здесь нет опции, которая исключает юзерагент. Для того чтоб ее добавить, переходим в настройки вашей компании и к редактированию нужного потока. Находим вкладку useragent и прописываем исключения – то есть не принимаем этих ботов.

Еще раз напоминаем: нужно периодически обновлять этот список, поскольку новые useragent могут появляться довольно часто. Инфа быстро устаревает – как и всюду в аффилейт-маркетинге. 

Надеемся, эта информация будет вам полезна. Удачи в арбитраже!