🤖 Краулер Meta накрутил счёт за хостинг в 60 раз
Разработчик обнаружил, что бот Meta (
Все запросы шли на страницы с серверным рендерингом. Кэширование не помогло: краулеры заходят на уникальные URL один раз и уходят. Счёт Vercel вырос с $30 до $1 933.
Фикс — пара строк в robots.txt:
Вопрос к Vercel: почему защита от агрессивного краулинга не включена по умолчанию?
И к Meta: зачем 11 млн запросов — ради превью ссылок?
Вряд ли они мне тут ответят, конечно.
Разработчик обнаружил, что бот Meta (
meta-externalagent) отправил на его сайт 11 млн запросов за месяц, почти половину от трафика реальных пользователей. Googlebot за то же время сделал лишь 1,1 млн.Все запросы шли на страницы с серверным рендерингом. Кэширование не помогло: краулеры заходят на уникальные URL один раз и уходят. Счёт Vercel вырос с $30 до $1 933.
Фикс — пара строк в robots.txt:
User-agent: meta-externalagent
Disallow: /Вопрос к Vercel: почему защита от агрессивного краулинга не включена по умолчанию?
И к Meta: зачем 11 млн запросов — ради превью ссылок?
Вряд ли они мне тут ответят, конечно.
