Форум тормозит

[mazzy]

анекдот:
= в прошлом году мы посадили 6 гектар овса. хомяк его съел
= в этом году мы посадили 7 гектар овса. хомяк его съел
= с следующем году мы посадим 8 гектар овса. пусть подавится, зараза.
=====================

боты неистовствуют. прикидываются людьми. подстраиваются под лимиты.
но все равно выкачивают больше, чем люди, поскольку неутомимо долбят.
соотношение по выкачиваемому чуть больше, чем 4:1 в пользу ботов.
соотношение по числу запросов - 14:1 в пользу ботов.


смешно выглядит "пиковая нагрузка" из начала этой ветки - 100Kb/s на отдаче
сегодня это "обычная нагрузка".


"неизвестный бот" от одной компании-партнера более-менее укрощен.
на скриншоте ниже он отображен как "Unknown robot (identified by 'robot').
но начал "зверствовать" mail.ru-бот, подстраиваясь под частотные ограничения.


==================
к чему это я?
приношу свои извинения за доставленные неудобства и возможные тормоза форума.
будем бороться с ботами в пользу людей.

приоритеты - людям!

[mazzy]

в качестве отчета по проделанной работе (вдруг кому-то будет интересно)

в завершившемся июне был поставлен рекорд форума - всего с него выкачано более 110Гб. Из них более 90Гб выло выкачано ботами. (1)
За счет кэширование, перераспределения имеющихся ресурсов, изменения настроек удалось почти вдвое сократить объем данных, которые отдаются людям (2), одновременно удалось почти вдвое увеличить (3) число хитов (выполненные запросыот людей)

Другими словами, форум отвечает большему числу людей, отвечает чаще, скорость реакции выше и грузит каналы меньше.


за истекший июнь-месяц удалось обуздать безумных ботов-скачивальщиков.
однако все равно среди цивилизованных и приличных поисковых ботов отъявленным гопником выглядит mail.ru. Пока его не сильно режем, но при первых признаках нехватки ресурсов он будет первым кандидатом в баны.


отдельно хотелось бы сказать о всяких ботах-ломальщиках, ботах-спамерах и прочей нечисти, которая попала в пункт "остальное". в принципе их тоже ограничили, но частота обращения к странице регистрации показывает, что с нечистью еще можно будет побороться (примечание: я не хотел бы вдаваться в детали, но страница регистрации так устроена что она часто используется для взлома/хака форума)


хотелось бы показать немного истории (3 месяца):

1 - период до тормозов - спокойная и размеренная жизнь
2 - одновременно активизировалось несколько ботов. первым был, похоже, таки яндексовкий. хотя он быстро исправился. в этот период мы пытаемся изменить количественные параметры форума. в конце периода были внесены кардинальные структурные изменения в настройки
3 - оптимизация и фиксация новых настроек. отладка.
4 - работа с зафиксированными настройками

С 26.06 незамеченной прошла неделя новой активизации ботов.
И хорошо, что участники этого не заметили.

=========
Спасибо вам за терпение и понимание.

[lvan]

работа то проделана.
а результат нулевой
опять еле-еле дышит

[AndyD]

Поддерживаю

Форум ощутимо тормозит при открытии сообщений, поиске, сохранении ответов на сообщения

[mazzy]

Quote:

Originally Posted by lvan

работа то проделана.
а результат нулевой

больше 100-140 одновременных посетителей в пиковое время,
форум увеличивается на 11Мб данных в месяц,
download более 100Гб данных в месяц.
месяц безмятежной жизни при все увеличивающемся количестве ботов.

и "результат нулевой". ну-ну.

Quote:

Originally Posted by AndyD

Форум ощутимо тормозит при открытии сообщений, поиске, сохранении ответов на сообщения

да, сейчас идет очередная волна вот таких вот загадошных товарищей с загадошными запросами.
ломают-с.

не планирую вносить серьезные изменения в течение недели.
в выходные попробуем переналадить в соответствии с логами.

[mazzy]

каковы впечатления сегодня?

[Lucky13]

Что-то сегодня с утра конкретные тормоза были. По-моему, форум не мог достучаться до img.axforum.info

[mazzy]

понял. спасибо. посмотрю.

[Ivanhoe]

Если форум еще у Infobox, то вчера они извинялись за DDOS атаки на свои сервера.

[mazzy]

ага. там.
да, извинялись.
плюс выполнены регламентные работы по обслуживанию баз.