![]() |
Добро пожаловать, гость ( Вход | Регистрация )
![]() |
Blade |
![]()
Сообщение
#1
|
![]() Administrator ![]() Группа: Root Admin Сообщений: 6 Регистрация: 8-June 06 Из: Талдом Пользователь №: 1 Спасибо сказали: 0 раз(а) ![]() |
Поправил кодировку терь вроде все в норме! =)
Просьба если будут замечены какие либо ошибки на сайте или форума сообщайте о них сюда. -------------------- Не пойман - не призывник
|
![]() ![]() |
-=CHE@TER=- |
![]()
Сообщение
#2
|
Walter Sullivan ![]() ![]() ![]() Группа: Root Admin Сообщений: 1,373 Регистрация: 4-February 08 Пользователь №: 3 Спасибо сказали: 320 раз(а) ![]() |
Отключил создание гостевых сессий на форуме - давно хотел. Штатными средствами это невозможно сделать, так что пришлось в исходный код лезть. При первом входе на форум больше не будет уродских s=0123456789abcdef0123456789abcdef в ссылках. А куки с session_id теперь создаются только при попытке входа (когда логин и пароль ввели и пытаетесь войти).
Какие плюсы: 1. Как я уже сказал, не будет уродских ссылок. 2. Форум будет лучше индексироваться тем же Archive.org и другими поисковыми системами - ссылки не будут различаться из-за "&s=..." в них. 3. Опять же, лог-файлы форума будет проще анализировать - там не будет километровых "&s=..." в ссылках. Какие минусы: 1. Параноики куки не использующие (кто даже больший параноик, чем я) зайти на форум не смогут. 2. Возможно, могут гости отвалиться. Ну, т.е. вся эта статистика "X чел. читают эту тему". 3. Возможно, я мог что-нибудь случайно поломать, так что пишите, если кто-то что-то обнаружил. Если, вдруг, кто-то не сможет зайти на форум, то пишите мне на почту или в обратную связь на сайте - будем разбираться. Почему я этим решил всё же озадачиться? Дело в том, что полез вчера в панель управления хостинга спам фильтры для почты обновить (какие-то дебилы с рекламой Oracle уже капитально достали) и обнаружил, что у нас 500 Мб занимают недельные логи веб-сервера нашего сайта. И это при том, что все логи, кроме логов за сегодня, упакованы в .GZ архивы. И это при том, что весь наш сайт сейчас, включая форум и обе БД занимает менее 150 Мб. Служба поддержки ответила, чтобы я не переживал, всё нормально, но меня это напрягло. Скачал логи за 2025-05-05 у форума, распаковал. Получилось такое: forum.ctpax-x.org.access.log-20250505 - 347 Мб - логи доступа к страницам и файлам forum.ctpax-x.org.error.log-20250505 - 153 Мб - логи с ошибками Я, честно сказать, просто офигел когда это увидел. Заглянул в логи доступа, там куча ботов. Сделал фильтрацию файла access в другой файл убрав все строки логов с ботами. Получилось 348 Кб - в 1000 (прописью: в тысячу!) раз меньший файл. Решил собрать статистику, получилась следующая картина (текст можно сохранить в текстовый файл "bots.csv" чтобы потом в Excel открыть и круговую диаграмму построить - позволяет наглядно оценить масштаб катастрофы): CODE AhrefsBot;641 Amazonbot;223546 Applebot;40 bingbot;688 BitSightBot;23 BLEXBot;55202 Bytespider;298 ChatGPT-User;6 DotBot;280 facebookexternalhit;266 Googlebot;413 keys-so-bot;74 meta-externalagent;1083405 MJ12bot;8442 OAI-SearchBot;13 PerplexityBot;6 PetalBot;16932 SemrushBot;4888 VelenPublicWebCrawler;20 YandexBot;12 Yatcybot;294 Кстати говоря, обновил список известных ботов для форума добавив туда всех вышеперечисленных. Не трудно заметить что meta-externalagent (это Facebook) и Amazonbot (это Amazon) совсем охренели. Особенно лицокнига - более миллиона (!!!) обращений за сутки! Да вы там совсем опухли что ли?! Причём, если погуглить, то на meta-externalagent много жалуются, что бот создаёт какой-то просто невыносимый трафик на сайт. Люди изобретают всякие решения (например) чтобы бота не блокировать, но его охреневшие аппетиты как-то поубавить. Но самое прикольное, что почти весь error.log - это примерно вот такие записи: QUOTE 2025/05/04 03:51:26 [warn] 1234567#1234567: *12345678 an upstream response is buffered to a temporary file /tmp/proxy/1/23/0001234567 while reading upstream, client: 57.141.0.28, server: forum.ctpax-x.org, request: "GET /index.php... 57.141.0.xxx - это как раз адреса ботов meta-externalagent. И такого дерьма на 150+ Мб. Цукерберг, или кто там у вас главный, немедленно прекрати! Это к слову о том, что современные мощности позволяют писать какой угодно шлакокод. А то что эта фигня на палке тупо сайты DDoS'ит - об этом никто не думает. Спасибо сказали:
|
![]() ![]() |
Упрощённая версия | Сейчас: 1st June 2025 - 01:04 |