IPB

Добро пожаловать, гость ( Вход | Регистрация )

> Баги сайта и форума, пишем сюда о всех обнаруженных ошибках
Blade
Jun 14 2006, 14:16
Сообщение #1


Administrator
*

Группа: Root Admin
Сообщений: 6
Регистрация: 8-June 06
Из: Талдом
Пользователь №: 1
Спасибо сказали: 0 раз(а)



Поправил кодировку терь вроде все в норме! =)
Просьба если будут замечены какие либо ошибки на сайте или форума сообщайте о них сюда.


--------------------
Не пойман - не призывник
User is offlineProfile CardPM
Go to the top of the page
+Quote Post
 
Reply to this topicStart new topic
Ответов
-=CHE@TER=-
May 7 2025, 11:58
Сообщение #2


Walter Sullivan
***

Группа: Root Admin
Сообщений: 1,373
Регистрация: 4-February 08
Пользователь №: 3
Спасибо сказали: 320 раз(а)



Отключил создание гостевых сессий на форуме - давно хотел. Штатными средствами это невозможно сделать, так что пришлось в исходный код лезть. При первом входе на форум больше не будет уродских s=0123456789abcdef0123456789abcdef в ссылках. А куки с session_id теперь создаются только при попытке входа (когда логин и пароль ввели и пытаетесь войти).
Какие плюсы:
1. Как я уже сказал, не будет уродских ссылок.
2. Форум будет лучше индексироваться тем же Archive.org и другими поисковыми системами - ссылки не будут различаться из-за "&s=..." в них.
3. Опять же, лог-файлы форума будет проще анализировать - там не будет километровых "&s=..." в ссылках.
Какие минусы:
1. Параноики куки не использующие (кто даже больший параноик, чем я) зайти на форум не смогут.
2. Возможно, могут гости отвалиться. Ну, т.е. вся эта статистика "X чел. читают эту тему".
3. Возможно, я мог что-нибудь случайно поломать, так что пишите, если кто-то что-то обнаружил.
Если, вдруг, кто-то не сможет зайти на форум, то пишите мне на почту или в обратную связь на сайте - будем разбираться.

Почему я этим решил всё же озадачиться? Дело в том, что полез вчера в панель управления хостинга спам фильтры для почты обновить (какие-то дебилы с рекламой Oracle уже капитально достали) и обнаружил, что у нас 500 Мб занимают недельные логи веб-сервера нашего сайта. И это при том, что все логи, кроме логов за сегодня, упакованы в .GZ архивы. И это при том, что весь наш сайт сейчас, включая форум и обе БД занимает менее 150 Мб. Служба поддержки ответила, чтобы я не переживал, всё нормально, но меня это напрягло.
Скачал логи за 2025-05-05 у форума, распаковал. Получилось такое:
forum.ctpax-x.org.access.log-20250505 - 347 Мб - логи доступа к страницам и файлам
forum.ctpax-x.org.error.log-20250505 - 153 Мб - логи с ошибками
Я, честно сказать, просто офигел когда это увидел. Заглянул в логи доступа, там куча ботов. Сделал фильтрацию файла access в другой файл убрав все строки логов с ботами. Получилось 348 Кб - в 1000 (прописью: в тысячу!) раз меньший файл. Решил собрать статистику, получилась следующая картина (текст можно сохранить в текстовый файл "bots.csv" чтобы потом в Excel открыть и круговую диаграмму построить - позволяет наглядно оценить масштаб катастрофы):

CODE
AhrefsBot;641
Amazonbot;223546
Applebot;40
bingbot;688
BitSightBot;23
BLEXBot;55202
Bytespider;298
ChatGPT-User;6
DotBot;280
facebookexternalhit;266
Googlebot;413
keys-so-bot;74
meta-externalagent;1083405
MJ12bot;8442
OAI-SearchBot;13
PerplexityBot;6
PetalBot;16932
SemrushBot;4888
VelenPublicWebCrawler;20
YandexBot;12
Yatcybot;294

Кстати говоря, обновил список известных ботов для форума добавив туда всех вышеперечисленных.
Не трудно заметить что meta-externalagent (это Facebook) и Amazonbot (это Amazon) совсем охренели. Особенно лицокнига - более миллиона (!!!) обращений за сутки! Да вы там совсем опухли что ли?! Причём, если погуглить, то на meta-externalagent много жалуются, что бот создаёт какой-то просто невыносимый трафик на сайт. Люди изобретают всякие решения (например) чтобы бота не блокировать, но его охреневшие аппетиты как-то поубавить.
Но самое прикольное, что почти весь error.log - это примерно вот такие записи:

QUOTE
2025/05/04 03:51:26 [warn] 1234567#1234567: *12345678 an upstream response is buffered to a temporary file /tmp/proxy/1/23/0001234567 while reading upstream, client: 57.141.0.28, server: forum.ctpax-x.org, request: "GET /index.php...

57.141.0.xxx - это как раз адреса ботов meta-externalagent.
И такого дерьма на 150+ Мб.
Цукерберг, или кто там у вас главный, немедленно прекрати!
Это к слову о том, что современные мощности позволяют писать какой угодно шлакокод.
А то что эта фигня на палке тупо сайты DDoS'ит - об этом никто не думает.


Спасибо сказали:
User is offlineProfile CardPM
Go to the top of the page
+Quote Post

Сообщения в этой теме
Blade   Баги сайта и форума   Jun 14 2006, 14:16
Siberian GRemlin   Круто! Было бы неплохо уже разбить форум на те...   Jun 14 2006, 15:24
Blade   Круто! Было бы неплохо уже разбить форум на т...   Jun 14 2006, 15:36
-=CHE@TER=-   Уже разбили. (*улыбается*)   Jun 15 2006, 16:31
Siberian GRemlin   Русификатор пишется с одной "с", поправт...   Jun 21 2006, 16:59
-=CHE@TER=-   Русификатор пишется с одной "с", поправт...   Jun 22 2006, 08:21
jTommy   Blade или -=CHE@TER=-: На главной странице форума ...   Jul 9 2006, 21:41
-=CHE@TER=-   [b]Blade или -=CHE@TER=-: На главной странице фору...   Jul 9 2006, 22:46
Xplorer   Опечатка в Правилах: 4. Оскорблять   Jul 13 2006, 10:54
-=CHE@TER=-   Опечатка в Правилах: 4. Оскорблять Большое спасибо...   Jul 13 2006, 11:59
-=CHE@TER=-   1) Так, вчера поправил гостевую и админку... 2) По...   Aug 1 2006, 16:49
Siberian GRemlin   Неправильные ссылки на форуме: 1. шапка с сылкой н...   Nov 2 2006, 16:14
-=CHE@TER=-   Неправильные ссылки на форуме: 1. шапка с сылкой н...   Nov 3 2006, 06:38
-=CHE@TER=-   Пофиксены баги: 1) С логотипом - теперь он ссылает...   Nov 9 2006, 19:05
narma   залил аватару, URL получился такой: http://www...   Nov 13 2006, 06:59
-=CHE@TER=-   залил аватару, URL получился такой: http://www...   Nov 13 2006, 17:32
jTommy   На странице "О Сайте" не работают ссылки...   Dec 1 2006, 18:56
-=CHE@TER=-   На странице "О Сайте" не работают ссылки...   Dec 1 2006, 20:53
Siberian GRemlin   А когда заработает уведомление по мылу о новых соо...   Jun 6 2007, 16:00
-=CHE@TER=-   А оно не работает что-ли?.. Гм. Никогда им не поль...   Jun 6 2007, 17:20
jTommy   У меня работало, потом отписался - легче сразу сюд...   Jun 6 2007, 17:55
Siberian GRemlin   Всё включено и даже подписано но кучку тем, но не ...   Jun 7 2007, 02:13
-=CHE@TER=-   Странно - только что проверил - всё ок. Мне даже н...   Jun 7 2007, 10:41
jTommy   Всё включено и даже подписано но кучку тем, но не ...   Jun 7 2007, 15:03
-=CHE@TER=-   Сделал тэги cut и offtopic. Все посты (например н...   Dec 23 2007, 16:11
jTommy   Сделал тэги cut и offtopic.Может Offtopic лучше вы...   Dec 23 2007, 22:09
Alex   -=CHE@TER=- http://www.ibresource.ru/db/770/ - Кно...   Dec 24 2007, 03:18
-=CHE@TER=-   Может Offtopic лучше выделять мелким "почерко...   Dec 24 2007, 09:47
Alex   Ну так ты скажи чего тебе надо, я скачаю и залью к...   Dec 25 2007, 10:34
-=CHE@TER=-   Ну так ты скажи чего тебе надо, я скачаю и залью к...   Dec 25 2007, 15:32
Alex   Отправил ещё вчера. ;) С тебя результат. ( в смысл...   Dec 26 2007, 21:19
-=CHE@TER=-   Отправил ещё вчера. ;) С тебя результат. ( в смысл...   Jan 1 2008, 19:36
Alex   Можеш показать код? А вообще есть один вопрос, по...   Jan 2 2008, 06:27
-=CHE@TER=-   Если конечно твой выбор окончательный, то предоста...   Jan 2 2008, 10:02
Alex   Так, хорошо. Сегодня ночью думаю уже будет готово,...   Jan 2 2008, 20:21
-=CHE@TER=-   Всё ок - я нашёл ошибку. Оказывается нужно было не...   Jan 2 2008, 20:26
Alex   Попробуй вот так (это просто на взгляд) if ...   Jan 2 2008, 20:26
-=CHE@TER=-   Если хочешь, могу кнопочку хорошую нарисовать?Ага,...   Jan 2 2008, 20:31
Alex   Через минут 15 будет. :) А вообще вроде как особо...   Jan 2 2008, 20:49
-=CHE@TER=-   Через минут 15 будет. :) Вот. :)Кнопочка успешно ...   Jan 2 2008, 21:00
Alex   Я так понемаю ресинхронизировал шаблоны с базой? ...   Jan 2 2008, 21:03
-=CHE@TER=-   Я так понемаю ресинхронизировал шаблоны с базой? :...   Jan 2 2008, 21:13
Alex   А ну ты бы так и сказал. :) Сейчас поищу.   Jan 2 2008, 21:15
-=CHE@TER=-   Да всё ок - у меня уже есть каптча, мне Grom PE сс...   Jan 2 2008, 21:16
-=CHE@TER=-   Новое правило для форума:   Mar 31 2008, 18:59
-=CHE@TER=-   Внедрена, понимаешь, возможность переключать язык ...   May 23 2008, 18:37
Grom PE   Можно ли настроить отображение времени по-привычно...   Jun 16 2008, 03:09
-=CHE@TER=-   Можно ли настроить отображение времени по-привычно...   Jun 16 2008, 12:01
Grom PE   Если это не сложно, хотелось бы видеть дату у комм...   Sep 1 2008, 10:56
-=CHE@TER=-   Если это не сложно, хотелось бы видеть дату у комм...   Sep 1 2008, 16:13
-=CHE@TER=-   Так как на форуме в настоящий момент свыше 10 тыся...   Sep 14 2008, 15:19
Grom PE   -=CHE@TER=-, может, капчу поставишь?   Sep 14 2008, 18:12
-=CHE@TER=-   -=CHE@TER=-, может, капчу поставишь?Это надо в пот...   Sep 15 2008, 11:54
-=CHE@TER=-   [b]ВСЕМ СМЕНИТЬ ПАРОЛИ И ПРОВЕРИТЬ СВОЙ E-MAIL НА ...   Sep 19 2008, 16:09
Raf-9600   Гы. А я расценил письмо в личку как пробу украсть ...   Sep 20 2008, 15:57
Xplorer   Неплохо бы сделать ссылки в новостях на обновлённы...   Nov 30 2008, 08:49
-=CHE@TER=-   Неплохо бы сделать ссылки в новостях на обновлённы...   Nov 30 2008, 11:42
-=CHE@TER=-   К сожалению, сайт товарища Heimdallr'а накрылс...   Dec 15 2008, 22:17
-=CHE@TER=-   Сегодня форум очень мрачно накрылся тазом. При поп...   Apr 26 2009, 11:14
-=CHE@TER=-   Так, залил все аватары (.GIF без анимации ещё и в ...   Sep 18 2009, 19:13
-=CHE@TER=-   Почему-то при попытке сделать резервную копию БД ф...   Jan 15 2010, 01:01
-=CHE@TER=-   Товарищи! Обновлял сегодня сайт в связи с чем ...   May 31 2013, 20:47
Siberian GRemlin   Другим шрифтом можно? Этот мне неизвестен.   Jun 1 2013, 11:54
-=CHE@TER=-   Другим шрифтом можно? Этот мне неизвестен.Спасибо ...   Jun 1 2013, 13:44
-=CHE@TER=-   Товарищ Siberian GRemlin! А у тебя какой тепер...   Apr 22 2014, 12:24
-=CHE@TER=-   Siberian GRemlin сделал новый логотип, за что ему ...   Jun 6 2013, 17:41
-=CHE@TER=-   Убрал из подвала сайта баннеры-счётчики, так как т...   Oct 12 2013, 23:01
Siberian GRemlin   siberian-studio.ru — старый и постоянный.   Apr 22 2014, 12:32
-=CHE@TER=-   Создал подфорум "Оборудование" и перемес...   Jan 24 2015, 16:48
Siberian GRemlin   «Firefox» версии 38.0.5 блокирует загрузку файла, ...   Jul 1 2015, 08:08
-=CHE@TER=-   Спасибо! Программы переписал на сях, архив обн...   Jul 2 2015, 09:34
Siberian GRemlin   Дело не в проге, а в дурной «лисе». Она теперь и ч...   Jul 2 2015, 10:13
-=CHE@TER=-   Наверное можно погуглить и найти - я просто соврем...   Jul 2 2015, 11:20
-=CHE@TER=-   Сегодня от хостера пришло автоматическое уведомлен...   Aug 14 2015, 08:50
-=CHE@TER=-   Чутка поправил сайт - см. новости. Комментарии теп...   Sep 26 2015, 20:06
Siberian GRemlin   Каждый раз, когда я отвечаю в теме, на которую под...   Jul 1 2020, 14:18
-=CHE@TER=-   Так, поправил пару файлов в исходных кодах форума ...   Jul 1 2020, 20:00
Siberian GRemlin   Отписался в настройках и поставил галочку здесь.   Jul 2 2020, 18:31
-=CHE@TER=-   Письмо пришло. Правда в спам попало, но не страшно...   Jul 2 2020, 18:51
Siberian GRemlin   Мне ничего не пришло.   Jul 10 2020, 06:29
-=CHE@TER=-   Очень странно. Мне только что второе письмо пришло...   Jul 10 2020, 10:35
necros2k7   А сертификат для HTTPS можно прикрутить? А то в 20...   Aug 10 2022, 13:18
-=CHE@TER=-   А сертификат для HTTPS можно прикрутить? А то в 20...   Apr 5 2024, 08:15
-=CHE@TER=-   Grom PE в 2016 году этот вопрос поднимал, когда мы...   Aug 10 2022, 20:00
-=CHE@TER=-   Отключил создание гостевых сессий на форуме - давн...   May 7 2025, 11:58


Reply to this topicStart new topic
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0 -

 



Упрощённая версия Сейчас: 1st June 2025 - 01:04