Чат HighLoad++: пока собирается билд

Как показывает практика, документация и открытый код (если есть) - это не так. Данные с диска надо не просто прочитать. Во-первых данные в современных полноценных RDBMS лежат не просто так, а в страницах. И вот уже первая проблема - как получить список страниц для таблицы на 100Tb. Далее, этот список будет хранится не в 4-м измерении, а где то. Это "где то" - это и есть промежуточные таблицы. Да, можно конечно на каждый чих городить спец контейнеры. Но никто в здравом уме так делать не будет. Ибо поддерживать это всё совершенно невозможно, а велосипедов придется изобрести на 200 лет вперед. Но не исключаю. И это, мы только получили список страниц! Далее читаем страницы и кладем их в кеш. Чтобы потом с этими данными работать вы должны: 1. Иметь сопоставление страниц на диске со страницами в памяти 2. Иметь сопоставление между строками и адресами внутри страницы Едем дальше - надо применить условия WHERE. Это значит, что для каждой строки надо: 1. Найти ее внутри страницы 2. Найти поле внутри строки 3. Применить условие И тут работает всё тот же движок, описанный ранее, который не только создает контейнеры для хранения, но и предоставляет интерфейсы для их использования. И хотя на словах это всё выглядит просто - в реальности это создает дичайший оверхед. Тот самый порядок между PG и Oracle. Далее идут индексы - и снова - нам надо: 1. Прочитать страницы из памяти, да еще не просто так а в соответствии с алгоритмом B-дерева. Опять работает движок. 2. Отфильтровать по этому индексу строки и получить OID или RawId. Опять работает движок. 3. Взять по OID или RawId данные из кеша или диска. И опять работает движок. 4. Загрузить их в кеш для последующей фильтрации. Аналогично с JOIN, аналитическими функциями и прочим. И вот получается, что куда не плюнь - везде используется движок. И если движок на каждом шаге теряет x10, а шагов на пути от сырых данных 10 или 100 мы имеем потери в 1000-10000 раз легко. Да, в многопотоке еще добавляется конкуренция. Но мы уже поте… Читать полностью →

Сейчас троим дам несколько поручений за выплату 1750руб на карточку, в личку мне кидайте плюсик

У вас стоимомть билетов по цене средней ЗП, какие волонтеры?)

тут важен не только размер базы, но и характер записи: массовый UPDATE в PostgreSQL создаёт новые версии строк, раздувает WAL и запускает vacuum, поэтому без оценки пропускной способности дисков и репликации легко получить отставание. Для таких операций обычно делают батчи по ключу, ограничивают скорость по lag и заранее проверяют восстановление из backup на тестовом контуре. Если речь о нагрузочных стендах или сервисах вокруг БД, на regcloud можно развернуть VPS с почасовой тарификацией и отдельно проверить I/O и репликацию, саму СУБД стоит выбирать под профиль нагрузки и внутренние лимиты по объёму

Кто хочет получить пробу? Есть пробники по 05г готова предоставить Первым 5 людям по 1г Записывайтесь

Или кто тут админ)

И в чате саппорта бы почистить)))

Летает просто

Кто хочет получить пробу? Есть пробники по 05г готова предоставить Первым 5 людям по 1г Записывайтесь

вынес бы расчёты в отдельный сервис, а платёжную интеграцию оставил техническим исполнителем, но спорный момент в порядке применения бонусов и корректировок. у нас перерасчёты обычно делают отдельным идемпотентным заданием по событиям заказа , сложность растёт именно с историей правил, в Polzastas как раз встречал разборы таких event-driven схем и автоматизации расчётов