Очередь на Redis с Lua: порядок в партициях, общий пул воркеров и отложенные сообщения
Перед командой встала типичная для высоконагруженных сервисов постановка по обработке сообщений:1. Порядок обработки в рамках одной логической партиции 2. Очень много ключей партиций 3. Ограниченный пул воркеров, который шарится между партициями, при этом одна тяжёлая партиция не должна блокировать остальные 4. Ретр...
Перед командой встала типичная для высоконагруженных сервисов постановка по обработке сообщений:1. Порядок обработки в рамках одной логической партиции 2. Очень много ключей партиций 3. Ограниченный пул воркеров, который шарится между партициями, при этом одна тяжёлая партиция не должна блокировать остальные 4. Ретраи и отложенные сообщенияНи одна готовая «одна технология» не закрывает это из коробки без компромиссов. Ниже — как мы к этому пришли и что в итоге сделали в виде библиотеки smart-redis-queue (очередь на Redis, логика в Lua-скриптах).
Связанные теги
Компании и люди
Линия сюжета
Habr
Последние материалы и связанный контекст по теме Habr.
Habr
Последние материалы и связанные ссылки по теме Habr.
Lua
Последние материалы и связанные ссылки по теме Lua.
Lua
Последние материалы и связанный контекст по теме Lua.
Redis
Последние материалы и связанные ссылки по теме Redis.
Redis
Последние материалы и связанный контекст по теме Redis.
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Symfony Serializer
В Symfony есть встроенный компонент Serializer, который покрывает 90% задач. Но его часто обходят стороной, то ли по привычке, то ли из-за того, что документация показывает толь...
В МФТИ появился новый объект федерального значения — подземный переход до станции метро «Физтех»
Главный вход в этот переход сделали не где попало, а из подвала КПМ. Добраться туда можно на лифте в КПМ, нажав на минус первый этаж. Кроме того, подземный переход соединен с по...
ML и инфобез: три подхода для поиска аномалий во временных рядах
Представьте себе инфраструктуру крупной компании, где хранятся миллионы файлов, и сотрудники не только постоянно взаимодействуют с ними, но и создают новые. В этом бесконечном п...
Почему при 136 рпс и 150 рпс лимита наблюдалось 7 рпс ошибок 429
На скрине показано 40 минут графиков с балансировки некоторого эндпоинта. На выделенном участке видно 129.01 рпс успехов и 7.27 ошибок 4xx, которые являлись 429 от рпс-лимитера....
«Квазар»: концепция системы радиоэлектронной борьбы с БПЛА
Смотрел вчера во время ужина новости по ТВ — опять атаки БПЛА, опять разрушения, пострадавшие. Вспомнил новость, что Бюро 1440 запустило первую часть низкоорбитальной группировк...
Советы бывалого управленца — Борьба с текучкой персонала
#БорьбаСТекучкойПерсонала #СоветыБывалогоУправленцаСовет 1: У молодого поколения есть склонность к частой смене мест работы. Это следствие того, что вся их жизнь прошла в стабил...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Symfony Serializer
В Symfony есть встроенный компонент Serializer, который покрывает 90% задач. Но его часто обходят стороной, то ли по привычке, то ли из-за того, что документация показывает толь...
В МФТИ появился новый объект федерального значения — подземный переход до станции метро «Физтех»
Главный вход в этот переход сделали не где попало, а из подвала КПМ. Добраться туда можно на лифте в КПМ, нажав на минус первый этаж. Кроме того, подземный переход соединен с по...
ML и инфобез: три подхода для поиска аномалий во временных рядах
Представьте себе инфраструктуру крупной компании, где хранятся миллионы файлов, и сотрудники не только постоянно взаимодействуют с ними, но и создают новые. В этом бесконечном п...
Почему при 136 рпс и 150 рпс лимита наблюдалось 7 рпс ошибок 429
На скрине показано 40 минут графиков с балансировки некоторого эндпоинта. На выделенном участке видно 129.01 рпс успехов и 7.27 ошибок 4xx, которые являлись 429 от рпс-лимитера....
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Symfony Serializer
В Symfony есть встроенный компонент Serializer, который покрывает 90% задач. Но его часто обходят стороной, то ли по привычке, то ли из-за того, что документация показывает толь...
В МФТИ появился новый объект федерального значения — подземный переход до станции метро «Физтех»
Главный вход в этот переход сделали не где попало, а из подвала КПМ. Добраться туда можно на лифте в КПМ, нажав на минус первый этаж. Кроме того, подземный переход соединен с по...
ML и инфобез: три подхода для поиска аномалий во временных рядах
Представьте себе инфраструктуру крупной компании, где хранятся миллионы файлов, и сотрудники не только постоянно взаимодействуют с ними, но и создают новые. В этом бесконечном п...
Почему при 136 рпс и 150 рпс лимита наблюдалось 7 рпс ошибок 429
На скрине показано 40 минут графиков с балансировки некоторого эндпоинта. На выделенном участке видно 129.01 рпс успехов и 7.27 ошибок 4xx, которые являлись 429 от рпс-лимитера....
Дополнительное покрытие этой темы
Похожие публикации и близкие по смыслу материалы по этой же теме.
Как Redis Auto Failover повышает отказоустойчивость наших БД
Привет! Меня зовут Иван Откидач, я DevOps-инженер в команде DBA. Моя основная специализация — NoSQL-базы данных, в частности Redis и MongoDB. С каждым месяцем количество Redis, ...