ORC in Hive/Spark — “анатомия” файла, индексация и фильтр Блума
ORC in Hive/Spark - “анатомия” файла, индексация и фильтр БлумаORC — это колоночный формат, то есть данные хранятся не по строкам (как в CSV), а по столбцам. Именно это даёт ему способность эффективно сжимать и читать только нужные колонки. Есть ещё встроенная индексация и фильтр Блума, которые позволяют не перелопа...
ORC in Hive/Spark - “анатомия” файла, индексация и фильтр БлумаORC — это колоночный формат, то есть данные хранятся не по строкам (как в CSV), а по столбцам. Именно это даёт ему способность эффективно сжимать и читать только нужные колонки. Есть ещё встроенная индексация и фильтр Блума, которые позволяют не перелопачивать лишние данные.Давайте заглянем под капот и посмотрим, как устроен ORC-файл, зачем там индексы и как фильтр Блума ускоряет поиск.I. Анатомия файла
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...
Топ-6 нейросетей для генерации и редактирования изображений
Давайте начистоту. У каждого из нас бывали моменты, когда в голове рождается идеальная картинка - яркая, сочная, именно такая, какая нужна. А потом начинается: стоковые фотограф...
Как «несуществующие» фотоны влияют на сверхпроводимость
Сверхпроводники давно вышли за пределы лабораторий и стали частью техники — от мощных магнитов в ускорителях до чувствительных датчиков в медицине. Их главное свойство, пропуска...
Одностраничный сайт на Next.js с навигацией по якорям
Одностраничный сайт с навигацией по якорям на Next.js: как синхронизировать скролл и URL без лишнего кода.
Делегирование для тимлида: как перестать быть главным исполнителем и не скатиться в микроменеджмент
Вы только что стали тимлидом? Поздравляю. А теперь вопрос: вы ещё пишете код или уже управляете людьми? Если второй вариант, а в голове всё ещё «я сделаю быстрее сам» — вы в лов...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...
Топ-6 нейросетей для генерации и редактирования изображений
Давайте начистоту. У каждого из нас бывали моменты, когда в голове рождается идеальная картинка - яркая, сочная, именно такая, какая нужна. А потом начинается: стоковые фотограф...
Как «несуществующие» фотоны влияют на сверхпроводимость
Сверхпроводники давно вышли за пределы лабораторий и стали частью техники — от мощных магнитов в ускорителях до чувствительных датчиков в медицине. Их главное свойство, пропуска...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ...
Протоколы, чтобы ИИ-агенты нашли общий язык
Системы ИИ уже управляют сетевой инфраструктурой. Например, в нашей PCEF-системе методы машинного обучения помогают находить аномалии в работе сети и «изолировать» подозрительны...
Топ-6 нейросетей для генерации и редактирования изображений
Давайте начистоту. У каждого из нас бывали моменты, когда в голове рождается идеальная картинка - яркая, сочная, именно такая, какая нужна. А потом начинается: стоковые фотограф...
Как «несуществующие» фотоны влияют на сверхпроводимость
Сверхпроводники давно вышли за пределы лабораторий и стали частью техники — от мощных магнитов в ускорителях до чувствительных датчиков в медицине. Их главное свойство, пропуска...