News Grower

Независимое покрытие AI, стартапов и технологий.

Target Encoding: кодирование категориальных признаков без утечки данных

Target encoding кажется удобным способом «сжать» категориальные признаки и добавить модели сигнал, но вместе с этим он легко приводит к утечке таргета и завышенным метрикам, которые не переживают прод. В статье разбирается, где именно возникает leakage, почему наивная реализация ломает модель и как правильно считать...

Автор: badcasedaily1 (OTUS) Оригинальный источник
Target Encoding: кодирование категориальных признаков без утечки данных

Target encoding кажется удобным способом «сжать» категориальные признаки и добавить модели сигнал, но вместе с этим он легко приводит к утечке таргета и завышенным метрикам, которые не переживают прод. В статье разбирается, где именно возникает leakage, почему наивная реализация ломает модель и как правильно считать признаки через LOO и K-Fold, чтобы получать честный результат, а не иллюзию качества.

Связанные теги

Компании и люди

Линия сюжета

Продолжить следить за темой

Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.

To AI or not to AI или «будь на правильной стороне прогресса»?

To AI or not to AI или «будь на правильной стороне прогресса»?

В наше время многие (вполне обоснованно) беспокоятся, что их заменит ИИ.Это и люди работающие в поддержке и даже многие IT-шники, включая моих знакомых. Стать на правильной стор...

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Привет, Хабр! Меня зовут Роберт Арифулин. Я в Сбере разрабатываю ИИ-решения для банкоматов и других устройств самообслуживания. Сегодня я хочу рассказать, как мы сделали эволюци...

Сборка механической клавиатуры — опыт, детали, подробный гайд

Сборка механической клавиатуры — опыт, детали, подробный гайд

Привет, Хабр! На связи Руслан, инженер по информационной безопасности в Selectel. Эта статья — для тех, кто задумывался о сборке собственной механической клавиатуры, но кого отп...

Нормализация состояния в React через реестр сущностей: паттерн на Zustand с рекурсивным парсингом и мягкими удалениями

В этой статье я разберу паттерн Entity Registry — плоский реестр сущностей на базе Zustand, который автоматически нормализует любые ответы API, хранит данные в едином словаре по...

Как суровый завод перешёл из офлайна в онлайн – диверсифицировался и продал на 5 млрд за 9 месяцев

Как суровый завод перешёл из офлайна в онлайн – диверсифицировался и продал на 5 млрд за 9 месяцев

Привет, Хабр! Это Сергей Перевозчиков, основатель агентства контекстной рекламы «КонтекстЛаб». Когда ко мне обратился производитель дорогостоящего оборудования, перед нами стоял...

Рекламный слот

Встроенный блок в статье

Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.

Партнерский слот

Похожие статьи

Еще материалы, которые пересекаются по тегам, источнику или категории.

To AI or not to AI или «будь на правильной стороне прогресса»?

To AI or not to AI или «будь на правильной стороне прогресса»?

В наше время многие (вполне обоснованно) беспокоятся, что их заменит ИИ.Это и люди работающие в поддержке и даже многие IT-шники, включая моих знакомых. Стать на правильной стор...

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Привет, Хабр! Меня зовут Роберт Арифулин. Я в Сбере разрабатываю ИИ-решения для банкоматов и других устройств самообслуживания. Сегодня я хочу рассказать, как мы сделали эволюци...

Сборка механической клавиатуры — опыт, детали, подробный гайд

Сборка механической клавиатуры — опыт, детали, подробный гайд

Привет, Хабр! На связи Руслан, инженер по информационной безопасности в Selectel. Эта статья — для тех, кто задумывался о сборке собственной механической клавиатуры, но кого отп...

Еще материалы от Habr

Свежие публикации и продолжение темы от той же редакции.

Открыть страницу источника
Spark SQL Scripting. Новые возможности для инженеров данных

Spark SQL Scripting. Новые возможности для инженеров данных

До недавнего времени для реализации сложной многошаговой логики в экосистеме Apache Spark разработчикам приходилось выходить за рамки декларативного SQL. Оркестрация последовате...

To AI or not to AI или «будь на правильной стороне прогресса»?

To AI or not to AI или «будь на правильной стороне прогресса»?

В наше время многие (вполне обоснованно) беспокоятся, что их заменит ИИ.Это и люди работающие в поддержке и даже многие IT-шники, включая моих знакомых. Стать на правильной стор...

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Эволюционный агент: как ИИ учится улучшать логику обработки заявок для банкоматов Сбера

Привет, Хабр! Меня зовут Роберт Арифулин. Я в Сбере разрабатываю ИИ-решения для банкоматов и других устройств самообслуживания. Сегодня я хочу рассказать, как мы сделали эволюци...