Локальные 200B уже не выглядят фантастикой: что меняют Bonsai и TurboQuant
Последние новости в сфере ИИ намекают на важный сдвиг: локальный запуск очень больших моделей уже не выглядит чистой фантастикой. В этой статье я разбираю две технологии — Bonsai и TurboQuant, — которые бьют по двум главным ограничениям инференса: размеру весов и объёму KV-cache. А затем прикидываю, что будет, если ...
Последние новости в сфере ИИ намекают на важный сдвиг: локальный запуск очень больших моделей уже не выглядит чистой фантастикой. В этой статье я разбираю две технологии — Bonsai и TurboQuant, — которые бьют по двум главным ограничениям инференса: размеру весов и объёму KV-cache. А затем прикидываю, что будет, если однажды их удастся объединить и масштабировать до моделей уровня 235B.
Краткая сводка
Последние новости в сфере ИИ намекают на важный сдвиг: локальный запуск очень больших моделей уже не выглядит чистой фантастикой. В этой статье я разбираю две технологии — Bonsai и TurboQuant, — которые бьют по двум главным ограничениям инференса: размеру весов и объёму KV-cache.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Программируем на калькуляторе dc
После того, как я научился как следует перекладывать JSON’ы, я решил получше изучить еще какой-нибудь необычный инструмент. В юниксах есть такой древний (старше языка C) калькул...
Как настроить автоматические пины из статей сайта в Pinterest
Pinterest — не просто соцсеть для рецептов и идей. Это мощная визуальная поисковая система, которая может приводить целевой трафик на статьи, если правильно «подружить» её с сай...
Прохождение машины Stacked на Hack The Box
Всем привет! Сегодня предлагаю вместе со мной решить интересную машину на платформе Hack The Box. На пути мы столкнемся с необычной XSS, уязвимостью в названии функций, приводящ...
Цена обсессии или как я пытался программно выключить джойстик Xbox Series
Всем привет! Я - новичок на Хабре, потому, набравшись смелости, хотел бы поделиться небольшим домашним проектом, над которым работаю последний год в свободное время.Расскажу нем...
![[Перевод] день запуска Artemis II](https://habrastorage.org/getpro/habr/upload_files/bbe/f17/367/bbef17367a1b962670f7978ce5b68685.jpg)
[Перевод] день запуска Artemis II
Перевод и редактура страницы NASA от 1 апреля 2026 года по оригинальной публикации. Все времена указаны по восточному времени США: EDT (UTC-04:00). Записи расположены в прямом х...
Quirk: квантовый симулятор для начинающих
Quirk – браузерный симулятор квантовых схем, "toy quantum circuits simulator".Его разработал Крейг Гидни (Craig Gidney), инженер, работающий в Google над квантовыми вычислениями...
Страницы сущностей
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Программируем на калькуляторе dc
После того, как я научился как следует перекладывать JSON’ы, я решил получше изучить еще какой-нибудь необычный инструмент. В юниксах есть такой древний (старше языка C) калькул...
Как настроить автоматические пины из статей сайта в Pinterest
Pinterest — не просто соцсеть для рецептов и идей. Это мощная визуальная поисковая система, которая может приводить целевой трафик на статьи, если правильно «подружить» её с сай...
Прохождение машины Stacked на Hack The Box
Всем привет! Сегодня предлагаю вместе со мной решить интересную машину на платформе Hack The Box. На пути мы столкнемся с необычной XSS, уязвимостью в названии функций, приводящ...
Цена обсессии или как я пытался программно выключить джойстик Xbox Series
Всем привет! Я - новичок на Хабре, потому, набравшись смелости, хотел бы поделиться небольшим домашним проектом, над которым работаю последний год в свободное время.Расскажу нем...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Программируем на калькуляторе dc
После того, как я научился как следует перекладывать JSON’ы, я решил получше изучить еще какой-нибудь необычный инструмент. В юниксах есть такой древний (старше языка C) калькул...
Как настроить автоматические пины из статей сайта в Pinterest
Pinterest — не просто соцсеть для рецептов и идей. Это мощная визуальная поисковая система, которая может приводить целевой трафик на статьи, если правильно «подружить» её с сай...
Jarvis Pattern: почему AI-агенту не нужен фреймворк, а нужна операционная система
Один AI-агент на базе Claude Sonnet закрывает 100% моих DevSecOps-задач. Без фреймворков, без оркестраторов, без векторных баз. Только LLM, операционная система и markdown-файлы...
Прохождение машины Stacked на Hack The Box
Всем привет! Сегодня предлагаю вместе со мной решить интересную машину на платформе Hack The Box. На пути мы столкнемся с необычной XSS, уязвимостью в названии функций, приводящ...