Google сократила потребление памяти ИИ-моделями в шесть раз без потери точности — с алгоритмом TurboQuant
Исследовательский отдел Google Research опубликовал работу о технологии TurboQuant — алгоритме квантизации, который сокращает разрядность KV-кеша больших языковых моделей до 3 битов без потери точности в ответах и без потребности в дополнительном обучении. В тестах на ускорителях искусственного интеллекта Nvidia H10...
Исследовательский отдел Google Research опубликовал работу о технологии TurboQuant — алгоритме квантизации, который сокращает разрядность KV-кеша больших языковых моделей до 3 битов без потери точности в ответах и без потребности в дополнительном обучении. В тестах на ускорителях искусственного интеллекта Nvidia H100 4-битный алгоритм TurboQuant (с четвёртым битом на коррекцию ошибок) помог восьмикратно повысить производительность при вычислении логитов внимания в сравнении с неквантованными 32-битными ключами; при этом объём KV-кеша сократился в шесть раз.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Мультиплеерный социальный детектив 4 Penny Coffins отправит игроков в викторианский Лондон искать Джека-потрошителя
Разработчики из канадской студии Other Ocean Interactive (Project Winter) представили мультиплеерный социальный детектив 4 Penny Coffins в антураже Лондона конца XIX века, вдохн...
ИИ поможет обнаруживать ошибки в коде проектов на GitHub
Администрация GitHub развернёт функцию сканирования кода с использованием искусственного интеллекта в сервисе Code Security — она поможет обнаруживать уязвимости вне службы стат...
Присяжные в США обязали Google выплатить компенсацию по деле о вреде соцсетей
Судебные разбирательства начались в 2023 году, когда несовершеннолетняя девушка подала иск против нескольких техно-компаний
МТС Exolve представила сервис для централизованной работы с клиентскими чатами
Компания МТС Exolve, являющаяся целиком дочерней структурой МТС, объявила о запуске омниканального решения для бизнеса для обработки клиентских обращений. Сервис объединяет в од...
Цифровые версии эксклюзивов Nintendo Switch 2 в США скоро станут дешевле розничных
Американское отделение Nintendo сообщило о решении внести изменения в ценовую политику цифровых и розничных версий выпускаемых компанией эксклюзивов гибридной консоли Switch 2.
В американских вузах стали возвращаться к устным экзаменам — из-за ИИ студенты перестали думать сами
Эпоха повсеместного присутствия искусственного интеллекта вынудила преподавателей американских вузов обратиться к некогда популярной форме проверки знания у студентов — к устным...
Рекламный слот
Article monetization slot
Reserved for contextual monetization inside article pages.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Мультиплеерный социальный детектив 4 Penny Coffins отправит игроков в викторианский Лондон искать Джека-потрошителя
Разработчики из канадской студии Other Ocean Interactive (Project Winter) представили мультиплеерный социальный детектив 4 Penny Coffins в антураже Лондона конца XIX века, вдохн...
ИИ поможет обнаруживать ошибки в коде проектов на GitHub
Администрация GitHub развернёт функцию сканирования кода с использованием искусственного интеллекта в сервисе Code Security — она поможет обнаруживать уязвимости вне службы стат...
Присяжные в США обязали Google выплатить компенсацию по деле о вреде соцсетей
Судебные разбирательства начались в 2023 году, когда несовершеннолетняя девушка подала иск против нескольких техно-компаний
МТС Exolve представила сервис для централизованной работы с клиентскими чатами
Компания МТС Exolve, являющаяся целиком дочерней структурой МТС, объявила о запуске омниканального решения для бизнеса для обработки клиентских обращений. Сервис объединяет в од...
Еще материалы от 3DNews Software
Свежие публикации и продолжение темы от той же редакции.
Мультиплеерный социальный детектив 4 Penny Coffins отправит игроков в викторианский Лондон искать Джека-потрошителя
Разработчики из канадской студии Other Ocean Interactive (Project Winter) представили мультиплеерный социальный детектив 4 Penny Coffins в антураже Лондона конца XIX века, вдохн...
ИИ поможет обнаруживать ошибки в коде проектов на GitHub
Администрация GitHub развернёт функцию сканирования кода с использованием искусственного интеллекта в сервисе Code Security — она поможет обнаруживать уязвимости вне службы стат...
МТС Exolve представила сервис для централизованной работы с клиентскими чатами
Компания МТС Exolve, являющаяся целиком дочерней структурой МТС, объявила о запуске омниканального решения для бизнеса для обработки клиентских обращений. Сервис объединяет в од...
Цифровые версии эксклюзивов Nintendo Switch 2 в США скоро станут дешевле розничных
Американское отделение Nintendo сообщило о решении внести изменения в ценовую политику цифровых и розничных версий выпускаемых компанией эксклюзивов гибридной консоли Switch 2.
Дополнительное покрытие этой темы
Похожие публикации и близкие по смыслу материалы по этой же теме.
TurboQuant. Новый алгоритм сжатия от Google
Google Research выпустили TurboQuant - новый алгоритм сжатия данных, который сокращает объём кэш-памяти LLM как минимум в 6 раз и даёт ускорение до 8 раз. При этом заявляется от...