FLUX.2-dev GGUF Q4_K_M на Apple Silicon: куда уходят 29 гигабайт?
В процессе моих изысканий о том как-же создавть изображения локально, я столкнулся с неочевидной, для себя, проблемой в виде колоссального потребления VRAM, которое не сходилось с тем что написано в карточках моделей и в интернете. Я попытался разобраться на примере современной FLUX.2-dev. Чтобы хотябы теоретически ...
В процессе моих изысканий о том как-же создавть изображения локально, я столкнулся с неочевидной, для себя, проблемой в виде колоссального потребления VRAM, которое не сходилось с тем что написано в карточках моделей и в интернете. Я попытался разобраться на примере современной FLUX.2-dev. Чтобы хотябы теоретически влезать в доступную мне VRAM на моем оборудовании я выбрал вариант GGUF Q4_K_M. И вот тут началось все самое интересное.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
SOLID в реальном мире: SRP без архитектурных космолетов
Всем доброго дня! На связи Валевич Артем, тимлид в AGIMA. Рано или поздно каждый разработчик сталкивается с необходимостью изучить принципы SOLID. Интернет полон теоретических с...
Как заставить LLM считать точно: генерация кода вместо генерации ответов
Недавно в популярном Facebook-посте: «GPT работает всё хуже. Просишь пересчитать формулу на 600 грамм, он бодро выдаёт две по 300. Пора, видимо, валить».Проблема знакомая каждом...
От нуля до продакшена: как команда без ML-экспертизы построила AI-ассистента для звонков
Привет, Хабр! Я техлид группы разработки шины обмена данных в компании «Передовые Платежные Решения». И помимо этого, неформальный лидер команды внутренних ИИ проектов. В статье...
Базовый минимум или роскошный максимум: как устроен IaaS в MWS Cloud Platform
За время работы в облаке я убедился в одной простой вещи: сколько бы сервисов ни предлагало облако — Kubernetes, Serverless, базы данных, Big Data или AI-сервисы, — всё это рабо...
Сусальное золото и DIY-печатные платы: новый, потенциально интересный способ производства плат на дому и не только
Иногда древность весьма причудливым образом входит в нашу современную жизнь, модифицируясь до уровня современных технологий, и сегодня мы как раз поговорим о таком случае и инте...
Проект Terafab: как и зачем Илон Маск строит фабрику чипов за десятки миллиардов
Сейчас все, что связано с вычислениями, растет очень быстро. Искусственный интеллект, автопилоты в машинах, роботы — везде и всюду требуются специализированные чипы, и их нужно ...
Рекламный слот
Article monetization slot
Reserved for contextual monetization inside article pages.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
SOLID в реальном мире: SRP без архитектурных космолетов
Всем доброго дня! На связи Валевич Артем, тимлид в AGIMA. Рано или поздно каждый разработчик сталкивается с необходимостью изучить принципы SOLID. Интернет полон теоретических с...
Как заставить LLM считать точно: генерация кода вместо генерации ответов
Недавно в популярном Facebook-посте: «GPT работает всё хуже. Просишь пересчитать формулу на 600 грамм, он бодро выдаёт две по 300. Пора, видимо, валить».Проблема знакомая каждом...
От нуля до продакшена: как команда без ML-экспертизы построила AI-ассистента для звонков
Привет, Хабр! Я техлид группы разработки шины обмена данных в компании «Передовые Платежные Решения». И помимо этого, неформальный лидер команды внутренних ИИ проектов. В статье...
Базовый минимум или роскошный максимум: как устроен IaaS в MWS Cloud Platform
За время работы в облаке я убедился в одной простой вещи: сколько бы сервисов ни предлагало облако — Kubernetes, Serverless, базы данных, Big Data или AI-сервисы, — всё это рабо...
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
SOLID в реальном мире: SRP без архитектурных космолетов
Всем доброго дня! На связи Валевич Артем, тимлид в AGIMA. Рано или поздно каждый разработчик сталкивается с необходимостью изучить принципы SOLID. Интернет полон теоретических с...
Как заставить LLM считать точно: генерация кода вместо генерации ответов
Недавно в популярном Facebook-посте: «GPT работает всё хуже. Просишь пересчитать формулу на 600 грамм, он бодро выдаёт две по 300. Пора, видимо, валить».Проблема знакомая каждом...
От нуля до продакшена: как команда без ML-экспертизы построила AI-ассистента для звонков
Привет, Хабр! Я техлид группы разработки шины обмена данных в компании «Передовые Платежные Решения». И помимо этого, неформальный лидер команды внутренних ИИ проектов. В статье...
Базовый минимум или роскошный максимум: как устроен IaaS в MWS Cloud Platform
За время работы в облаке я убедился в одной простой вещи: сколько бы сервисов ни предлагало облако — Kubernetes, Serverless, базы данных, Big Data или AI-сервисы, — всё это рабо...