Как я сделал Claude мультимодальным, подключив к нему Qwen Omni
Claude слепой. К сожалению ни одна модель Антропиков не работает напрямую с видео. Да, можно нарезать хоть на каждый кадр и скормить ему, но это не то. Контекст движения теряется, а без него это просто разбор кучи кадров на составляющие и попытка собрать контекст воедино. Для меня как для визуального артиста это больш...
Погода сигнала
Пик
Сейчас это одна из самых сильных точек сигнала: тема тянет поиск, внимание или редакционный приоритет.
Claude слепой. К сожалению ни одна модель Антропиков не работает напрямую с видео. Да, можно нарезать хоть на каждый кадр и скормить ему, но это не то. Контекст движения теряется, а без него это просто разбор кучи кадров на составляющие и попытка собрать контекст воедино. Для меня как для визуального артиста это большая боль, потому что часто хочется отправить видео-рефы и попросить разобрать движение камеры, персонажа, дизайн в конце концов. И вот конкретная задача - 29 сгенерированных видео-референсов анимации персонажа лежат в папке проекта, надо их разобрать по категориям и описать каждое движение. Вручную мне заниматься этим, конечно же, лень. Час-полтора времени на нудную задачу. Тогда я вспомнил про Qwen Omni, которым уже пользуюсь для создания Цифрового риалтайм персонажа-ассистента. И подумал, а почему бы не подружить их.
Карта темы
Понять тему за минуту
Быстрый вход в историю: почему она важна сейчас, кто в ней участвует и куда идти дальше за контекстом.
Почему это важно сейчас
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Мультимодальные модели – грубый и дорогой инструмент
Пока все в погоне за всё более универсальными ИИ-агентами пытаясь создать тот самый AGI по нашему подобию, мне кажется полезным спуститься на уровень ниже и посмотреть на более ...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Проверки физических лиц: с кого начнет ФНС
Государство, успешно внедрив цифровой контроль за юридическими лицами через системы АСК НДС-2, онлайн-кассы и маркировку товаров, переносит центр своего внимания на граждан. Чем...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Топ-10 бесплатных нейросетей для создания видео в 2026 году
Пару лет назад весь интернет хохотал над нейросетевым Уиллом Смитом, который с выпученными глазами запихивал в себя спагетти. Это было смешно, жутко и немного завораживающе. Сег...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Первые слои кода: как наши решения сегодня определяют архитектуру ИИ на десятилетия
В 1989 году Дэн Симмонс написал «Гиперион» — роман, который стал классикой научной фантастики. Среди множества идей в книге есть одна, которая с каждым годом, кажется, звучит вс...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Разработка нового статического анализатора: PVS-Studio JavaScript
Вот уже 18 лет статический анализатор кода PVS-Studio находится на рынке. За это время он обзавёлся поддержкой языков C, C++, C# и Java. Разумеется, останавливаться на этих язык...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Поиск уязвимостей ПО: базовый минимум или роскошный максимум
Привет, Хабр! Меня зовут Артем, я являюсь руководителем центра технической экспертизы по анализу защищенности в AKTIV.CONSULTING. Сегодня я хочу затронуть тему поиска уязвимосте...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Мультимодальные модели – грубый и дорогой инструмент
Пока все в погоне за всё более универсальными ИИ-агентами пытаясь создать тот самый AGI по нашему подобию, мне кажется полезным спуститься на уровень ниже и посмотреть на более ...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Проверки физических лиц: с кого начнет ФНС
Государство, успешно внедрив цифровой контроль за юридическими лицами через системы АСК НДС-2, онлайн-кассы и маркировку товаров, переносит центр своего внимания на граждан. Чем...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Топ-10 бесплатных нейросетей для создания видео в 2026 году
Пару лет назад весь интернет хохотал над нейросетевым Уиллом Смитом, который с выпученными глазами запихивал в себя спагетти. Это было смешно, жутко и немного завораживающе. Сег...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Первые слои кода: как наши решения сегодня определяют архитектуру ИИ на десятилетия
В 1989 году Дэн Симмонс написал «Гиперион» — роман, который стал классикой научной фантастики. Среди множества идей в книге есть одна, которая с каждым годом, кажется, звучит вс...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Мультимодальные модели – грубый и дорогой инструмент
Пока все в погоне за всё более универсальными ИИ-агентами пытаясь создать тот самый AGI по нашему подобию, мне кажется полезным спуститься на уровень ниже и посмотреть на более ...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Разговоры ничего не стоят. Код тоже
В наше время известное изречение Линуса Торвальдса "Talk is cheap. Show me the code." можно переиначить в виде "Code is cheap. Show me the spec." Меня зовут Алекс Гусев и в этой...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Проверки физических лиц: с кого начнет ФНС
Государство, успешно внедрив цифровой контроль за юридическими лицами через системы АСК НДС-2, онлайн-кассы и маркировку товаров, переносит центр своего внимания на граждан. Чем...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.
Топ-10 бесплатных нейросетей для создания видео в 2026 году
Пару лет назад весь интернет хохотал над нейросетевым Уиллом Смитом, который с выпученными глазами запихивал в себя спагетти. Это было смешно, жутко и немного завораживающе. Сег...
Погода сигнала
Импульс быстро усиливается, поэтому это хороший ранний вход в тему.
Почему сейчас
Это один из самых свежих сюжетов, у которого ещё только формируется продолжение.