News Grower

Независимое покрытие AI, стартапов и технологий.

Как агенты видят веб-страницы

Так как типичная LLM обучена работать с текстом, первые попытки были просто давать модели чистый HTML. И как не странно, это даже работало, причём надёжнее, чем ожидалось скептиками. Одновременно в параллельной вселенной существовали E2E тесты, которые имитировали живых юзеров, нажимали на кнопки и запол...

Автор: oracle_schwerpunkte Оригинальный источник
Как агенты видят веб-страницы

Так как типичная LLM обучена работать с текстом, первые попытки были просто давать модели чистый HTML. И как не странно, это даже работало, причём надёжнее, чем ожидалось скептиками. Одновременно в параллельной вселенной существовали E2E тесты, которые имитировали живых юзеров, нажимали на кнопки и заполняли поля. И этим тестам тоже как-то надо было отслеживать изменения на экране. Сравнение скиншотов оказалось крайне не надёжным методом. Тут разработчики Playwright – это известный open source фреймворк для E2E тестов, под крылом Microsoft - вспомнили про ARIA и экранные читалки.

Краткая сводка

Поскольку типичные LLM обучены работать с текстом, их первые попытки обрабатывать веб‑страницы заключались в подаче чистого HTML, что показало неожиданно надёжные результаты. Для E2E‑тестов, где скриншоты оказались ненадёжными, разработчики Playwright (под эгидой Microsoft) заменили их использованием ARIA‑атрибутов и экранных читалок.

Связанные теги

Компании и люди

Линия сюжета

Продолжить следить за темой

Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.

Новый народный мессенджер России. Можно, а зачем?

Новый народный мессенджер России. Можно, а зачем?

Telegram практически заблокирован. Max — официальный, удобный, но его не хотят ставить даже те, кто в курсе, что именно VK-экосистема уже хранит половину их цифровой жизни. В эт...

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Привет! Я Александр Петросян, продуктовый фулстек-разработчик в проектах по автоматизации бизнеса и автор курса по вайбкодингу в Практикуме. Последний год-два воочию наблюдаю ка...

FinOps на практике: когда облачный счет перестает быть черным ящиком

Меня зовут Дмитрий Деев, я руководитель отдела IT-инфраструктуры в Ви.Tech - IT-дочке ВсеИнструменты.ру. В рамках нашего подкаста я поговорил с Ильей Кочневым, директором сопров...

Пошаговые хлопоты: термодинамический рабочий процесс

Пошаговые хлопоты: термодинамический рабочий процесс

В начале почти любого проекта приходится решать, как именно им управлять. Выбор сегодня огромен: от классического PMBOK до Kanban и гибких подходов. Но на практике этот выбор сл...

Эволюция участия ИИ в разработке и тестировании

Эволюция участия ИИ в разработке и тестировании

Привет! Меня зовут Николай, я SDET в SimbirSoft. Это продолжение серии материалов о современных подходах к разработке и тестированию, и в этот раз мы поговорим о том, как искусс...

[Перевод] 37 советов и приемов по написанию качественных тестов для фронтенда

[Перевод] 37 советов и приемов по написанию качественных тестов для фронтенда

Мне нравится писать тесты. Написание теста и последующее обновление кода для его прохождения — всегда увлекательный процесс.Но нет ничего хуже, чем выяснение того, что проверяют...

Рекламный слот

Встроенный блок в статье

Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.

Партнерский слот

Похожие статьи

Еще материалы, которые пересекаются по тегам, источнику или категории.

Новый народный мессенджер России. Можно, а зачем?

Новый народный мессенджер России. Можно, а зачем?

Telegram практически заблокирован. Max — официальный, удобный, но его не хотят ставить даже те, кто в курсе, что именно VK-экосистема уже хранит половину их цифровой жизни. В эт...

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Привет! Я Александр Петросян, продуктовый фулстек-разработчик в проектах по автоматизации бизнеса и автор курса по вайбкодингу в Практикуме. Последний год-два воочию наблюдаю ка...

FinOps на практике: когда облачный счет перестает быть черным ящиком

Меня зовут Дмитрий Деев, я руководитель отдела IT-инфраструктуры в Ви.Tech - IT-дочке ВсеИнструменты.ру. В рамках нашего подкаста я поговорил с Ильей Кочневым, директором сопров...

Пошаговые хлопоты: термодинамический рабочий процесс

Пошаговые хлопоты: термодинамический рабочий процесс

В начале почти любого проекта приходится решать, как именно им управлять. Выбор сегодня огромен: от классического PMBOK до Kanban и гибких подходов. Но на практике этот выбор сл...

Еще материалы от Habr

Свежие публикации и продолжение темы от той же редакции.

Открыть страницу источника
Новый народный мессенджер России. Можно, а зачем?

Новый народный мессенджер России. Можно, а зачем?

Telegram практически заблокирован. Max — официальный, удобный, но его не хотят ставить даже те, кто в курсе, что именно VK-экосистема уже хранит половину их цифровой жизни. В эт...

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Конец преимущества корпораций: как вайбкодинг уравнял малый бизнес с энтерпрайзом в автоматизации

Привет! Я Александр Петросян, продуктовый фулстек-разработчик в проектах по автоматизации бизнеса и автор курса по вайбкодингу в Практикуме. Последний год-два воочию наблюдаю ка...

FinOps на практике: когда облачный счет перестает быть черным ящиком

Меня зовут Дмитрий Деев, я руководитель отдела IT-инфраструктуры в Ви.Tech - IT-дочке ВсеИнструменты.ру. В рамках нашего подкаста я поговорил с Ильей Кочневым, директором сопров...

Пошаговые хлопоты: термодинамический рабочий процесс

Пошаговые хлопоты: термодинамический рабочий процесс

В начале почти любого проекта приходится решать, как именно им управлять. Выбор сегодня огромен: от классического PMBOK до Kanban и гибких подходов. Но на практике этот выбор сл...