Парсинг тарифов интернета и ТВ. Selenium + BeautifulSoup: трудности динамического контента и защиты от ботов
На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов.Для парсинга тарифов у провайдеров применял связку Python + Selenium + Bea...
На этапе тестирования я отобрал 6 городов (Москва, Санкт-Петербург, Новосибирск, Екатеринбург, Казань, Красноярск) и двух крупнейших провайдеров России - Ростелеком и Дом.ру. В планах масштабирование на большее количество городов и операторов.Для парсинга тарифов у провайдеров применял связку Python + Selenium + BeautifulSoup, через хранимую процедуру складывал полученные данные в базу PostgreSQL.
Связанные теги
Компании и люди
Линия сюжета
Продолжить следить за темой
Переходите к связанным материалам, страницам сущностей и активным линиям сюжета.
Как меня заСКАМил HH.RU
Дисклеймер: Эта статья мой «крик души» и возмущение работой крупных монополистов рынка, которые благодаря целым департаментам юристов позволяют себе пренебрегать обязательствами...
Как я писал библиотеку для Морского Боя на Python — разбор и история моего первого пет‑проекта
Пишу о том, как сделал первый проект - библиотеку для логики морского боя на Python - с какими трудностями столкнулся, как налаживал архитектуру и как не бросил Нырнуть глубже
Security Week 2614: атака класса supply chain на библиотеку LiteLLM
Громкой новостью прошлой недели стал взлом библиотеки LiteLLM, используемой в качестве посредника для коммуникации с большим количеством языковых моделей (сообщение от разработч...
Где была Алиса Селезнева. Искал ее адреса с помощью Python
С помощью Python провел исследование космических адресов Алисы Селезневой. Вокруг нее было так много планет, неплохо исследованных, а посетила она только малую часть из них.
Космос из школьного кабинета: Как мы научили ИИ законам Кеплера после «разноса» от ученых
Существует стереотип, что современная наука об экзопланетах — это прерогатива NASA и ученых с миллионными грантами. Мы — команда обычных школьников и наш наставник — решили дока...
Пишем свой crypto engine для флешек: безопасная память, потоковое шифрование и отказоустойчивость на Python
Всё началось с простой задачи: нужно было безопасно передавать файлы на обычных USB-флешках. Существующие решения либо создавали контейнеры (VeraCrypt), что неудобно для быстрог...
Рекламный слот
Встроенный блок в статье
Зарезервированный партнерский слот для релевантных инструментов, сервисов и аккуратных редакционных интеграций.
Похожие статьи
Еще материалы, которые пересекаются по тегам, источнику или категории.
Как меня заСКАМил HH.RU
Дисклеймер: Эта статья мой «крик души» и возмущение работой крупных монополистов рынка, которые благодаря целым департаментам юристов позволяют себе пренебрегать обязательствами...
Как я писал библиотеку для Морского Боя на Python — разбор и история моего первого пет‑проекта
Пишу о том, как сделал первый проект - библиотеку для логики морского боя на Python - с какими трудностями столкнулся, как налаживал архитектуру и как не бросил Нырнуть глубже
Security Week 2614: атака класса supply chain на библиотеку LiteLLM
Громкой новостью прошлой недели стал взлом библиотеки LiteLLM, используемой в качестве посредника для коммуникации с большим количеством языковых моделей (сообщение от разработч...
Где была Алиса Селезнева. Искал ее адреса с помощью Python
С помощью Python провел исследование космических адресов Алисы Селезневой. Вокруг нее было так много планет, неплохо исследованных, а посетила она только малую часть из них.
Еще материалы от Habr
Свежие публикации и продолжение темы от той же редакции.
Оптимизация комплаенса без лишних затрат: как мы сократили нагрузку на команду с помощью трёх метрик
Привет! Я Томирис, аналитик данных в отделе финансового мониторинга в ЮMoney. Хочу показать кусочек нашей внутренней кухни: как мы пересобрали AML-процессы и перестали тонуть в ...
На маке Cmd+, не работает на русской раскладке в VS Code — и почему этот баг до сих пор не починили
Cmd+, — открыть настройки. Работает в любом приложении macOS. Safari, Finder, Chrome, Terminal — везде. Кроме VS Code, если у вас русская раскладка.Проблема: VS Code обрабатывае...
Дуализм стилей реализации интерпретатора
1. ПреамбулаНапомню, что в серии статей на Хабре я описываю вольную реализации демонстратора системы взаимодействующих движков Forth в рамках парадигмы обработки данных в потоке...
Сохранение джунов и будущее кадровой воронки
Как мы знаем, рынок труда в некоторых сферах сейчас достаточно напряжен для соискателя.В недавнем материале про рынок ИТ специалистов я показывал, что молодым специалистам доста...