Data Engineer

10 Октября

от 30 000 до 50 000 руб.

Партнерские Вакансии

Компания "Оверпин, студия"

Полная занятость. Работа только в офисе.

Что необходимо делать:
- Писать краулеры сайтов (парсинг)
- Поддерживать полноту, целостность текущих данных компании и скриптов для их обработки
- Выстраивать системы сбора, обработки и хранения данных (ETL)
- Писать сервисы для внутренних нужд компании

Мы ждем от кандидата:
- Уверенное знание Python
- Базовое знание SQL
- Умение разбираться в чужом коде
- Навыки unit-тестирования

Будет плюсом:
- Опыт планирования микросервисной инфраструктуры
- Знание английского языка на уровне чтения технической документации
- Интерес к внедрению новых технологий
- Знание технологий из стека, указанного ниже

С чем предстоит работать:
- Библиотеки Python: Scrapy, SqlAlchemy, asyncio, FastApi, Pydantic
- Обработка данных в форматах: JSON, XML, CSV, XLSX
- Взаимодействие с сервисами по протоколам: HTTP, FTP
- Инфраструктура: Apache Airflow, MariaDB, MongoDB, Apache Kafka, Redis, Elasticsearch (ELK)