Технології
Буде перевагою
Snowflake
Apache Kafka
Apache Airflow
Бажаєте розвинути свої знання у сфері хмарних технологій? Приєднуйтесь до нашого спеціалізованого підрозділу експертів з обробки даних та аналітики в Центрі компетенцій Data & Analytics. Ми також пропонуємо розвиток у сферах Data Science, Big Data та машинного навчання.
Завдання
- Проектування, створення та розвиток масштабованих і високопродуктивних платформ обробки даних в архітектурі Data Lake / Data Platform
- Створення та підтримка ETL/ELT конвеєрів для інтеграції даних з різних джерел та їх обробки в хмарних середовищах (Azure або AWS)
- Моделювання даних та підготовка структур даних, адаптованих до аналітичних та бізнес-потреб
- Впровадження рішень з обробки даних (пакетна обробка та/або обробка в режимі реального часу)
- Моніторинг, оптимізація та розвиток існуючих конвеєрів та процесів обробки даних
- Співпраця з аналітиками даних, командами BI та Data Science у підготовці та наданні даних
- Збір бізнес-вимог та пропозиція оптимальних технологічних рішень
- Створення та підтримка технічної документації на розроблені рішення
- Підтримка та наставництво менш досвідчених членів команди, обмін знаннями та кращими практиками
Наші очікування
- Мінімум 4 роки досвіду роботи в проектах, пов'язаних з обробкою та інтеграцією великих обсягів даних
- Дуже добре знання SQL та Python
- Досвід роботи з фреймворками обробки даних, такими як Apache Spark / PySpark
- Практичний досвід проектування та побудови рішень Data Lake та Data Warehouse
- Вміння будувати та підтримувати ETL/ELT конвеєри та працювати з інструментами оркестрування та інтеграції даних
- Комерційний досвід роботи в проектах на базі хмарних рішень Microsoft Azure та/або AWS в області обробки даних (наприклад, Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Знання концепцій обробки даних в розподіленому середовищі та оптимізації конвеєрів даних
- Здатність вільно спілкуватися англійською мовою
- Вільне володіння польською мовою
- Проживання в Польщі є обов'язковим
Буде перевагою
- Досвід роботи в проектах міграції даних з локальної системи в хмару (бази даних: Oracle, PostgreSQL, MS SQL)
Вакансія № 260514-AJY9T
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologies & tools
Nice to have
Snowflake
Apache Kafka
Apache Airflow
Want to develop your expertise in cloud technologies? Join our specialized unit of data processing and analysis experts within the Data & Analytics Competence Center. We also offer development in the areas of Data Science, Big Data and Machine Learning.
Your tasks
- Design, build and develop scalable and high-performance data processing platforms in Data Lake / Data Platform architecture
- Creating and maintaining ETL/ELT pipelines for integrating data from various sources and processing it in cloud environments (Azure or AWS)
- Data modeling and preparation of data structures tailored to analytical and business needs
- Implementation of data processing solutions (batch and/or near real-time)
- Monitoring, optimizing and developing existing data processing pipelines and processes
- Collaborate with data analysts, BI and Data Science teams in preparing and sharing data
- Gathering business requirements and proposing optimal technology solutions
- Creating and maintaining technical documentation for developed solutions
- Supporting and mentoring less experienced team members, sharing knowledge and best practices
Requirements
- Minimum 4 years of experience in projects related to processing and integration of large volumes of data
- Very good knowledge of SQL and Python
- Experience working with data processing frameworks such as Apache Spark / PySpark
- Practical experience in designing and building Data Lake and Data Warehouse solutions
- Ability to build and maintain ETL/ELT pipelines and work with data orchestration and integration tools
- Commercial experience in projects based on Microsoft Azure and/or AWS cloud solutions in the area of data processing (e.g. Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Familiarity with data processing concepts in a distributed environment and data pipeline optimization
- Ability to communicate freely in English
- Fluency in Polish required
- Residence in Poland required
Nice to have
- Experience in data migration projects from on-premise to cloud (databases: Oracle, PostgreSQL, MS SQL)
Job no. 260514-AJY9T
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.