Technologies & tools
Nice to have
Snowflake
Apache Kafka
Apache Airflow
Do you want to develop your skills in cloud technologies? Join our specialized unit focusing on experts in data processing and analysis within the Data & Analytics Competence Center. We also offer development in the areas of Data Science, Big Data, and Machine Learning.
Your tasks
- Designing, building, and developing scalable and high-performance data processing platforms in Data Lake / Data Platform architecture
- Creating and maintaining ETL/ELT pipelines for data integration from various sources and processing them in the Azure Databricks environment
- Data modeling and preparing data structures tailored to analytical and business needs
- Implementing solutions for data processing (batch and/or near real-time)
- Monitoring, optimizing, and developing existing pipelines and data processing processes
- Collaborating with data analysts, BI teams, and Data Science on data preparation and sharing
- Gathering business requirements and proposing optimal technological solutions
- Creating and maintaining technical documentation for developed solutions
- Supporting and mentoring less experienced team members, sharing knowledge and best practices
Requirements
- Minimum 4 years of experience in projects related to processing and integrating large volumes of data
- Strong knowledge of SQL and Python
- Experience working with data processing frameworks such as Apache Spark / PySpark
- Practical experience in designing and building Data Lake and Data Warehouse solutions
- Ability to build and maintain ETL/ELT pipelines and work with data orchestration and integration tools
- Commercial experience in cloud-based Microsoft Azure data processing projects (e.g., Databricks, Azure Data Factory, Synapse, Fabric)
- Knowledge of data processing concepts in a distributed environment and optimizing data pipelines
- Ability to communicate fluently in English
- Fluent knowledge of Polish is required
- Required to be located in Poland
Nice to have
- Experience in projects related to data migration from on-premise to cloud (databases: Oracle, PostgreSQL, MS SQL)
Job no. JOB-XWELK
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Технології
Буде перевагою
Snowflake
Apache Kafka
Apache Airflow
Хочете розвивати свої компетенції в хмарних технологіях? Приєднуйтесь до нашої спеціалізованої одиниці, що об'єднує експертів у сфері обробки та аналізу даних в рамках Центру Компетенцій Data & Analytics. Ми також пропонуємо розвиток у сферах Data Science, Big Data та Machine Learning.
Завдання
- Проектування, створення та розвиток масштабованих і високопродуктивних платформ обробки даних в архітектурі Data Lake / Data Platform
- Створення та підтримка ETL/ELT конвеєрів для інтеграції даних з різних джерел та їх обробки в середовищі Azure Databricks
- Моделювання даних та підготовка структур даних, адаптованих до аналітичних та бізнесових потреб
- Імплементація рішень для обробки даних (пакетна та/або майже реального часу)
- Моніторинг, оптимізація та розвиток існуючих конвеєрів та процесів обробки даних
- Співпраця з аналітиками даних, командами BI та Data Science в рамках підготовки та надання даних
- Збір бізнес-вимог та пропонування оптимальних технологічних рішень
- Створення та підтримка технічної документації для розроблених рішень
- Підтримка та менторство менш досвідчених членів команди, обмін знаннями та кращими практиками
Наші очікування
- Мінімум 4 роки досвіду в проектах, пов'язаних з обробкою та інтеграцією великих обсягів даних
- Дуже хороше знання SQL та Python
- Досвід роботи з фреймворками для обробки даних, такими як Apache Spark / PySpark
- Практичний досвід у проектуванні та створенні рішень Data Lake та Data Warehouse
- Вміння створювати та підтримувати ETL/ELT конвеєри та працювати з інструментами для оркестрації та інтеграції даних
- Комерційний досвід у проектах, що базуються на хмарних рішеннях Microsoft Azure в області обробки даних (наприклад, Databricks, Azure Data Factory, Synapse, Fabric)
- Знання концепцій обробки даних в розподіленому середовищі та оптимізації конвеєрів даних
- Вміння вільно спілкуватися англійською мовою
- Вимога: вільне володіння польською мовою
- Необхідно перебувати на території Польщі
Буде перевагою
- Досвід у проектах, пов'язаних з міграцією даних з on-premise до хмари (бази даних: Oracle, PostgreSQL, MS SQL)
Вакансія № JOB-XWELK
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.