Technologies & tools
Nice to have
Snowflake
Apache Kafka
Apache Airflow
Do you want to develop your skills in cloud technologies? Join our specialized unit gathering experts in data processing and analysis within the Data & Analytics Competency Center. We also offer development opportunities in Data Science, Big Data, and Machine Learning.
Your tasks
- Designing, building, and developing scalable and high-performance data processing platforms in Data Lake / Data Platform architecture
- Creating and maintaining ETL/ELT pipelines for integrating data from various sources and processing it in cloud environments (Azure or AWS)
- Data modeling and preparing data structures tailored to analytical and business needs
- Implementing data processing solutions (batch and/or near real-time)
- Monitoring, optimizing, and developing existing pipelines and data processing workflows
- Collaborating with data analysts, BI teams, and Data Science teams in data preparation and sharing
- Gathering business requirements and proposing optimal technological solutions
- Creating and maintaining technical documentation for developed solutions
- Supporting and mentoring less experienced team members, sharing knowledge and best practices
Requirements
- Minimum 4 years of experience in projects related to processing and integrating large volumes of data
- Strong knowledge of SQL and Python
- Experience working with data processing frameworks such as Apache Spark / PySpark
- Practical experience in designing and building Data Lake and Data Warehouse solutions
- Ability to build and maintain ETL/ELT pipelines and work with data orchestration and integration tools
- Commercial experience in cloud-based projects on Microsoft Azure and/or AWS in the data processing area (e.g., Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Knowledge of data processing concepts in distributed environments and data pipeline optimization
- Fluent communication skills in English
- Fluent Polish language skills required
- Residence in Poland required
Nice to have
- Experience in projects related to migrating data from on-premise to cloud (databases: Oracle, PostgreSQL, MS SQL)
Job no. JOB-KYYAD
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Технології
Буде перевагою
Snowflake
Apache Kafka
Apache Airflow
Хочеш розвивати свої компетенції у хмарних технологіях? Приєднуйся до нашого спеціалізованого підрозділу, що об'єднує експертів у сфері обробки та аналізу даних у Центрі Компетенцій Data & Analytics. Ми також пропонуємо розвиток у напрямках Data Science, Big Data та Machine Learning.
Завдання
- Проєктування, створення та розвиток масштабованих і високопродуктивних платформ обробки даних у архітектурі Data Lake / Data Platform
- Створення та підтримка ETL/ELT pipeline-ів для інтеграції даних з різних джерел та їх обробки у хмарних середовищах (Azure або AWS)
- Моделювання даних та підготовка структур даних, адаптованих до аналітичних і бізнес-потреб
- Реалізація рішень для обробки даних (batch та/або near real-time)
- Моніторинг, оптимізація та розвиток існуючих pipeline-ів і процесів обробки даних
- Співпраця з аналітиками даних, командами BI та Data Science щодо підготовки та надання даних
- Збір бізнес-вимог та пропозиція оптимальних технологічних рішень
- Створення та підтримка технічної документації для розроблюваних рішень
- Підтримка та наставництво менш досвідчених членів команди, обмін знаннями та найкращими практиками
Наші очікування
- Мінімум 4 роки досвіду в проєктах, пов'язаних з обробкою та інтеграцією великих обсягів даних
- Дуже хороше знання SQL та Python
- Досвід роботи з фреймворками для обробки даних, такими як Apache Spark / PySpark
- Практичний досвід у проєктуванні та побудові рішень Data Lake та Data Warehouse
- Вміння створювати та підтримувати ETL/ELT pipeline-и, а також працювати з інструментами оркестрації та інтеграції даних
- Комерційний досвід у проєктах на базі хмарних рішень Microsoft Azure та/або AWS у сфері обробки даних (наприклад, Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Знання концепцій обробки даних у розподіленому середовищі та оптимізації pipeline-ів даних
- Вміння вільно спілкуватися англійською мовою
- Вимагається вільне володіння польською мовою
- Вимагається перебування на території Польщі
Буде перевагою
- Досвід у проєктах, пов'язаних з міграцією даних з on-premise до хмари (бази даних: Oracle, PostgreSQL, MS SQL)
Вакансія № JOB-KYYAD
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.