Технології
Буде перевагою
Snowflake
Apache Kafka
Apache Airflow
Хочете розвивати свої компетенції у сфері хмарних технологій? Приєднуйтесь до нашого спеціалізованого підрозділу, що об’єднує експертів у галузі обробки та аналізу даних у рамках Компетентного центру Data & Analytics. Ми також пропонуємо можливості для розвитку у сферах Data Science, Big Data та Machine Learning.
Завдання
- Проектування, створення та розвиток масштабованих і високопродуктивних платформ обробки даних в архітектурі Data Lake / Data Platform
- Створення та підтримка ETL/ELT-конвеєрів для інтеграції даних з різних джерел та їх обробки в хмарних середовищах (Azure або AWS)
- Моделювання даних та підготовка структур даних, адаптованих до аналітичних та бізнес-потреб
- Впровадження рішень для обробки даних (пакетна та/або майже в режимі реального часу)
- Моніторинг, оптимізація та розвиток існуючих конвеєрів та процесів обробки даних
- Співпраця з аналітиками даних, командами BI та Data Science у сфері підготовки та надання доступу до даних
- Збір бізнес-вимог та пропозиція оптимальних технологічних рішень
- Створення та ведення технічної документації для розроблюваних рішень
- Підтримка та наставництво менш досвідчених членів команди, обмін знаннями та найкращими практиками
Наші очікування
- Щонайменше 4 роки досвіду роботи в проектах, пов’язаних з обробкою та інтеграцією великих обсягів даних
- Дуже добре володіння SQL та Python
- Досвід роботи з фреймворками для обробки даних, такими як Apache Spark / PySpark
- Практичний досвід у проектуванні та побудові рішень Data Lake та Data Warehouse
- Вміння створювати та підтримувати ETL/ELT-конвеєри, а також працювати з інструментами для оркестрування та інтеграції даних
- Комерційний досвід у проектах на основі хмарних рішень Microsoft Azure та/або AWS у сфері обробки даних (наприклад, Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Знання концепцій обробки даних у розподіленому середовищі та оптимізації конвеєрів даних
- Вміння вільно спілкуватися англійською мовою
- Необхідне вільне володіння польською мовою
- Необхідне проживання на території Польщі
Буде перевагою
- Досвід роботи над проектами, пов’язаними з міграцією даних з локальних серверів у хмару (бази даних: Oracle, PostgreSQL, MS SQL)
Вакансія № 260615-RJTX3
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologies & tools
Nice to have
Snowflake
Apache Kafka
Apache Airflow
Are you looking to develop your skills in cloud technologies? Join our specialized unit, which brings together experts in data processing and analysis within the Data & Analytics Competence Center. We also offer opportunities for professional growth in the fields of Data Science, Big Data, and Machine Learning.
Your tasks
- Designing, building, and developing scalable, high-performance data processing platforms in a Data Lake / Data Platform architecture
- Creating and maintaining ETL/ELT pipelines to integrate data from various sources and process it in cloud environments (Azure or AWS)
- Data modeling and preparation of data structures tailored to analytical and business needs
- Implementing data processing solutions (batch and/or near real-time)
- Monitoring, optimizing, and developing existing pipelines and data processing workflows
- Collaborating with data analysts, BI teams, and Data Science teams on data preparation and sharing
- Gathering business requirements and proposing optimal technological solutions
- Creating and maintaining technical documentation for developed solutions
- Supporting and mentoring less experienced team members, sharing knowledge and best practices
Requirements
- At least 4 years of experience in projects involving the processing and integration of large volumes of data
- Very good knowledge of SQL and Python
- Experience working with data processing frameworks such as Apache Spark / PySpark
- Practical experience in designing and building Data Lake and Data Warehouse solutions
- Ability to build and maintain ETL/ELT pipelines and work with data orchestration and integration tools
- Commercial experience in projects based on Microsoft Azure and/or AWS cloud solutions in the area of data processing (e.g., Databricks, AWS Glue, EMR, Azure Data Factory, Synapse)
- Knowledge of data processing concepts in distributed environments and data pipeline optimization
- Ability to communicate fluently in English
- Fluency in Polish is required
- Residence in Poland required
Nice to have
- Experience with projects involving data migration from on-premises to the cloud (databases: Oracle, PostgreSQL, MS SQL)
Job no. 260615-RJTX3
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.