Технології
Буде перевагою
Apache Airflow / Cloud Composer
Terraform
Data Built Tool
Apache Spark
Databricks
Snowflake
Microsoft Fabric
Хочеш розвиватися в хмарних технологіях і працювати з реальними даними? Приєднуйся до нашої команди Data & Analytics, де ми створюємо та розвиваємо рішення на базі GCP. Працюй з експертами, розвивайся у напрямках Data Engineering, Big Data або Machine Learning і впливай на проєкти.
Завдання
- Проектування, впровадження та підтримка масштабованих data pipeline на базі Google Cloud Platform
- Робота з BigQuery як основним сховищем даних: моделювання даних, оптимізація запитів і витрат, забезпечення продуктивності та надійності рішень
- Інтеграція даних з різних джерел (файли, бази даних, API, події) та їх обробка і трансформація
- Оркестрація workflow даних за допомогою Apache Airflow / Cloud Composer
- Створення та підтримка CI/CD рішень для data pipeline та інфраструктури
- Управління хмарною інфраструктурою відповідно до підходу Infrastructure as Code (Terraform)
- Забезпечення якості даних, моніторинг pipeline та швидке реагування на інциденти
- Співпраця з аналітичними, BI та продуктовими командами для надання стабільних і добре документованих даних
- Участь у розвитку архітектури даних та спільне визначення кращих практик data engineering
Наші очікування
- Мінімум 4 роки досвіду на посаді Data Engineer або подібній ролі з роботою з даними у виробничому середовищі
- Відмінне знання Google Cloud Platform, зокрема: BigQuery (моделювання даних, оптимізація запитів) та Cloud Storage
- Вміння проектувати, будувати та підтримувати data pipeline (batch та/або streaming)
- Відмінне знання SQL та Python у контексті обробки та оркестрації даних
- Досвід в оркестрації workflow (Apache Airflow / Cloud Composer)
- Практика впровадження CI/CD для data-рішень, наприклад GitHub Actions, GitLab CI, Cloud Build
- Знання підходу Infrastructure as Code, з акцентом на Terraform
- Попередній досвід роботи з великими обсягами даних з урахуванням продуктивності та надійності рішень
- Вільне спілкування англійською мовою
- Обов’язкове перебування на території Польщі та вільне володіння польською мовою
Буде перевагою
- Практичний досвід обробки потокових даних (наприклад, Dataflow / Apache Beam, Pub/Sub)
- Володіння Apache Spark / PySpark при роботі з великими обсягами даних
- Компетенції у трансформації та моделюванні даних з використанням інструментів, таких як dbt
- Вміння працювати з різноманітними платформами даних (наприклад, Databricks, Snowflake, MS Fabric)
- Знання інструментів та кращих практик у сфері Data Governance, Data Lineage та Data Quality
Вакансія № JOB-2FZ93
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologies & tools
Nice to have
Apache Airflow / Cloud Composer
Terraform
Data Built Tool
Apache Spark
Databricks
Snowflake
Microsoft Fabric
Do you want to grow your skills in cloud technologies and work with real data? Join our Data & Analytics team, where we build and develop solutions based on GCP. Work with experts, develop towards Data Engineering, Big Data, or Machine Learning, and have a real impact on projects.
Your tasks
- Designing, implementing, and maintaining scalable data pipelines based on Google Cloud Platform
- Working with BigQuery as the main data warehouse: data modeling, query and cost optimization, ensuring performance and reliability of solutions
- Integrating data from various sources (files, databases, APIs, events) and processing and transforming it
- Orchestrating data workflows using Apache Airflow / Cloud Composer
- Creating and maintaining CI/CD solutions for data pipelines and infrastructure
- Managing cloud infrastructure following Infrastructure as Code principles (Terraform)
- Ensuring data quality, pipeline monitoring, and rapid incident response
- Collaborating with analytics, BI, and product teams to deliver stable and well-documented data
- Participating in data architecture development and jointly defining good data engineering practices
Requirements
- Min. 4 years of experience as a Data Engineer or in a similar role working with data in a production environment
- Strong knowledge of Google Cloud Platform, especially BigQuery (data modeling, query optimization) and Cloud Storage
- Ability to design, build, and maintain data pipelines (batch and/or streaming)
- Strong SQL and Python skills in the context of data processing and orchestration
- Experience with workflow orchestration (Apache Airflow / Cloud Composer)
- Hands-on experience implementing CI/CD for data solutions, e.g., GitHub Actions, GitLab CI, Cloud Build
- Familiarity with Infrastructure as Code approach, particularly Terraform
- Previous work with large data volumes, focusing on performance and reliability of solutions
- Fluent communication in English
- Required presence in Poland and fluent Polish language skills
Nice to have
- Practical experience with streaming data processing (e.g., Dataflow / Apache Beam, Pub/Sub)
- Proficiency in Apache Spark / PySpark when working with large data volumes
- Skills in data transformation and modeling using tools like dbt
- Ability to work with diverse data platforms (e.g., Databricks, Snowflake, MS Fabric)
- Familiarity with tools and best practices in Data Governance, Data Lineage, and Data Quality
Job no. JOB-2FZ93
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.