Технології
Буде перевагою
Cloudera
Apache Hadoop
Приєднуйтесь до міжнародного проекту в галузі платформ даних та рішень для штучного інтелекту, щоб перенести своє середовище даних з локальної інфраструктури на хмарну платформу Google Cloud Platform. Проект передбачає трансформацію існуючої платформи, заснованої на технологіях Hadoop, в сучасну хмарну архітектуру даних.
Завдання
- Участь у міграції платформи даних з локального середовища на хмарну платформу Google Cloud Platform
- Аналіз існуючих застарілих рішень та рекомендація цільової хмарної архітектури даних
- Проектування та впровадження конвеєрів даних (пакетних та потокових) у виробничому середовищі
- Робота з сервісами GCP, зокрема Dataproc, Dataflow, BigQuery, Cloud Composer
- Автоматизація обробки даних та оркестрування робочих процесів
- Співпраця з міжнародними командами та зовнішнім технологічним партнером
- Участь у технічних семінарах, оглядах архітектури та концептуальних роботах
- Забезпечення масштабованості, безпеки та економічної ефективності рішень
Наші очікування
- Мінімум 5 років комерційного досвіду роботи на посаді Data Engineer або аналогічній посаді
- Дуже добре знання Google Cloud Platform, зокрема Dataproc, Dataflow, BigQuery та Cloud Composer
- Попередній досвід роботи в проектах міграції
- Відмінне знання Python - ETL, конвеєри даних, автоматизація
- Добре знання Java, особливо в контексті обробки даних - Spark, Beam, пакетна/потокова обробка
- Досвід проектування та виконання складних конвеєрів даних у виробничих середовищах
- Практичні знання оркестрування, автоматизації та інструментів CI/CD (наприклад, Airflow, Git, Terraform)
- Здатність архітектурувати рішення для роботи з даними в GCP з урахуванням безпеки, управління даними та контролю доступу
- Дуже добре знання англійської мови
- Незалежність у прийнятті технічних рішень та вміння працювати в команді
- Проживання в Польщі та вільне володіння польською мовою є обов'язковим
Буде перевагою
- Досвід роботи з Cloudera або подібними платформами Hadoop
Вакансія № 260216-W778U
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.
Technologies & tools
Nice to have
Cloudera
Apache Hadoop
Join an international project in the area of data platforms and AI solutions to migrate the data environment from on-premise infrastructure to Google Cloud Platform. The project involves the transformation of an existing platform based on Hadoop technologies to a modern, cloud-based data architecture.
Your tasks
- Participation in data platform migration from on-premise environment to Google Cloud Platform
- Analyzing existing legacy solutions and recommending a target cloud data architecture
- Design and implementation of data pipelines (batch and streaming) in a production environment
- Working with GCP services, in particular Dataproc, Dataflow, BigQuery, Cloud Composer
- Data processing automation and workflow orchestration
- Collaboration with international teams and external technology partner
- Participate in technical workshops, architecture reviews and conceptual work
- Ensure scalability, security and cost-effectiveness of solutions
Requirements
- Minimum 5 years of commercial experience as Data Engineer or similar position
- Very good knowledge of Google Cloud Platform, in particular Dataproc, Dataflow, BigQuery and Cloud Composer
- Previous work in migration projects
- Excellent knowledge of Python - ETL, data pipelines, automation
- Good knowledge of Java, especially in the context of data processing - Spark, Beam, batch/streaming
- Experience in designing and executing complex data pipelines in production environments
- Practical knowledge of orchestration, automation and CI/CD tools (e.g. Airflow, Git, Terraform)
- Ability to architect data solutions in GCP with security, data governance and access control in mind
- Very good knowledge of the English language
- Independence in technical decision making and ability to work in a team environment
- Residence in Poland required and fluency in the Polish language
Nice to have
- Experience working with Cloudera or similar Hadoop platforms
Job no. 260216-W778U
Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.