Sii Ukraine

SII POLAND

SII SWEDEN

Join us Contact us

Sii Ukraine

SII POLAND

SII SWEDEN

Back

Big Data developer with Apache Spark

  • Regular
  • Hybrid, 
  • Office
  • Warsaw
This translation is generic. Translate into Ukrainian.
This translation is generic. Translate into English.

Technologies & tools

We are looking for an Apache Spark Big Data Developer for a project implemented for a client in the banking sector. The person in this position will develop and maintain Spark-based solutions processing large volumes of data in a Hadoop Cloudera/Hortonworks environment. The ideal candidate will have experience working with PySpark, understand data warehousing concepts, and have a solid foundation in data engineering and good programming practices.

Working in a hybrid model: 2 times per month from the client's office in Warsaw, Poland.

Your tasks

  • Designing and developing Big Data solutions using Apache Spark
  • Processing and integration of data from different sources in Hadoop environment
  • Data modeling and processing optimization
  • Working with various data formats (JSON, PARQUET, ORC, AVRO)
  • Designing, coding, testing and implementing solutions according to good engineering practices
  • Collaborate with teams of data analysts and engineers in an Agile environment

Requirements

  • Min. 2 years of programming experience in Apache Spark (PySpark preferred)
  • Very good knowledge of Big Data concepts, data warehousing and data management
  • Experience in a Hadoop Cloudera/Hortonworks environment
  • Ability to work with large data sets and integrate them from multiple sources
  • Knowledge of SQL language at an advanced level
  • Higher technical education (IT or related majors preferred)
  • Residence in Poland required and fluency in Polish language

Nice to have

  • Experience working in an Agile environment
  • Knowledge of Kubeflow and streaming technologies (Apache Kafka, Apache NiFi)
  • Knowledge of CI/CD process automation

Job no. 251017-RCVF5

Технології

Ми шукаємо Big Data Developer з Apache Spark для проекту, що реалізується для клієнта у банківському секторі. Людина на цій посаді буде розробляти та підтримувати рішення на основі Spark для обробки великих обсягів даних у середовищі Hadoop Cloudera/Hortonworks. Ідеальний кандидат повинен мати досвід роботи з PySpark, розуміти концепції сховищ даних, мати міцні знання в галузі інженерії даних та належних практик програмування.

Робота в гібридній моделі: 2 рази на місяць з офісу клієнта у Варшаві.

Завдання

  • Проектування та розробка Big Data рішень з використанням Apache Spark
  • Обробка та інтеграція даних з різних джерел в середовищі Hadoop
  • Моделювання даних та оптимізація обробки
  • Робота з різними форматами даних (JSON, PARQUET, ORC, AVRO)
  • Проектування, кодування, тестування та впровадження рішень відповідно до належних інженерних практик
  • Співпраця з командами аналітиків даних та інженерів в середовищі Agile

Наші очікування

  • Мінімум 2 роки досвіду програмування на Apache Spark (бажано PySpark)
  • Дуже добре знання концепцій Big Data, зберігання даних та управління даними
  • Досвід роботи в середовищі Hadoop Cloudera/Hortonworks
  • Вміння працювати з великими масивами даних з різних джерел та інтегрувати їх
  • Просунуті знання SQL
  • Вища технічна освіта (перевага надається ІТ або суміжним спеціальностям)
  • Проживання в Польщі та вільне володіння польською мовою є обов'язковим

Буде перевагою

  • Досвід роботи в Agile середовищі
  • Знання Kubeflow та потокових технологій (Apache Kafka, Apache NiFi)
  • Знання автоматизації процесів CI/CD

Вакансія № 251017-RCVF5

Quick apply

Fill in the form in English please

Big Data developer with Apache Spark

Work mode*

Select at least one option

angle-down

Option was not selected

Attach CV*

Uploaded file:
  • file_icon Created with Sketch.

Acceptable files: doc, docx, pdf. (max 5MB)
Please submit your file in DOC, DOCX or PDF format
The upload size is limited to 5 MB
File is empty
File was not uploaded

At any time, you may withdraw your consent to the processing of personal data, but such withdrawal shall not affect the legal compliance of any processing of such data, which had occurred before you withdrew your consent. Detailed information on the processing of your personal data is specified in the Privacy Policy.

Sii Poland follows the Procedure for reporting law violations.

Create MySii account to follow your application's status
success

Your application has been submitted

We will contact you as soon as we review your CV

Processing...

Sorry, something went wrong and your message was not delivered

Refresh the page and try again. Contact us form, if problem occurs again

Benefits for you

Apply now Recommend a friend

Änderungen im Gange

Wir aktualisieren unsere deutsche Website. Wenn Sie die Sprache wechseln, wird Ihnen die vorherige Version angezeigt.

This content is available only in English version.

Are you sure you want to leave this page?

Цей контент доступний тільки в одній мовній версії.
Ви будете перенаправлені на головну сторінку.

Ви справді бажаєте залишити цю сторінку?