Sii Ukraine

SII POLAND

SII SWEDEN

Join us Contact us

Sii Ukraine

SII POLAND

SII SWEDEN

Back

Big Data Developer with Apache Spark

  • Regular
  • Hybrid, 
  • Office
  • Warsaw
This translation is generic. Translate into Ukrainian.
This translation is generic. Translate into English.

Technologies & tools

We are looking for a Big Data Developer for a project with a banking client. In this role, you will develop and maintain Spark-based solutions processing large volumes of data in a Hadoop Cloudera/Hortonworks environment. If you have experience with PySpark and a solid background in data engineering, understand data warehousing concepts, and care about maintaining good programming practices - this may be the position for you.

Working in a hybrid model: 2 times a month from the client's office in Warsaw, Poland.

Sii ensures that all hiring decisions are made solely on the basis of qualifications and competence. We are committed to equal and fair treatment of all, regardless of legally protected characteristics. At Sii, we promote a diverse and inclusive work environment, in full compliance with applicable anti-discrimination laws.

Your tasks

  • Designing and developing Big Data solutions using Apache Spark
  • Processing and integration of data from different sources in Hadoop environment
  • Data modeling and processing optimization
  • Working with various data formats (JSON, PARQUET, ORC, AVRO)
  • Designing, coding, testing and implementing solutions according to good engineering practices
  • Collaborating with teams of data analysts and engineers in an Agile environment

Requirements

  • Min. 2 years of programming experience in Apache Spark (PySpark preferred)
  • Very good knowledge of Big Data concepts, data warehousing and data management
  • Experience in a Hadoop Cloudera/Hortonworks environment
  • Ability to work with large data sets and integrate them from multiple sources
  • Knowledge of SQL language at an advanced level
  • Higher technical education (IT or related majors preferred)
  • Residence in Poland required and fluency in Polish language

Nice to have

  • Experience working in an Agile environment
  • Knowledge of Kubeflow and streaming technologies (Apache Kafka, Apache NiFi)
  • Knowledge of CI/CD process automation

Job no. 251229-JONXS

Технології

Ми шукаємо Big Data Developer для проекту з клієнтом у банківському секторі. На цій посаді ви будете розробляти та підтримувати рішення на основі Spark, що обробляють великі обсяги даних у середовищі Hadoop Cloudera/Hortonworks. Якщо ви маєте досвід роботи з PySpark та ґрунтовну підготовку в галузі інженерії даних, розумієте концепції сховищ даних та дбаєте про дотримання належних практик програмування - ця посада може бути для вас.

Робота за гібридною моделлю: 2 рази на місяць з офісу клієнта у Варшаві.

Sii гарантує, що всі рішення про працевлаштування приймаються виключно на основі кваліфікації та компетенцій. Ми прагнемо до рівного та справедливого ставлення до всіх, незалежно від захищених законом ознак. У Sii ми сприяємо створенню різноманітного та інклюзивного робочого середовища у повній відповідності до чинного антидискримінаційного законодавства.

Завдання

  • Проектування та розробка Big Data рішень з використанням Apache Spark
  • Обробка та інтеграція даних з різних джерел в середовищі Hadoop
  • Моделювання даних та оптимізація обробки
  • Робота з різними форматами даних (JSON, PARQUET, ORC, AVRO)
  • Проектування, кодування, тестування та впровадження рішень відповідно до належних інженерних практик
  • Співпраця з командами аналітиків даних та інженерів у гнучкому середовищі

Наші очікування

  • Мінімум 2 роки досвіду програмування на Apache Spark (бажано PySpark)
  • Дуже добре знання концепцій Big Data, зберігання даних та управління даними
  • Досвід роботи в середовищі Hadoop Cloudera/Hortonworks
  • Вміння працювати з великими масивами даних з різних джерел та інтегрувати їх
  • Просунуті знання SQL
  • Вища технічна освіта (перевага надається ІТ або суміжним спеціальностям)
  • Проживання в Польщі та вільне володіння польською мовою є обов'язковим

Буде перевагою

  • Досвід роботи в Agile середовищі
  • Знання Kubeflow та потокових технологій (Apache Kafka, Apache NiFi)
  • Знання автоматизації процесів CI/CD

Вакансія № 251229-JONXS

Quick apply

Fill in the form in English please

Big Data Developer with Apache Spark

Work mode*

Select at least one option

angle-down

Option was not selected

Attach CV*

Uploaded file:
  • file_icon Created with Sketch.

Acceptable files: doc, docx, pdf. (max 5MB)
Please submit your file in DOC, DOCX or PDF format
The upload size is limited to 5 MB
File is empty
File was not uploaded

At any time, you may withdraw your consent to the processing of personal data, but such withdrawal shall not affect the legal compliance of any processing of such data, which had occurred before you withdrew your consent. Detailed information on the processing of your personal data is specified in the Privacy Policy.

Sii Poland follows the Procedure for reporting law violations.

Create MySii account to follow your application's status
success

Your application has been submitted

We will contact you as soon as we review your CV

Processing...

Sorry, something went wrong and your message was not delivered

Refresh the page and try again. Contact us form, if problem occurs again

Benefits for you

Apply now Recommend a friend

Änderungen im Gange

Wir aktualisieren unsere deutsche Website. Wenn Sie die Sprache wechseln, wird Ihnen die vorherige Version angezeigt.

This content is available only in English version.

Are you sure you want to leave this page?

Цей контент доступний тільки в одній мовній версії.
Ви будете перенаправлені на головну сторінку.

Ви справді бажаєте залишити цю сторінку?