bigdata hadoop linux spark

Big Data Platform Engineer, Санкт-Петербург

Одноклассники

Одноклассники – одна из крупнейших социальных сетей. OK – самый высоконагруженный в мире сервис, написанный на Java. Большинство задач, которые возникают перед нами каждый день, не имеют готовых решений, поэтому мы используем большое количество собственных разработок. 

Наша платформа работы с данными построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin и не только), так и на решениях собственной разработки, заточенных под работу 24/7 в условиях высоких нагрузок. Мы ищем человека, который поможет развивать эту платформу внедряя новые решения и дорабатывая существующие.

У нас:
big data: 4 hdfs кластера общим объемом ~150PB;
high load: обслуживаем десятки тысяч серверов;
high available: все сервера расположены в 5 разных дата центрах;
не enterprise: разрабатываем решения, которые сами же и используем;
stack: hadoop-3.1.x, kafka-2.4.x, spark-2.3.x, grafana 7.x, clickhouse, airflow;
lang: java, scala, python, bash.

Задачи

  • развивать платформу хранения и обработки больших данных;
  • предлагать, отстаивать и реализовывать архитектурные решения;
  • оптимизировать и настраивать различные компоненты: hdfs, kafka, clickhouse, spark, zeppelin, etc;
  • разрабатывать инструменты для хранения и обработки данных на java/scala/kotlin.

Требования

  • хорошее знание java/scala;
  • опыт работы и понимание внутреннего устройства: hadoop, hdfs, kafka, spark, zeppelin, airflow, zookeeper, clickhouse.

Мы предлагаем

Гибкий график работы
Офис в центре города
ДМС
Бонусы от партнеров
Интересные задачи