25 Emplois pour Spark - Belgique
Data Engineer Spécialisé Big Data (À Distance)
Publié il y a 20 jours
Emploi consulté
Description De L'emploi
Vos Missions Incluent:
- Concevoir, construire, optimiser et maintenir des pipelines de données robustes et évolutifs pour l'ingestion, le traitement et le stockage de données à grande échelle.
- Développer et gérer des solutions Big Data en utilisant des technologies telles que Spark, Hadoop, Kafka, et des bases de données NoSQL.
- Collaborer avec les Data Scientists et les Analystes pour comprendre leurs besoins en données et leur fournir des ensembles de données propres et accessibles.
- Mettre en place des stratégies de qualité des données, de monitoring et de sécurité pour l'ensemble de l'écosystème Big Data.
- Automatiser les processus de déploiement et de gestion de l'infrastructure de données via des outils de CI/CD et d'infrastructure as code.
- Optimiser les performances des requêtes et des traitements de données pour garantir l'efficacité et la rapidité des analyses.
- Évaluer et intégrer de nouvelles technologies et méthodologies pour améliorer continuellement notre plateforme de données.
- Documenter les architectures de données, les pipelines et les processus.
- Assurer la conformité avec les réglementations sur la protection des données (par exemple, RGPD).
- Participer à la résolution de problèmes complexes liés à la gestion et à l'utilisation des données à grande échelle.
Profil Recherché:
- Master ou Doctorat en Informatique, Ingénierie, Mathématiques, Statistique ou domaine connexe.
- Minimum de 5 ans d'expérience en tant que Data Engineer, avec une spécialisation démontrée dans les environnements Big Data.
- Excellente maîtrise des écosystèmes Big Data : Hadoop, Spark, Hive, Pig, et des outils de streaming comme Kafka.
- Solide expérience avec les bases de données NoSQL (MongoDB, Cassandra, HBase) et les entrepôts de données (Snowflake, Redshift, BigQuery).
- Compétences avancées en programmation Python, Scala ou Java.
- Expérience avec les plateformes cloud (AWS, Azure, GCP) et leurs services Big Data associés.
- Connaissance des outils de CI/CD et d'automatisation (Docker, Kubernetes, Terraform).
- Capacité à concevoir et à mettre en œuvre des solutions d'ingénierie de données robustes, évolutives et fiables.
- Excellentes compétences en résolution de problèmes et en communication, à la fois en français et en anglais.
- Autonomie, rigueur et excellent sens de l'organisation pour réussir dans un rôle à distance.
Si vous êtes passionné par les défis du Big Data et que vous recherchez une opportunité de carrière stimulante dans un environnement de travail à distance, saisissez cette chance. Rejoignez notre équipe innovante et contribuez à transformer les données en décisions stratégiques depuis Leuven, Brabant Flamand, BE .
Ce travail est-il un succès ou un échec ?
Architecte Solutions IA et Big Data
Publié il y a 19 jours
Emploi consulté
Description De L'emploi
Ce travail est-il un succès ou un échec ?
Architecte en solutions IA et Big Data
Publié il y a 27 jours
Emploi consulté
Description De L'emploi
Ce travail est-il un succès ou un échec ?
Ingénieur Principal en Systèmes Distribués et Big Data
Publié il y a 5 jours
Emploi consulté
Description De L'emploi
Le candidat idéal possédera une solide formation en informatique, ingénierie logicielle ou un domaine connexe, avec une expérience approfondie dans la conception et la mise en œuvre de systèmes distribués et de pipelines de traitement de données à grande échelle. Une expertise dans des technologies telles que Hadoop, Spark, Kafka, et des bases de données NoSQL est indispensable. Vous devez avoir une compréhension approfondie des architectures de microservices, des principes de calcul distribué et des meilleures pratiques en matière de science des données. Une expérience avec des plateformes cloud (AWS, Azure, GCP) et des outils d'orchestration comme Kubernetes est fortement souhaitée. D'excellentes compétences en programmation (Java, Scala, Python) sont requises. La capacité à résoudre des problèmes complexes, à optimiser les performances des systèmes et à travailler de manière autonome dans un environnement entièrement à distance est fondamentale. Une communication claire et efficace, ainsi qu'une aptitude à mentorer des ingénieurs plus juniors, sont également importantes.
Vos responsabilités principales comprendront:
- Concevoir et développer des architectures de données robustes et évolutives.
- Mettre en œuvre des pipelines de traitement de données efficaces pour l'ingestion, la transformation et l'analyse de données massives.
- Optimiser les performances des systèmes distribués et des requêtes de données.
- Collaborer avec les équipes de science des données pour fournir les données nécessaires à leurs analyses.
- Assurer la fiabilité, la disponibilité et la sécurité de l'infrastructure de données.
- Surveiller les performances des systèmes et résoudre les problèmes pro activement.
- Participer à la recherche et à l'évaluation de nouvelles technologies Big Data.
Nous recherchons des esprits brillants et innovants, capables de relever des défis techniques complexes et de penser de manière stratégique. Si vous êtes passionné par la construction de systèmes de données à grande échelle et que vous souhaitez avoir un impact significatif dans un environnement dynamique entièrement à distance, nous vous encourageons à postuler.
Ce travail est-il un succès ou un échec ?
Kwery - Data Engineer
Publié il y a 15 jours
Emploi consulté
Description De L'emploi
Een groeiende IT-partner binnen de logistieke sector wil zijn Power BI-team versterken met een ervaren Data Engineer. Deze organisatie ondersteunt klanten bij hun digitaliserings- en informatiseringsprojecten, waarbij data-analyse een belangrijke pijler vormt. Door databronnen te koppelen, geïntegreerde datasets te bouwen en deze te vertalen naar krachtige rapporten, maken ze het verschil voor hun klanten.
Hoe zal jouw takenpakket eruit zien?
- Je werkt nauw samen met de functionele analist om projecten succesvol af te ronden.
- Je staat in voor de technische setup van Power BI-omgevingen en bouwt stabiele datamodellen en ETL-processen.
- Je ontwikkelt performante dashboards en rapporten in Power BI met gebruik van Power Query en DAX.
- Je onderzoekt datakwaliteit, optimaliseert queries en zorgt voor een betrouwbare datastroom.
- Je ondersteunt eindgebruikers bij de interpretatie en verdere uitbreiding van rapporten.
Wat verwachten wij van jou?
- Je beschikt over minstens 2 jaar ervaring in een gelijkaardige functie met Power BI of data-engineering.
- Je hebt een sterke analytische mindset en bent vertrouwd met datamodellering, SQL en ETL-processen.
- Je combineert technische nauwkeurigheid met een pragmatische aanpak.
- Je werkt graag zelfstandig maar voelt je ook goed binnen een hecht team van drie dataprofielen.
- Je spreekt vlot Nederlands en hebt affiniteit met de logistieke sector of data-gedreven omgevingen.
Wat bieden wij jou?
- Je ontvangt een aantrekkelijk loon tussen €3.000 en €4.500 per maand, afhankelijk van ervaring.
- Je krijgt een uitgebreid pakket extralegale voordelen, waaronder een bedrijfswagen, tankkaart, laptop, GSM, maaltijd- en ecocheques.
- Je geniet van een hospitalisatieverzekering en een vergoeding van reiskosten.
- Je werkt maximaal een halve dag per week bij de klant en kan rekenen op twee vaste thuiswerkdagen.
- Je maakt deel uit van een ervaren Power BI-team waar innovatie en kennisdeling centraal staan.
Ce travail est-il un succès ou un échec ?
Kwery - Data Engineer
Publié il y a 22 jours
Emploi consulté
Description De L'emploi
Je wordt onderdeel van een team dat streeft naar technische excellentie en innovatie. Je speelt een actieve rol in het vormgeven van de datastrategie, waarbij je de nieuwste technologieën inzet om data écht waardevol te maken voor de organisatie.
Momenteel tellen ze 25 collega's en zijn ze op zoek naar een extra Data Engineer met enkele jaren ervaring op de teller.
Hoe zal jouw takenpakket eruit zien?
- Je ontwerpt, bouwt en onderhoudt moderne data platformen en pipelines.
- Je ondersteunt stakeholders door data beschikbaar te maken via betrouwbare structuren.
- Je waarborgt schaalbaarheid, performance en bruikbaarheid van dataoplossingen.
- Je werkt samen met collega's om technische kwaliteit en architectuurstandaarden te bewaken.
- Je vertaalt functionele noden naar datamodellen en technische oplossingen.
Ce travail est-il un succès ou un échec ?
Kwery - Data Engineer
Publié il y a 14 jours
Emploi consulté
Description De L'emploi
Een groeiende IT-partner binnen de logistieke sector wil zijn Power BI-team versterken met een ervaren Data Engineer. Deze organisatie ondersteunt klanten bij hun digitaliserings- en informatiseringsprojecten, waarbij data-analyse een belangrijke pijler vormt. Door databronnen te koppelen, geïntegreerde datasets te bouwen en deze te vertalen naar krachtige rapporten, maken ze het verschil voor hun klanten.
Hoe zal jouw takenpakket eruit zien?
Je werkt nauw samen met de functionele analist om projecten succesvol af te ronden.
Je staat in voor de technische setup van Power BI-omgevingen en bouwt stabiele datamodellen en ETL-processen.
Je ontwikkelt performante dashboards en rapporten in Power BI met gebruik van Power Query en DAX.
Je onderzoekt datakwaliteit, optimaliseert queries en zorgt voor een betrouwbare datastroom.
Je ondersteunt eindgebruikers bij de interpretatie en verdere uitbreiding van rapporten.
Wat verwachten wij van jou?
Je beschikt over minstens 2 jaar ervaring in een gelijkaardige functie met Power BI of data-engineering.
Je hebt een sterke analytische mindset en bent vertrouwd met datamodellering, SQL en ETL-processen.
Je combineert technische nauwkeurigheid met een pragmatische aanpak.
Je werkt graag zelfstandig maar voelt je ook goed binnen een hecht team van drie dataprofielen.
Je spreekt vlot Nederlands en hebt affiniteit met de logistieke sector of data-gedreven omgevingen.
Wat bieden wij jou?
Je ontvangt een aantrekkelijk loon tussen EUR3.000 en EUR4.500 per maand, afhankelijk van ervaring.
Je krijgt een uitgebreid pakket extralegale voordelen, waaronder een bedrijfswagen, tankkaart, laptop, GSM, maaltijd- en ecocheques.
Je geniet van een hospitalisatieverzekering en een vergoeding van reiskosten.
Je werkt maximaal een halve dag per week bij de klant en kan rekenen op twee vaste thuiswerkdagen.
Je maakt deel uit van een ervaren Power BI-team waar innovatie en kennisdeling centraal staan.
Ce travail est-il un succès ou un échec ?
Soyez le premier informé
À propos du dernier Spark Emplois dans Belgique !
Kwery - Data Engineer
Publié il y a 22 jours
Emploi consulté
Description De L'emploi
Je wordt onderdeel van een team dat streeft naar technische excellentie en innovatie. Je speelt een actieve rol in het vormgeven van de datastrategie, waarbij je de nieuwste technologieën inzet om data écht waardevol te maken voor de organisatie.
Momenteel tellen ze 25 collega's en zijn ze op zoek naar een extra Data Engineer met enkele jaren ervaring op de teller.
Hoe zal jouw takenpakket eruit zien?
Je ontwerpt, bouwt en onderhoudt moderne data platformen en pipelines.
Je ondersteunt stakeholders door data beschikbaar te maken via betrouwbare structuren.
Je waarborgt schaalbaarheid, performance en bruikbaarheid van dataoplossingen.
Je werkt samen met collega's om technische kwaliteit en architectuurstandaarden te bewaken.
Je vertaalt functionele noden naar datamodellen en technische oplossingen.
Ce travail est-il un succès ou un échec ?
Cream Consulting - Data Engineer
Publié il y a 17 jours
Emploi consulté
Description De L'emploi
We could be a Cream Factory, a cooking blog or even a detective agency.but in reality, we are a consulting company specialized in IT development and Business improvement. We are active in large organizations and industry leaders in Banking, Insurance, Telecom, Energy, Pharmaceutical & Transport.
Cream's special recipe
- 1/3 of Personal development
- 1/3 of Collective Intelligence
- 1/3 of Intrapreneurship
And Bonus ingredient: . Some passionate colleagues ?
What is a Data Engineer at cream?
As a Data Engineer at Cream, you can be in charge of the implementation of BI Business Projects or potentially coaching junior data engineers. As well, be responsible for the development of data ingestion and analytics solutions (data warehouses, data marts, etc.)
Your tasks
- Architecting Data Systems: Designing robust and scalable data models to meet business needs
- ETL Development: Creating or improving efficient Extract, Transform, Load processes to integrate and process data
- Performance Optimization: Monitoring and fine-tuning data pipelines and databases For optimal speed and efficiency
- Data Security Implementation: Establishing data security measures to protect sensitive information and ensure compliance
- Cross-functional Collaboration: Working closely with data scientists, analysts, and other teams to understand data requirements and provide technical solutions
How do we imagine our future consultant?
- You have at least 2 years experience in data engineering
- You have a Master's degree, preferably in IT (Computer or industrial engineering) or in Business Administration or equivalent by experience (more than 5 years).
- You are used to working with different data tools such as SSAS, SSIS, SSRS, AWS, Azure data factory, Apache Spark, SQL, Python, Tableau
- You have a good database knowledge (SQL and NoSQL)
- You are fluent in French or Dutch and have full professional capacity in English
- You know what it means to work in an Agile mode
- You are passionate about data, pay attention to details and you bring out concrete analysis to help the business
Why should you taste the lime flavor?
- A broad diversity of career options: you're not stuck in a box
- You evolve in a learning environment where you can challenge your knowledge with your colleagues
- You grow in a company that is at the leading edge of technology
- You have the opportunity to bring new ideas to develop a thriving company
- We have values we share, live with, experiment every day
We just hire great people and give them the playing field to become awesome!
"The Little Thing That CAN Make The Difference, Cream IS Developing A Diversity Plan AND Would Like That All ITS Members Reflect The Society IN All ITS Diversity"
Ce travail est-il un succès ou un échec ?
Junior Data Engineer Belgium
Publié il y a 8 jours
Emploi consulté
Description De L'emploi
To support the needs of our clients, Avanade is actively recruiting and interviewing for the role outlined below as we continue to build on another year of growth in our business. Now, with more than 60,000 employees around the globe, we are positioning our organization to effectively prepare for the future. What does this mean for you? We encourage you to apply and interview for this role without the need to decide now. This allows you to connect with leaders and hiring managers at a pace that works for you and when roles become available, you will be the first to know.
Our talented Data Engineering team is made up of globally recognized experts - and there's room for more analytical, innovative, client-driven data professionals. If you're passionate about helping clients make better data-driven decisions to tackle their most complex business issues, let's talk. Take your skills to a new level and launch a career where you can truly do what matters.
Come join us
As a member of the Data Engineering team, you'll have access to the research, knowledge, and tools to create leading-edge solutions across Avanade's Business Intelligence practice. The role of Senior Engineer is perfect for ambitious technologists passionate about working with the latest Microsoft cloud technology and Microsoft experts. Our clients look to us for innovation, which means you'll have early access to the newest Microsoft technologies so you can master them and stay ahead of the curve.
Together we do what matters.
What you'll do
- Development and delivery of enterprise-grade analytics solutions and data platforms based on Azure and Databricks technologies.
- Be a team player and support fellow team members to make them and yourself grow along the journey.
- Constantly developing technical skills in the latest Azure and Databricks technologies - achieving & maintaining relevant certifications
- Working directly with high profile clients across a variety of sectors to understand their requirements and present solutions to customer sponsors
Skills and experiences
* 2-3 years of experience in Data Engineering.
* Demonstrable experience in Data Engineering.
* Experience in working with the latest Azure technologies, such as; Databricks, Fabric, Data Factory, Azure Data Lake Storage (Gen 2), Cosmos DB, Azure SQL DB.
* Understanding of software engineering tools and concepts, basic knowledge/experience in Python, SQL, Scala or PySpark
* Good communicator who is able to explain technical terms in simple non-technical terms, and collaborate well with other team members.
* Knowledge about CI/CD best practices will be a plus.
* Knowledge on Microsoft Fabric will be a plus.
About you
* Fluent in English is essential for effective communication within multinational teams and with stakeholders.
* Knowledge of one of the local languages French/Dutch is a plus, for maintaining connections and communication within local customers & stakeholders.
* Microsoft Azure Expertise: Proficient in Azure Data Services like Azure Databricks, Azure SQL Database, Azure Data Factory, and Microsoft Fabric.
* Data Modeling and Warehousing: Skilled in designing scalable data models and maintaining data warehouses using Microsoft SQL Server and Azure technologies.
* ETL Development: Experienced in developing and optimizing ETL processes with Azure Databricks, Azure Data Factory and SQL Server Integration Services (SSIS).
* Programming and Scripting: Proficient in SQL, Python, or Scala for effective data manipulation and processing.
* Data Security and Compliance: Knowledgeable in implementing security measures and compliance standards relevant to data operations on Microsoft platforms.
* Collaboration and Communication: Strong ability to collaborate with teams and communicate technical concepts effectively to stakeholders.
Enjoy your career
Some of the best things about working at Avanade :
· Opportunity to work for Microsoft's Global Alliance Partner of the Year (14 years in a row), with exceptional development and training (minimum 80 hours per year for training and paid certifications)
· Real-time access to technical and skilled resources globally
· Dedicated career advisor to encourage your growth
· Engaged and helpful coworkers genuinely interested in you
Find out more about some of our benefits (1) here.
A great place to work
As you bring your skills and abilities to Avanade, you'll get distinctive experiences, limitless learning, and ambitious growth in return. As we continue to build our diverse and inclusive culture, we become even more innovative and creative, helping us better serve our clients and communities. You'll join a community of smart, supportive collaborators to lift, mentor, and guide you, and to lean on your expertise. You get a company purpose-built for business-critical, leading-edge technology solutions, committed to improving the way humans work, interact, and live. It's all here, so take a closer look!
We work hard to provide an inclusive, diverse culture with a deep sense of belonging for all our employees. Visit our (2) Inclusion & Diversity page.
Create a future for our people that focuses on
- Expanding your thinking - Experimenting courageously - Learning and pivoting
Inspire greatness in our people by
- Empowering every voice - Encouraging boldness - Celebrating progress
Accelerate the impact of our people by
- Amazing the client - Prioritizing what matters - Acting as one
Learn more
· (3) thyssenkrupp Materials Services uses data to help strike a delicate operational balance
· (4) What matters to SSE Renewables is innovating for a sustainable future
· (5) Hachette UK enables employees with machine learning-driven contract searches
· (6) Marston Holdings identifies significant cloud savings
· (7) Avanade Insights - exchange ideas that drive tomorrow's innovation
· (8) Inside Avanade - explore what life is like working at Avanade
References
Visible links
1. work hard to provide an inclusive, diverse culture with a deep sense of belonging for all our employees. Avanade believes that all persons are entitled to equal employment opportunities, and we do not discriminate against our employees, applicants, or job seekers because of their race, color, gender, religion, national origin, disability, veteran status, age, marital status, sexual orientation, genetic information, gender identity, or any other protect group status as defined by law.
Ce travail est-il un succès ou un échec ?