What is Hadoop? What is Spark? And very silly questions like why use a Message Queue and not a Database.
Data Engineer Interview Questions
Data Engineer Interview Questions
Le data engineer est un professionnel de l’informatique présent dans presque tous les secteurs. Il/Elle suit l’évolution et les tendances des données pour orienter les stratégies futures de l’entreprise. Une part essentielle de son travail consiste à transformer des données brutes en données exploitables en créant des pipelines et des systèmes de données.
Questions d'entretien d'embauche fréquentes pour un data engineer (H/F) et comment y répondre
Question 1
Question 1 : Décrivez en détail votre niveau d’expertise en langage de programmation.
How to answer
Comment répondre : Avant l’entretien, révisez votre CV et dressez la liste des programmes que vous maîtrisez. Si vous vous apercevez que vous ne connaissez pas un logiciel que l’entreprise utilise majoritairement, mettez en avant votre motivation et votre volonté de vous former au logiciel en question.
Question 2
Question 2 : Expliquez selon vous en quoi consiste le data engineering.
How to answer
Comment répondre : Soulignez votre rôle au sein de l’entreprise et par rapport à d’autres fonctions telles que data scientist pour définir clairement votre contribution. Précisez la différence entre un ingénieur axé sur les bases de données et un ingénieur axé sur les pipelines de données.
Question 3
Question 3 : Quelle est votre expérience en gestion de données dans le cloud et avec Apache Hadoop ?
How to answer
Comment répondre : Renseignez-vous sur les logiciels de gestion de données dans le cloud utilisés par l’entreprise (notamment Apache Hadoop). Un data engineer doit maîtriser les langages de programmation et les systèmes de gestion des données couramment employés dans le secteur, dont Apache Hadoop.
20,303 data engineer interview questions shared by candidates
About project , architectures ,some basics like partition,bucketing,RDD, Data frames, DAG execution engine, why from Hive to Spark SQL, difference between RDD, DataFrames, Datasets, how to make joins between data frames, what to do in spark job if our infrastructure is limited.
Azure Batch Storage and .Net applications
Can you walk us through the process of designing an end-to-end data pipeline, including data ingestion, transformation, and loading (ETL), and how you would ensure its scalability and reliability?
What is a failure you’ve learned from?
Slowly Changing Dimension Types (DataWarehouse - SCDs)
Considerations to define table structure with billion of records
Architecture and ETL process of my previous employment with an example of End to end ETL flow. Couple of questions on AWS services. Learning spirit Differences between batch processing and stream processing. Questions on Kappa architecture Many more relavent to my previous experience mentioned in CV
What was my previous experience.
Get rows where price decreased compared to the previous date petrol_details (pump, products, price, date)? [ (PUMP-1, Petrol, 100.05, 2025-01-01), (PUMP-1, Petrol, 98.00, 2025-01-02 ), (PUMP-1, Diesel, 90.00. 2025-01-01 ), (PUMP-1, Diesel, 95.00, 2025-01-02 ), (PUMP-2, Petrol, 101.05, 2025-01-01), (PUMP-2, Petrol, 97.99, 2025-01-02 ), (PUMP-2, Diesel, 90.05. 2025-01-01 ), (PUMP-2, Diesel, 86.00, 2025-01-02 )]
Viewing 1781 - 1790 interview questions
See Interview Questions for Similar Jobs
Perl DeveloperModeling EngineerAnalytics EngineerData AnalystData ModelerEtl TesterDatastage DeveloperEtl DeveloperDatawarehouse DeveloperData Warehouse DeveloperData MinerDatabase AdministratorData ScientistMachine Learning ScientistData Warehouse ArchitectBusiness Intelligence SpecialistOracle Data IntegratorData Warehouse ManagerBusiness Objects Developer