Can you explain the process of ETL (Extract, Transform, Load) and its importance in the context of data engineering
Data Engineer Interview Questions
Data Engineer Interview Questions
Le data engineer est un professionnel de l’informatique présent dans presque tous les secteurs. Il/Elle suit l’évolution et les tendances des données pour orienter les stratégies futures de l’entreprise. Une part essentielle de son travail consiste à transformer des données brutes en données exploitables en créant des pipelines et des systèmes de données.
Questions d'entretien d'embauche fréquentes pour un data engineer (H/F) et comment y répondre
Question 1
Question 1 : Décrivez en détail votre niveau d’expertise en langage de programmation.
How to answer
Comment répondre : Avant l’entretien, révisez votre CV et dressez la liste des programmes que vous maîtrisez. Si vous vous apercevez que vous ne connaissez pas un logiciel que l’entreprise utilise majoritairement, mettez en avant votre motivation et votre volonté de vous former au logiciel en question.
Question 2
Question 2 : Expliquez selon vous en quoi consiste le data engineering.
How to answer
Comment répondre : Soulignez votre rôle au sein de l’entreprise et par rapport à d’autres fonctions telles que data scientist pour définir clairement votre contribution. Précisez la différence entre un ingénieur axé sur les bases de données et un ingénieur axé sur les pipelines de données.
Question 3
Question 3 : Quelle est votre expérience en gestion de données dans le cloud et avec Apache Hadoop ?
How to answer
Comment répondre : Renseignez-vous sur les logiciels de gestion de données dans le cloud utilisés par l’entreprise (notamment Apache Hadoop). Un data engineer doit maîtriser les langages de programmation et les systèmes de gestion des données couramment employés dans le secteur, dont Apache Hadoop.
20,260 data engineer interview questions shared by candidates
Question related to your coding test
1. A Python script to check the total number of item ingredients and does it has a sweetener or not for a sample input which they provided
Python- 1. WAP to eliminate vowels in input string. 2. WAP to print "aaabbbbcccc". input - 'a3b4c4' SQL- 1. rank/dense_rank/row_num - state difference and explain with a real life example. 2. Input Table C1 | c2 1 | India 2 | Aus 3 | Pak 4 | SL OutPut India | Aus India | Pak India | SL Aus | Pak Aus | SL Pak | SL Big Data :- 1. Diff between Parquet/Avro/ORC/CSV 2. Hive partitioning vs bucketing 3. How data is stored in AWS S3 ? 4. Types of Spark modes (cluster/client) 5. Types of cluster managers (YARN/Mesos/ Kubernetes/Local/Standalone)
Behavior questions plus technical assessment
Was asked to build a data pipeline that starts by making a request to an api that contains time series data, parse the response and save to a file. The API provides energy trading data.
For the Data Engineering portion, I worked with a data set and Python Pandas to do various manipulations of that data.
The most involved part was in deciding how to rate top restaurants with a given data table of yelp reviews. This was not terribly difficult, but did take a small bit of thought and a fair bit of know how for manipulating the dataframe
Able to work off hours
None! Recruiter didn't show up to the 2 scheduled calls.
Viewing 901 - 910 interview questions
See Interview Questions for Similar Jobs
Modeling EngineerPerl DeveloperAnalytics EngineerDatabase AdministratorData Warehouse DeveloperDatastage DeveloperDatawarehouse DeveloperData MinerEtl TesterEtl DeveloperData ModelerBusiness Objects DeveloperData AnalystMachine Learning ScientistData ScientistData Warehouse ArchitectBusiness Intelligence SpecialistData Warehouse ManagerOracle Data Integrator