Daripada {X} ke Data Engineer
Transisi ke seorang Data Engineer: Sebuah Pengalaman
Loceng notifikasi Linkedin berdering. Ada sebuah mesej daripada rakan linked muncul. Intipati soalannya berlegar bagaimana hendak memulakan kerjaya sebagai jurutera data (data engineer).
Sebenarnya cabang menjadi data engineer terlalu banyak. Mungkin cara yang terbaik adalah daripada sebuah pengalaman saya sendiri.
Saya dikira bertuah kerana memiliki ijazah dalam Business Information System dari Universiti Teknologi PETRONAS. Orang tua kata sebelah kaki sudah masuk. Mempunyai background IT menjadi batu loncatan kerana kebanyakkan perkara asas sudah diliputi semasa belajar di sana seperti database management, pengaturcaraan (programming) dan algorithm.
Saya diserap dalam pasukan Oracle untuk kerjaya pertama saya. Di sini saya mempelajari ilmu database dengan mendalam. Jadi SQL adalah senjata utama dalam kerjaya. Kerjaya pada awalnya hanya berlegar di sekitar teknologi Oracle application.
Satu hari saya mendapat tawaran untuk menjadi DBA, walaupun dari segi kewangan tidaklah begitu mengujakan. Namun peluang untuk mempelajari ilmu infrastruktur IT tidak saya lepaskan. Mentor aka pengurus saya, menjadi guru yang membantu saya dalam transisi daripada application developer ke seorang DBA (Database Administrator). Di situ saya membina kemahiran dengan Linux anda bash scripting. Diberi peluang untuk mengetuai projek migration merupakan pengalaman yang mengujakan dan berharga.
Kemudian kerjaya saya berlegar pula dengan DBA. Tapi ini memberi peluang kepada saya untuk mempelajari analitik perniagaan kerana perlu menyiapkan data model dan laporan business kepada pihak perniagaan (business user). Keperluan untuk mengautomasi laporan mendedahkan saya kepada pelbagai tools reporting seperti (Power BI, SSRS (SQL Server Reporting Services) dan Microstrategy). Pada masa yang sama pengetahuan dalam domain perniagaan seperti E-commerce, Pendidikan dan Perbankan turut berkembang.
Mempunyai pengetahuan domain pada saya adalah penting kerana solusi yang anda akan reka bergantung kepada pengetahuan ini. Anda dapat mencipta penyelesaian jangka panjang dan anda boleh mencabar idea-idea daripada business user untuk mendapatkan penyelesian yang terbaik.
Saya mula mempelajari modern data tools seperti Airflow sebagai projek peribadi. Jadi apabila dapat menggunakaan dalam Production, gap ilmu anda tidaklah terlalu besar. Jadi ambil masa untuk anda mencuba tech stack yang baru (mana tahu rezeki nanti).
Pendedahan kepada pengkomputeran awam (cloud computing) memberi peluang kepada saya untuk mencuba beberapa teknologi seperti kubernetes dan lambda. Pada masa yang sama mempelajari programming python dengan lebih baik. Kalau dulu hanya menggunakan python untuk memanipulasi data, kalau ini dengan menggunakan python saya dapat membina pipeline yang lebih baik.
Oh ya, pelbagai tools yang memudah hidup sebagai IT engineer juga penting. Tools seperti ansible, cloudformation dan git akan memudahkan kerja anda.
Jika anda tiada pengalaman apa yang patut anda lakukan?
Saya sarankan anda untuk membina portfolio sendiri. Komponen-komponen penting dalam portfolio yang perlu anda adalah:
ETL - Tools untuk membantu anda membuat orchestration data pipeline. Contohnya:
Airflow
Talend
SSIS
SQL - Pada pendapat saya skill paling penting, kerana kebanyakkan relational database menggunakan SQL dalam memanipulasikan data, dan saya melihat data storage yang lain mula membuat adaptasi data manipulasi seperti Databrick SQL dan Spark SQL
Python - Ini skill yang penting juga sama seperti SQL. Saya tidak dapat hidup tanpa Pandas =)
Kubernetes - Jika anda membina pipeline dengan menggunakan kubernetes pod memahami bagai mana Kubernetes berfungsi adalah penting (saya hanya tahu cara menggunakan kubernetes. Kalau suruh install/configure EKS saya angkat tangan untuk masa ini.)
dbt - Saya juga mendapati dengan menggunakan dbt dalam project anda anda bukan sahaja dapat mengurus kod-kod SQL. Data linage juga dapat dibina dengan menggunakan dbt
Harap dapat membantu anda yang ini mencuba karier sebagai Data Engineer.
Saya tinggalkan anda dengan sebuah meme
Selamat mencuba
Kalau rajin , boleh share projek kendiri Data enginnering. Terima kasih tuan