Arsitektur Lambda
Arsitektur Lambda adalah cara untuk mengolah data dalam jumlah besar dengan menggunakan dua metode, yaitu pemrosesan batch (kelompok data) dan pemrosesan stream (aliran data). Pendekatan ini bertujuan untuk menyeimbangkan kecepatan, kapasitas, dan ketahanan sistem. Pemrosesan batch digunakan untuk memberikan gambaran data yang lengkap dan akurat, sementara pemrosesan stream digunakan untuk menangani data secara langsung dan real-time. Kedua hasil ini kemudian digabungkan sebelum ditampilkan. Arsitektur Lambda berkembang seiring dengan meningkatnya jumlah data besar, kebutuhan analisis waktu nyata, dan usaha untuk mengurangi waktu pemrosesan.[1]
Pengoptimalan arsitektur Lambda
Untuk mengoptimalkan data dan meningkatkan efisiensi kueri, berbagai teknik seperti rollup dan agregasi diterapkan pada data mentah. Selain itu, teknik estimasi digunakan untuk mengurangi biaya komputasi. Meskipun terkadang diperlukan komputasi ulang yang mahal untuk memastikan toleransi kesalahan, algoritma tambahan dapat ditambahkan secara selektif untuk meningkatkan efisiensi. Teknik-teknik seperti komputasi parsial dan pengelolaan sumber daya yang lebih baik dapat membantu mengurangi waktu proses.[2]
Gambaran umum arsitektur Lambda
Arsitektur Lambda adalah sistem yang terdiri dari tiga bagian utama: pemrosesan batch, pemrosesan waktu nyata (kecepatan), dan lapisan penyajian untuk menjawab kueri. Sistem ini menggunakan salinan data utama yang tidak dapat diubah. Konsep ini pertama kali dijelaskan oleh Nathan Marz dalam sebuah blog yang berjudul “Bagaimana cara mengalahkan teorema CAP,” di mana dia menyebutnya "arsitektur batch/real-time."[3]
Arsitektur Lambda yang digunakan
Metamarkets, yang menyediakan analisis untuk perusahaan periklanan terprogram, menggunakan versi arsitektur Lambda dengan Druid untuk menyimpan dan menampilkan data yang berasal dari aliran data dan data yang diproses dalam batch. Yahoo juga menggunakan pendekatan serupa untuk menganalisis data periklanannya. Sementara itu, proyek Netflix Suro memiliki jalur pemrosesan data yang terpisah, meskipun tidak sepenuhnya mengikuti arsitektur Lambda. Jalur ini dirancang untuk tujuan yang berbeda dan tidak selalu memberikan tampilan yang sama. Namun, prinsip dasarnya adalah menyediakan data peristiwa real-time untuk kueri dengan latensi rendah, sementara data secara keseluruhan juga diproses melalui jalur batch. Proses batch ini digunakan untuk aplikasi yang tidak terlalu sensitif terhadap waktu dan membutuhkan pemrosesan yang lebih besar.[4]
Kritik terhadap arsitektur Lambda
Kritik utama terhadap arsitektur Lambda berkaitan dengan kompleksitas dan keterbatasannya. Karena ada dua jalur pemrosesan yang berbeda, yaitu batch dan streaming, masing-masing memerlukan basis kode yang terpisah dan harus dijaga agar tetap sinkron. Ini berarti data yang diproses harus memberikan hasil yang sama dari kedua jalur tersebut. Namun, usaha untuk menggabungkan kedua jalur ini dalam satu sistem seringkali membuat banyak alat khusus untuk batch atau real-time menjadi sulit digunakan.[5]
Arsitektur Kappa
Arsitektur Kappa, diperkenalkan oleh Jay Kreps, adalah pendekatan untuk pemrosesan data yang sepenuhnya berbasis streaming dengan menggunakan satu basis kode tunggal. Dalam pembahasan teknis tentang keuntungan menggunakan pendekatan ini, dijelaskan bahwa kerangka kerja streaming fleksibel, seperti Apache Samza, bisa memberikan keuntungan serupa dengan pemrosesan batch, namun tanpa ada penundaan. Kerangka kerja seperti ini memungkinkan pengumpulan dan pemrosesan data dalam jumlah besar secara efisien, bahkan untuk data yang datang dalam potongan besar (jendela data), serta mampu menangani pemblokiran dan menyimpan status data.[6]
Referensi
- ^ "Nathan Marz on Storm, Immutability in the Lambda Architecture, Clojure". InfoQ (dalam bahasa Inggris). Diakses tanggal 2024-11-21.
- ^ "Home". Metamarkets (dalam bahasa Inggris). Diakses tanggal 2024-11-21.
- ^ "How to beat the CAP theorem - thoughts from the red planet - thoughts from the red planet". nathanmarz.com (dalam bahasa Inggris). Diakses tanggal 2024-11-21.
- ^ "Interactive Analytics in Human Time". SlideShare (dalam bahasa Inggris). 2014-06-17. Diakses tanggal 2024-11-25.
- ^ Kreps, Jay (2014-07-02). "Questioning the Lambda Architecture". O’Reilly Media (dalam bahasa Inggris). Diakses tanggal 2024-11-21.
- ^ Kreps, Jay (2014-07-02). "Questioning the Lambda Architecture". O’Reilly Media (dalam bahasa Inggris). Diakses tanggal 2024-11-25.