Arsitektur Lambda: Perbedaan antara revisi

[[Arsitektur]] merupakan bagian dari kebudayaan manusia yang terkait dengan berbagai aspek kehidupan, seperti [[seni]], [[Perekayasaan|teknik]], pengaturan ruang, [[geografi]], dan [[sejarah]]. Oleh karena itu, pengertian dan batasan tentang arsitektur bisa berbeda-beda, tergantung dari sudut pandang yang digunakan.<ref>{{Cite journal|last=Gunawan|first=D. Enjelina K.|last2=Prijadi|first2=Rachmat|date=2011-05-01|title=REAKTUALISASI RAGAM ART DECO DALAM ARSITEKTUR KONTEMPORER|url=https://ejournal.unsrat.ac.id/index.php/jmm/article/view/315|journal=MEDIA MATRASAIN|language=en-US|volume=8|issue=1|doi=10.35793/matrasain.v8i1.315|issn=2723-1720}}</ref>

Arsitektur Lambda adalah cara untuk mengolah [[data]] dalam jumlah besar dengan menggunakan dua metode, yaitu pemrosesan ''batch'' (kelompok data) dan pemrosesan ''stream'' (aliran data). Pendekatan ini bertujuan untuk menyeimbangkan kecepatan, kapasitas, dan ketahanan sistem. Pemrosesan ''batch'' digunakan untuk memberikan gambaran data yang lengkap dan akurat, sementara pemrosesan ''stream'' digunakan untuk menangani data secara langsung dan ''real-time''. Kedua hasil ini kemudian digabungkan sebelum ditampilkan. Arsitektur Lambda berkembang seiring dengan meningkatnya jumlah data besar, kebutuhan analisis waktu nyata, dan usaha untuk mengurangi waktu pemrosesan.<ref>{{Cite web|title=Nathan Marz on Storm, Immutability in the Lambda Architecture, Clojure|url=https://www.infoq.com/interviews/marz-lambda-architecture/|website=InfoQ|language=en|access-date=2024-11-21}}</ref>

Untuk mengoptimalkan data dan meningkatkan efisiensi kueri, berbagai teknik seperti ''rollup'' dan agregasi diterapkan pada data mentah. Selain itu, teknik estimasi digunakan untuk mengurangi biaya komputasi. Meskipun terkadang diperlukan komputasi ulang yang mahal untuk memastikan toleransi kesalahan, algoritme tambahan dapat ditambahkan secara selektif untuk meningkatkan efisiensi. Teknik-teknik seperti komputasi parsial dan pengelolaan sumber daya yang lebih baik dapat membantu mengurangi waktu proses.<ref>{{Cite web|title=Home|url=https://metamarkets.com/2013/histograms/|website=Metamarkets|language=en-US|access-date=2024-11-21}}</ref>

Arsitektur Lambda adalah sistem yang terdiri dari tiga bagian utama: pemrosesan ''batch'', pemrosesan waktu nyata (kecepatan), dan lapisan penyajian untuk menjawab kueri. Sistem ini menggunakan salinan data utama yang tidak dapat diubah. Konsep ini pertama kali dijelaskan oleh Nathan Marz dalam sebuah blog yang berjudul “Bagaimana cara mengalahkan teorema CAP,” di mana dia menyebutnya "arsitektur ''batch/real-time''."<ref>{{Cite web|title=How to beat the CAP theorem - thoughts from the red planet - thoughts from the red planet|url=http://nathanmarz.com/blog/how-to-beat-the-cap-theorem.html|website=nathanmarz.com|language=en|access-date=2024-11-21}}</ref>

Metamarkets, yang menyediakan analisis untuk perusahaan periklanan terprogram, menggunakan versi arsitektur Lambda dengan Druid untuk menyimpan dan menampilkan data yang berasal dari aliran data dan data yang diproses dalam ''batch''. [[Yahoo!|Yahoo]] juga menggunakan pendekatan serupa untuk menganalisis data periklanannya, dengan memanfaatkan Apache Storm, Apache Hadoop, dan Druid. Sementara itu, proyek [[Netflix]] Suro memiliki jalur pemrosesan data yang terpisah, meskipun tidak sepenuhnya mengikuti arsitektur Lambda. Jalur ini mungkin dirancang untuk tujuan yang berbeda dan tidak selalu memberikan tampilan yang sama. Namun, prinsip dasarnya adalah menyediakan data peristiwa ''real-time'' untuk kueri dengan latensi rendah, sementara data secara keseluruhan juga diproses melalui jalur ''batch''. Proses ''batch'' ini digunakan untuk aplikasi yang tidak terlalu sensitif terhadap waktu dan membutuhkan pemrosesan yang lebih besar.<ref>{{Cite web|last=Blog|first=Netflix Technology|date=2017-04-18|title=Announcing Suro|url=https://netflixtechblog.com/announcing-suro-backbone-of-netflixs-data-pipeline-5c660ca917b6|website=Medium|language=en|access-date=2024-11-21}}</ref>

== Kritik terhadap Arsitekturarsitektur Lambda ==

Kritik utama terhadap arsitektur Lambda berkaitan dengan kompleksitas dan keterbatasannya. Karena ada dua jalur pemrosesan yang berbeda, yaitu ''batch'' dan ''streaming'', masing-masing memerlukan basis kode yang terpisah dan harus dijaga agar tetap sinkron. Ini berarti data yang diproses harus memberikan hasil yang sama dari kedua jalur tersebut. Namun, usaha untuk menggabungkan kedua jalur ini dalam satu sistem seringkali membuat banyak alat yang khusus untuk ''batch'' atau ''real-time'' menjadi sulit digunakan. Sebagai alternatif, Jay Kreps memperkenalkan arsitektur Kappa, yang menggunakan pendekatan pemrosesan data secara ''streaming'' saja, dengan satu basis kode tunggal.<ref>{{Cite web|last=Kreps|first=Jay|date=2014-07-02|title=Questioning the Lambda Architecture|url=https://www.oreilly.com/radar/questioning-the-lambda-architecture/|website=O’Reilly Media|language=en-US|access-date=2024-11-21}}</ref>