Analitik tertambah

Analitik tertambah (bahasa Inggris: augmented analytics) adalah sebuah pendekatan yang menggunakan pembelajaran mesin (machine learning) dan pemrosesan bahasa alami (Natural Language Processing) untuk mengotomatisasikan data analytic, data sharing, dan business intelligence . Konsep Augmented Intelligence yang merupakan konsep menyeluruh dari Augmented Analytic pertama kali diperkenalkan oleh perusahaan riset Gartner, dalam edisi "Hype Cycle for Emerging Technologies" pada tahun 2017. Penggunaan pemelajaran mesin dan NLP memberikan alat bagi Augmented Analytic yang memiliki kemampuan untuk memahami dan berinteraksi dengan data secara organik serta memperhatikan tren yang penting atau tidak biasa. Data analytic sendiri merupakan konsep yang sangat kompleks dan membutuhkan data scientist untuk mengekstrak nilai apapun dari big data. Diperkirakan seorang data scientist dapat menghabiskan 80% waktunya untuk mengumpulkan, mempersiapkan dan membersihkan data. Di sinilah Augmented Analytic dapat diimplementasikan, dengan bantuan pemelajaran mesin pada data analytics, waktu yang dihabiskan untuk mengumpulkan dan mempersiapkan data dapat diselesaikan dengan cepat, secara otomatis, dan dengan error yang lebih sedikit sehingga data scientist dapat menghabiskan lebih banyak waktu dalam mencari pengetahuan mendalam yang dapat ditindaklajuti.

Definisi

Augmented Analytics mencakup:

• Persiapan data tertambah (augmented data preparation), yang menggunakan otomatisasi pemelajaran mesin untuk menambah profil dan kualitas data, harmonisasi, pemodelan, manipulasi, pengayaan, pengembangan dan katalogisasi metadata.
• Penemuan data tertambah (augmented data discovery, yang sebelumnya disebut "smart data discovery"), yang memungkinkan pebisnis dan data scientist menggunakan pemelajaran mesin untuk secara otomatis menemukan, membayangkan, dan menceritakan penemuan yang relevan (seperti korelasi, pengecualian, penyaringan, hubungan dan prediksi) tanpa membuat model atau menulis algoritma. Pengguna menjelajah data menggunakan visualisasi, teknologi pencarian dan bahasa alami, didukung oleh narasi yang dihasilkan oleh bahasa alami untuk interpretasi hasil. Hasil tersebut dapat dianalisis oleh data scientist tanpa gagasan yang terbentuk sebelumnya untuk pembuatan prototipe awal dan pengembangan hipotesis dengan eksperimen yang tidak terlalu manual. Oleh karena itu, data scientist dapat memiliki banyak waktu untuk fokus membangun dan mengoperasikan model yang relevan .
• Ilmu data tertambah (augmented data science) dan Pemelajaran Mesin (Machine Learning), yang mengotomatisasikan aspek kunci dari pemodelan analitik lanjutan seperti pemilihan fitur. Hal ini mengurangi kebutuhan akan keterampilan khusus untuk menghasilkan, mengoperasikan, dan mengelola model analitik lanjutan .

Sejarah Perkembangan Platform Analitik

Platform Berbasis Lapisan Semantik

Data perusahaan seringkali disimpan di dalam basis data relasional dan server OLAP. Data tersebut mengandung informasi penting, namun tidak dalam bentuk yang dapat memudahkan pengguna menjawab pertanyaan bisnis. Konsep lapisan semantik awalnya dipatenkan oleh Business Objects pada tahun 1991 dan berhasil ditantang oleh Microstrategy pada tahun 2003 . Lapisan semantik merupakan representasi bisnis dari data perusahaan yang dapat membantu pengguna mengakses data secara mandiri menggunakan istilah bisnis umum. Dengan lapisan semantik, data kompleks dapat dipetakan menjadi istilah bisnis yang familiar seperti, produk, konsumen, atau keuntungan untuk menyediakan tampilan terpadu atau gabungan data dari seluruh organisasi. Istilah bisnis tersebut disimpan sebagai objek pada lapisan semantik yang diakses melalui business view. Business Views adalah sistem multi-tier yang dirancang untuk memungkinkan perusahaan membangun objek bisnis yang komprehensif dan spesifik yang membantu perancang laporan dan pengguna mengakses informasi yang mereka butuhkan. Business views dimaksudkan untuk memungkinkan orang menambahkan konteks bisnis yang diperlukan ke data island mereka dan menautkannya ke dalam sebuah business views yang terorganisir dalam organisasi mereka .

Platform Penemuan Data Berbasis Visual

Penemuan data (data discovery) adalah proses untuk mendeteksi pola dan outlier dengan menavigasi data secara visual atau menerapkan analitik tingkat tinggi dengan panduan. Penemuan data adalah proses yang berulang yang tidak memerlukan pembuatan model di awal . Selama 10 tahun terakhir, platform penemuan data berbasis visual ini sudah mengacaukan pasar BI tradisional. Alat yang mudah digunakan ini memungkinkan pengguna untuk mengumpulkan data secara cepat, memeriksa hipotesis secara visual, dan menemukan wawasan baru pada sebuah data. Platform ini mengubah bagaimana pengguna bisnis mengeksplorasi data dibandingkan dengan lapisan semantik yang berpusat pada IT. Walaupun demikian, banyak aktivitas terkait dengan persiapan data, penemuan pola dalam data yang kompleks dan berbagi wawasan tetap manual dan cenderung bias .

Walaupun alat penemuan data berbasis visual ini mudah digunakan, karena pengguna menganalisa data secara manual dengan membuat queries untuk menginvestigasi hipotesis, hal ini tidak memungkinkan bagi mereka untuk menemukan semua pola dan kombinasi yang mungkin, seperti apakah temuan mereka adalah yang paling relevan, signifikan dan dapat ditindaklanjuti. Bergantung pada pengguna bisnis untuk menemukan pola secara manual dapat mengakibatkan mereka bias pada hipotesis mereka sendiri, kehilangan temuan yang penting, dan menarik kesimpulan mereka sendiri yang salah atau tidak lengkap, yang dapat mempengaruhi keputusan dan hasil .

Visualisasi merupakan cara yang ampuh untuk menemukan dan mengkomunikasikan pola dalam data (lebih dari tabel atau daftar). Namun, visualiasi tidak selalu menyoroti temuan yang signifikan secara statistik. Untuk itu, diperlukan interpretasi pengguna atau analisis statistik lebih lanjut untuk menentukan apakah temuan tersebut relevan, signifikan, dan dapat ditindaklanjuti. Terlebih lagi, menemukan wawasan dari analitik lanjut memerlukan keahlian dari data scientist yang sangat langka .

Augmented Analytics

Pada platform penemuan data berbasis visual, eksplorasi manual interaktif menggunakan visualiasi merupakan fitur pendefinisinya. Sedangkan, pada augmented analytics, otomatisasi pembelajaran mesin pada penemuan wawasan dan proses eksplorasi merupakan fitur pendefinisinya. Alat tersebut memungkinkan pengguna dan data scientist untuk menemukan , memvisualisasikan, dan menarasikan temuan yang relevan, seperti korelasi, pengecualian, pengelompokan, dan prediksi secara otomatis tanpa harus membangun model atau menulis algoritma. Pengguna mengeksplorasi data melalui visualisasi, teknologi pencarian dan natural language query, didukung oleh narasi dan interpretasi yang dihasilkan oleh bahasa alami berbasis teks dan suara, atau temuan yang paling penting secara statistik dalam konteks pengguna .

Augmented analytic dapat mengurangi waktu eksplorasi dan identifikasi wawasan yang salah atau kurang relevan. Menerapkan berbagai algoritma dan pembelajaran data secara paralel dan menjelaskan temuan yang dapat ditindaklanjuti kepada pengguna, mengurangi risiko hilangnya wawasan penting dalam data, dibandingkan dengan eksplorasi manual. Hal ini juga mengoptimalkan keputusan dan tindakan yang dihasilkan. Pergeseran paradigma ini membutuhkan investasi dalam literasi data di seluruh organisasi karena wawasan ini akan didistribusikan ke semua karyawan .

Alur Kerja Augmented Analytic

Saat ini, dalam bidang analitik, data scientist ataupun analis melakukan aktivitas berulang yg terdiri dari: menyiapkan data, menemukan pola pada data dan membangun model, membagi dan mengoperasikan penemuan dari data. Pendekatan augmented analytics mempercepat waktu yang diperlukan untuk mendapatkan wawasan akurat bagi pengguna bisnis dan menambah analisis mereka menggunakan algoritma pembelajaran mesin untuk mengotomatisasikan 3 proses analitik utama yang saat ini digunakan pada platform penemuan data berbasis visual .

Menyiapkan Data (Augmented Data preparation)

Persiapan data pada augmented analytics menggunakan algoritma untuk menemukan hubungan pada data, mendeskripsikan dan merekomendasikan pendekatan yang paling baik untuk membersikan, menyesuaikan, memperkaya, memanipulasi, dan memodelkan data dengan kemampuan untuk menangkap metadata dan garis turunan agar dapat digunakan kembali dan dikelola .

Menemukan pola pada data (Augmented Data Discovery)

Daripada analis secara manual menguji semua kombinasi data, maka diimplementasikan secara otomatis algoritma untuk mendeteksi korelasi, segmen, kelompok, outlier, dan relasi pada augmented analytics. Hanya hasil yang paling signifikan dan relevan secara statistiklah yang akan ditampilkan pada pengguna dalam bentuk visualisasi cerdas yang dioptimalkan untuk interpretasi pengguna. Menerapkan berbagai algoritma pada data secara paralel mengurangi risiko akan kehilangan wawasan yang penting pada data. Kebanyakan, platform penemuan data membuat model dasar terbuka untuk diinspeksi, diuji, dan divalidasi oleh data scientist spesialis. Hal ini penting untuk membangun kepercayaan dan memastikan keakuratan dari wawasan yang dihasilkan secara otomatis .

Otomatisasi pembelajaran mesin juga memasuki platform ilmu data (data science) untuk mempersingkat proses pembuatan fitur dan model. Pengguna dari augmented data discovery adalah orang bisnis atau citizen data scientist, dan luarannya adalah wawasan (baik visual maupun narasi dalam bahasa alami), sedangkan luaran dari ilmu data cerdas (smart data science) adalah model dan penggunanya adalah pakar data scientist . Tujuannya adalah untuk membuat data scientist spesialis lebih produktif dan model yang mereka buat tidak bias. Mengingat kelangkaan dari pakar data scientist dan permintaan yang semakin meningkat akan keterampilan mereka, diharapkan produktivitas yang lebih tinggi dan lebih banyak pekerjaan analitik perlu dilakukan oleh kelas data scientist baru juga.

Augmented data discovery dan augmented data science, serta pembelajaran mesin sama-sama mengurangi waktu eksplorasi dan identifikasi wawasan yang salah atau tidak relevan. Diperlukan proses kolaborasi antara keduanya untuk memfokuskan analis bisnis pada hal yang penting dan memberikan prototipe awal pada data scientist untuk mengeksplorasi dan mengoperasionalkan model untuk pola yang relevan saja. Baik analis dan data scientist menjadi lebih produktif dengan mengurangi fase eksperimen dan eksplorasi awal. Hal ini berdampak pada waktu yang lebih cepat untuk menghasilkan wawasan dan mengambil tindakan.

Perbedaan antara Platform Augmented Data Discovery dan Augmented Data Science

Platform augmented data discovery memberikan wawasan pada citizen data scientist. Sebuah model dihasilkan dan dapat ditanamkan pada aplikasi, setelah pemeriksaan lanjut oleh data scientist spesialis. Namun, sasaran atau luarannya adalah wawasan. Natural Language Query (NLQ) dan Natural Language Generation (NLG) merupakan fitur pengalaman pengguna yang penting. Sebaliknya, platform augmented data science , secara otomatis menghasilkan model baik bagi citizen data scientist maupun data scientist spesialis atau untuk ditanamkan. Platform ini membantu membangun model, mengelola siklus hidup, dan tata kelola. Perbedaan antara kedua platform hampir tidak kentara dan menyempit ke sebuah titik di mana konvergensi yang lebih besar mungkin terjadi .

Perbedaan antara Augmented Data Discovery dan Smart Visualization

Augmented data discovery harus dapat dibedakan secara jelas dari smart visualization. Yang terakhir adalah fitur deteksi pola yang secara otomatis menampilkan data dalam tipe, susunan, warna pembuatan label atau level detil visualisasi terbaik untuk mengoptimalkan wawasan untuk pengguna, tanpa manipulasi tambahan (filtering, sorting, label positioning, dll.).

Membagi dan mengoperasikan temuan dari data (Sharing and Operationalizing Findings from Data)

Platform BI modern dan analitik telah membuat kemajuan yang signifikan dengan cara membuat visualisasi dari data pada dashboard atau storyboard interaktif dan memberikan kapabilitas untuk membantu dalam hal berbagi dan bersosialisasi mengenai temuan yang didapat. Namun, visualisasi seringkali mengaburkan apa yang benar-benar signifikan dari sebuah data dan banyak pengguna tidak memiliki kemampuan untuk sepenuhnya menginterpretasikan wawasan berbasis visual yang signifikan secara statistik. Dengan penambahan bahasa alami, platform augmented data discovery secara otomatis menyajikan temuan melalui narasi secara tertulis atau lisan, bersama dengan visualisasi yang memberi tahu pengguna tentang apa yang paling penting bagi mereka untuk ditindaklanjuti.