Apa itu Apache Kafka dan bagaimana cara kerjanya?

Dalam pelajaran ini, kita akan melihat apa itu Apache Kafka dan bagaimana cara kerjanya beserta beberapa kasus penggunaan yang paling umum.  Apache Kafka awalnya dikembangkan di LinkedIn pada tahun 2010 dan dipindahkan menjadi proyek Apache tingkat atas pada tahun 2012. Ini memiliki tiga komponen utama:

• Penerbit-Pelanggan: Komponen ini bertanggung jawab untuk mengelola dan mengirimkan data secara efisien di seluruh Kafka Node dan aplikasi konsumen yang berskala besar (seperti secara harfiah).
• Hubungkan API: Connect API adalah fitur yang paling berguna untuk Kafka dan memungkinkan integrasi Kafka dengan banyak sumber data eksternal dan data sink.
• Aliran Kafka: Menggunakan Kafka Streams, kami dapat mempertimbangkan untuk memproses data yang masuk dalam skala besar hampir secara real-time.

Kami akan mempelajari lebih banyak konsep Kafka di bagian mendatang. Ayo maju.

Konsep Apache Kafka

Sebelum kita menggali lebih dalam, kita perlu memahami beberapa konsep di Apache Kafka. Berikut adalah istilah yang harus kita ketahui, secara singkat:

• • Produsen: Ini adalah aplikasi yang mengirim pesan ke Kafka
  • Konsumen: Ini adalah aplikasi yang menggunakan data dari Kafka
  • Pesan: Data yang dikirimkan oleh aplikasi Produsen ke aplikasi Konsumen melalui Kafka
  • Koneksi: Kafka membuat Koneksi TCP antara cluster Kafka dan aplikasi
  • Tema: Topik adalah kategori kepada siapa data yang dikirim ditandai dan dikirimkan ke aplikasi konsumen yang tertarik
  • Partisi topik: Karena satu topik bisa mendapatkan banyak data sekaligus, agar Kafka dapat diskalakan secara horizontal, setiap topik dibagi menjadi beberapa partisi dan setiap partisi dapat hidup di mesin node mana pun dari sebuah cluster. Mari kita coba menyajikannya:

Partisi Topik

• replika: Seperti yang telah kita pelajari di atas bahwa suatu topik dibagi menjadi beberapa partisi, setiap record pesan direplikasi pada beberapa node cluster untuk menjaga urutan dan data setiap record jika salah satu node mati.
• Kelompok Konsumen: Beberapa konsumen yang tertarik pada topik yang sama dapat disimpan dalam kelompok yang disebut sebagai Kelompok Konsumen
• Mengimbangi: Kafka dapat diskalakan karena konsumenlah yang benar-benar menyimpan pesan mana yang terakhir diambil oleh mereka sebagai nilai 'offset'. Artinya untuk topik yang sama, offset Konsumen A mungkin bernilai 5 yang berarti perlu memproses paket keenam berikutnya dan untuk Konsumen B, nilai offset bisa menjadi 7 yang berarti perlu memproses paket kedelapan selanjutnya. Ini sepenuhnya menghilangkan ketergantungan pada topik itu sendiri untuk menyimpan meta-data ini yang terkait dengan setiap konsumen.
• simpul: Sebuah node adalah mesin server tunggal di cluster Apache Kafka.
• Gugus: Sebuah cluster adalah sekelompok node i.e., sekelompok server.

Konsep untuk Topik, Partisi Topik, dan offset juga dapat diperjelas dengan gambar ilustrasi:

Partisi topik dan offset Konsumen di Apache Kafka

Apache Kafka sebagai sistem pesan Terbitkan-berlangganan

Dengan Kafka, aplikasi Produser menerbitkan pesan yang tiba di Node Kafka dan tidak langsung ke Konsumen. Dari Node Kafka ini, pesan dikonsumsi oleh aplikasi Konsumen.

Kafka Produsen dan Konsumen and

Karena satu topik bisa mendapatkan banyak data sekaligus, agar Kafka dapat diskalakan secara horizontal, setiap topik dibagi menjadi partisi dan setiap partisi dapat hidup di mesin node mana pun dari sebuah cluster.

Sekali lagi, Kafka Broker tidak mencatat konsumen mana yang telah mengkonsumsi berapa banyak paket data. Ini adalah tanggung jawab konsumen untuk melacak data yang telah dikonsumsi. Karena alasan Kafka tidak melacak pengakuan dan pesan dari setiap aplikasi konsumen, Kafka dapat mengelola lebih banyak konsumen dengan dampak yang dapat diabaikan pada throughput. Dalam produksi, banyak aplikasi bahkan mengikuti pola konsumen batch, yang berarti bahwa konsumen mengkonsumsi semua pesan dalam antrian pada interval waktu yang teratur.

Instalasi

Untuk mulai menggunakan Apache Kafka, itu harus diinstal pada mesin. Untuk melakukan ini, baca Instal Apache Kafka di Ubuntu.

Kasus Penggunaan: Pelacakan Penggunaan Situs Web

Kafka adalah alat yang sangat baik untuk digunakan ketika kita perlu melacak aktivitas di situs web. Data pelacakan mencakup dan tidak terbatas pada tampilan halaman, penelusuran, unggahan, atau tindakan lain yang mungkin dilakukan pengguna. Saat pengguna berada di situs web, pengguna dapat melakukan sejumlah tindakan saat menjelajahi situs web.

Misalnya, ketika pengguna baru mendaftar di situs web, aktivitas mungkin dilacak dalam urutan apa pengguna baru menjelajahi fitur situs web, jika pengguna menetapkan profil mereka sesuai kebutuhan atau lebih memilih untuk langsung melompat ke fitur situs web. situs web. Setiap kali pengguna mengklik tombol, metadata untuk tombol itu dikumpulkan dalam paket data dan dikirim ke klaster Kafka dari mana layanan analitik untuk aplikasi dapat mengumpulkan data ini dan menghasilkan wawasan yang berguna tentang data terkait. Jika kita melihat untuk membagi tugas menjadi beberapa langkah, berikut adalah bagaimana prosesnya akan terlihat seperti:

1. Seorang pengguna mendaftar di situs web dan masuk ke dasbor. Pengguna mencoba mengakses fitur secara langsung dengan berinteraksi dengan tombol.
2. Aplikasi web membuat pesan dengan metadata ini ke partisi topik topik "klik".
3. Pesan ditambahkan ke log komit dan offset bertambah
4. Konsumen sekarang dapat menarik pesan dari Kafka Broker dan menunjukkan penggunaan situs web secara real-time dan menunjukkan data masa lalu jika mengatur ulang offset ke nilai masa lalu yang mungkin

Kasus Penggunaan: Antrian Pesan

Apache Kafka adalah alat luar biasa yang dapat berfungsi sebagai pengganti alat perantara pesan seperti RabbitMQ. Pesan asinkron membantu dalam memisahkan aplikasi dan menciptakan sistem yang sangat skalabel.

Sama seperti konsep microservices, alih-alih membangun satu aplikasi besar, kita dapat membagi aplikasi menjadi beberapa bagian dan setiap bagian memiliki tanggung jawab yang sangat spesifik. Dengan cara ini, bagian-bagian yang berbeda dapat ditulis dalam bahasa pemrograman yang sepenuhnya independen juga! Kafka memiliki sistem partisi, replikasi, dan toleransi kesalahan bawaan yang membuatnya bagus sebagai sistem perantara pesan berskala besar.

Baru-baru ini, Kafka juga dipandang sebagai solusi pengumpulan log yang sangat baik yang dapat mengelola pialang server pengumpulan file log dan menyediakan file-file ini ke sistem pusat. Dengan Kafka, dimungkinkan untuk menghasilkan acara apa pun yang Anda ingin bagian lain dari aplikasi Anda ketahui.

Menggunakan Kafka di LinkedIn

Sangat menarik untuk dicatat bahwa Apache Kafka sebelumnya dilihat dan digunakan sebagai cara untuk membuat jalur pipa data menjadi konsisten dan melalui mana data diserap ke Hadoop. Kafka bekerja dengan sangat baik ketika beberapa sumber data dan tujuan hadir dan menyediakan proses pipa terpisah untuk setiap kombinasi sumber dan tujuan tidak mungkin. Arsitek Kafka LinkedIn, Jay Kreps menjelaskan masalah yang sudah dikenal ini dengan baik dalam sebuah posting blog:

Keterlibatan saya sendiri dalam hal ini dimulai sekitar tahun 2008 setelah kami mengirimkan toko bernilai kunci kami. Proyek saya berikutnya adalah mencoba menjalankan pengaturan Hadoop, dan memindahkan beberapa proses rekomendasi kami ke sana. Memiliki sedikit pengalaman di bidang ini, kami secara alami menganggarkan beberapa minggu untuk mendapatkan data masuk dan keluar, dan sisa waktu kami untuk menerapkan algoritme prediksi mewah. Jadi mulailah kerja keras yang panjang.

Apache Kafka dan Flume

Jika Anda pindah untuk membandingkan keduanya berdasarkan fungsinya, Anda akan menemukan banyak fitur umum. Berikut adalah beberapa di antaranya:

• Disarankan untuk menggunakan Kafka saat Anda memiliki beberapa aplikasi yang menggunakan data, bukan Flume, yang dibuat khusus untuk diintegrasikan dengan Hadoop dan hanya dapat digunakan untuk memasukkan data ke dalam HDFS dan HBase. Flume dioptimalkan untuk operasi HDFS.
• Dengan Kafka, merupakan kerugian jika harus mengkodekan aplikasi produsen dan konsumen sedangkan di Flume, ia memiliki banyak sumber dan sink bawaan. Artinya, jika kebutuhan yang ada cocok dengan fitur Flume, Anda disarankan untuk menggunakan Flume sendiri untuk menghemat waktu.
• Flume dapat menggunakan data dalam penerbangan dengan bantuan pencegat. Ini bisa menjadi penting untuk penyamaran dan pemfilteran data sedangkan Kafka membutuhkan sistem pemrosesan aliran eksternal.
• Kafka dapat menggunakan Flume sebagai konsumen saat kami perlu menyerap data ke HDFS dan HBase. Ini berarti Kafka dan Flume terintegrasi dengan sangat baik.
• Kakfa dan Flume dapat menjamin nol kehilangan data dengan konfigurasi yang benar yang juga mudah dicapai. Namun, untuk menunjukkan, Flume tidak mereplikasi peristiwa yang berarti bahwa jika salah satu node Flume gagal, kami akan kehilangan akses peristiwa hingga disk dipulihkan

Kesimpulan

Dalam pelajaran ini, kita melihat banyak konsep tentang Apache Kafka. Baca lebih banyak posting berbasis Kafka di sini.