Apache Kafka

Cara Mengatur Partisi di Apache Kafka

Cara Mengatur Partisi di Apache Kafka
Apache Kafka adalah layanan perantara pesan yang kuat. Ini sangat cepat dan dapat diandalkan. Apache Kafka adalah open source dan gratis untuk digunakan. Itu ditulis dalam bahasa Jawa.Pada artikel ini, saya akan menunjukkan cara mengatur partisi di Apache Kafka. Mari kita mulai.

Dasar-dasar Partisi Apache Kafka:

Untuk memahami dasar-dasar Apache Kafka Partisis, Anda perlu tahu tentang Kafka Tema pertama.

SEBUAH Tema seperti database dalam database SQL seperti MariaDB untuk Apache Kafka. SEBUAH Tema memiliki nama atau pengenal yang Anda gunakan untuk mengelompokkan pesan di Apache Kafka.

SEBUAH Partisi seperti saluran untuk masing-masing Tema. SEBUAH Tema bisa punya banyak Partisis atau saluran.

Kabel jaringan yang menghubungkan dua komputer memiliki dua ujung, satu mengirim data, yang lain menerima data. Sama seperti itu, Apache Kafka Topic memiliki dua tujuan, Produsens dan Konsumens. SEBUAH Produsen membuat pesan, dan mengirimkannya di salah satu Partisis dari Tema. SEBUAH Konsumen di sisi lain membaca pesan dari Partisis dari Tema.

Beberapa Partisis atau saluran dibuat untuk meningkatkan redundansi. Ini juga digunakan untuk mengelompokkan pesan dalam tertentu Tema.

Itulah dasar-dasar Apache Kafka Partisis. Anda dapat mempelajari lebih lanjut tentang partisi Apache Kafka di artikel khusus lainnya Partisi Apache Kafka di https://linuxhint.com/apache-kafka-partitioning

Menginstal Apache Kafka:

Saya memiliki artikel terperinci khusus tentang cara Instal Apache Kafka di Ubuntu, yang dapat Anda baca di https://linuxhint.com/install-apache-kafka-ubuntu/

Dengan sedikit penyesuaian, Anda juga dapat menginstal Apache Kafka di distribusi Linux lainnya.

Memulai Server Apache Kafka:

Jika Anda telah mengikuti artikel saya untuk menginstal Apache Kafka, maka pertama-tama jalankan server Apache Kafka dengan perintah berikut:

$ sudo kafka-server-start.sh /etc/kafka.properti

Server Apache Kafka harus dimulai. Biarkan terminal ini tetap terbuka selama Anda ingin server Apache Kafka berjalan.

Membuat Topik Apache Kafka:

Anda dapat membuat Apache Kafka Tema pengujian dengan perintah berikut:

$ sudo kafka-topik.SH \
--buat \
--penjaga kebun binatang localhost:2181 \
--replikasi-faktor 1 \
--partisi 1 \
--pengujian topik

Itu Tema pengujian harus diciptakan. Ini Tema memiliki 1 partisi.

Jika Anda ingin membuat, katakanlah tidak partisi, lalu atur -partisi untuk tidak.

Ayo buat yang lain Tema, Katakanlah pengguna, dengan 3 Partisis, lalu jalankan perintah berikut:

$ sudo kafka-topik.SH \
--buat \
--penjaga kebun binatang localhost:2181 \
--replikasi-faktor 1 \
--partisi 3 \
--pengguna topik

Pengguna topik harus dibuat dengan 3 Partisis.

Menambahkan Pesan yang Dipartisi ke Topik:

SEBUAH Partisipesan ed dari a Tema mempunyai sebuah kunci dan nilai. Itu kunci dan nilai biasanya dipisahkan oleh koma atau karakter khusus lainnya. Tidak masalah karakter khusus apa yang Anda gunakan untuk memisahkan kunci dan nilai pasangan. Tetapi Anda harus menggunakan karakter khusus yang sama di mana-mana pada itu Tema. Kalau tidak, semuanya bisa salah go.

Itu kunci digunakan untuk menentukan Partisi sebuah pesan dari Tema Milik. Itu harus unik di Tema. Jika Anda memiliki 3 Partisis, maka Anda harus menggunakan 3 berbeda kuncis. Sehingga pesan dapat dibagi menjadi 3 Partisis.

Katakanlah kita pengguna Tema memiliki 3 pengguna dengan kunci 1, 2, dan 3, masing-masing milik salah satu dari 3 Partisis dari topik pengguna.

Jalankan perintah berikut untuk menambahkan pengguna pertama dengan kunci 1 menggunakan API Produser Kafka:

$ echo "1,nama: 'Shahriar Shovon', negara: 'BD'" | Sudo kafka-konsol-produser.SH \
--daftar-broker localhost:9092 \
--pengguna topik \
--penguraian properti.kunci = benar \
--kunci properti.pemisah =,

Sekarang Anda dapat membuat daftar pesan dari pengguna Tema menggunakan API Konsumen Kafka dengan perintah berikut:

$ sudo kafka-konsol-konsumen.SH \
--penjaga kebun binatang localhost:2181 \
--pengguna topik \
--cetak properti.kunci = benar \
--kunci properti.pemisah=, \
--dari awal

Seperti yang Anda lihat, kunci dan nilai pasangan yang baru saja saya tambahkan ke pengguna Tema terdaftar.

Saya akan menjaga Konsumen program untuk pengguna Tema buka di Terminal ini dan tambahkan pengguna lain ke pengguna Tema dari yang lain Terminal dan lihat apa yang terjadi.

Tambahkan pengguna lain dengan kunci 2 dengan perintah berikut:

$ echo "2,nama: 'John Doe', negara: 'BD'" | Sudo kafka-konsol-produser.SH \
--daftar-broker localhost:9092 \
--pengguna topik \
--penguraian properti.kunci = benar \
--kunci properti.pemisah =,

Seperti yang dapat Anda lihat dari bagian yang ditandai pada tangkapan layar di bawah, pengguna baru terdaftar di program Konsumen secara instan.

Mari tambahkan pengguna terakhir kami dengan kunci 3 dengan perintah berikut:

$ echo "3,nama: 'Evelina Aquilino', negara: 'US'" | Sudo kafka-konsol-produser.SH \
--daftar-broker localhost:9092 \
--pengguna topik \
--penguraian properti.kunci = benar \
--kunci properti.pemisah =,

Seperti yang Anda lihat, pengguna baru juga terdaftar di Konsumen program.

Anda juga dapat menambahkan banyak pengguna ke yang sama Partisi. Pastikan saja kunci adalah sama.

Mari tambahkan pengguna lain ke Partisi dengan kunci 1:

$ echo "1,nama: 'Lynelle Piatt', negara: 'CA'" | Sudo kafka-konsol-produser.SH \
--daftar-broker localhost:9092 \
--pengguna topik \
--penguraian properti.kunci = benar \
--kunci properti.pemisah =,

Seperti yang Anda lihat, pengguna baru ditambahkan ke yang benar Partisi dari topik pengguna.

Saya dapat terus menambahkan pengguna acak ke pengguna Tema dan mereka akan dikirim melalui partisi yang benar seperti yang Anda lihat dari tangkapan layar di bawah.

Jadi begitu Partisis di Apache Kafka berfungsi. Setiap Partisi seperti Antre, pesan pertama yang Anda kirim melalui partisi itu ditampilkan terlebih dahulu, dan kemudian pesan kedua dan seterusnya dalam urutan pengirimannya.

Jika Anda seorang Jawa pengembang, Anda dapat menggunakan Jawa bahasa pemrograman dan Apache Kafka Java APIs untuk melakukan hal-hal menarik dengan Apache Kafka Partisis. Misalnya, Anda dapat menetapkan yang berbeda Partisi untuk ruang obrolan yang berbeda untuk aplikasi perpesanan instan Anda karena pesan harus ditampilkan sesuai urutan pengirimannya.

Jadi itu saja untuk hari ini. terimakasih telah membaca artikel ini.

Vulkan untuk Pengguna Linux
Dengan setiap generasi baru kartu grafis, kami melihat pengembang game mendorong batas kesetiaan grafis dan selangkah lebih dekat ke fotorealisme. Tet...
OpenTTD vs Simutrans
Membuat simulasi transportasi Anda sendiri bisa menyenangkan, santai, dan sangat menarik. Itulah mengapa Anda perlu memastikan bahwa Anda mencoba game...
Tutorial OpenTTD
OpenTTD adalah salah satu game simulasi bisnis paling populer di luar sana. Dalam game ini, Anda perlu membuat bisnis transportasi yang luar biasa. Na...