Phenquestions
Jika Anda harus mengelola sejumlah besar data maka suatu hari Anda akan menemukan diri Anda menginginkan alat yang hanya akan menunjukkan anomali atau inkonsistensi dalam data dan mengingatkan Anda secara real time.
Apa itu ElastAlert??
ElastAlert dirancang untuk melakukan itu. Ini adalah kerangka kerja sederhana yang memperingatkan ketika mendeteksi anomali, lonjakan, atau pola aturan lain dari data yang ditambahkan di Elasticsearch.
Misalnya, Anda dapat menyiapkan peringatan 'frekuensi', yang akan memberi tahu Anda bila ada X jumlah peristiwa dalam waktu Y.
Atau Anda mungkin ingin segera diperingatkan ketika ada peristiwa 'spike', yaitu ketika tingkat di mana suatu peristiwa terjadi tiba-tiba meningkat atau menurun.
Jenis aturan lain yang disertakan adalah:
- 'flatline' - ketika ada kurang dari X peristiwa dalam waktu Y
- 'daftar hitam/daftar putih' - ketika bidang tertentu cocok dengan 'daftar hitam' atau 'daftar putih'
- 'any' - saat peristiwa yang cocok dengan filter tertentu terjadi
- 'perubahan' - ketika bidang memiliki dua nilai berbeda dalam jangka waktu tertentu
Jenis Peringatan yang Didukung
Saat ini, ElastAlert memiliki dukungan bawaan untuk jenis peringatan berikut:.
- Perintah
- Surel
- JIRA
- OpsGenie
- SNS
- HipChat
- Kendur
- Telegram
- GoogleObrolan
- Debug
- Menginjak
- sarang
Instal ElastAlert dengan Elasticsearch di Ubuntu
Dalam artikel ini, kami menunjukkan cara menginstal ElastAlert di ubuntu 18.04.
Persyaratan
- pencarian elastis
- Data cap waktu ISO8601 atau Unix
- Python 2.7
- pip, lihat persyaratan.txt - (https://github.com/Yelp/elastaler/blob/master/requirements.txt)
- Paket untuk ubuntu - python-pip python-dev libffi-dev libssl-dev
Menginstal Prasyarat
Instal Python 2.7:
sudo apt-get install python-minimal
Periksa versi Python:
sudo python --versi
Maka Anda akan mendapatkan output untuk python 2.7.
Instal paket yang dibutuhkan:
sudo apt-get install python-pip python-dev libffi-dev libssl-dev
Ada beberapa cara berbeda untuk menginstal ElastAlert dan di sini kita akan melakukan instalasi dengan mengkloning repositori git.
Jadi kita perlu menginstal "git" sebelum melanjutkan. Biasanya, Ubuntu 18.04 sudah menginstal git.
Periksa versi git yang diinstal atau tersedia:
sudo apt-cache kebijakan git
Ini akan memberikan detail versi git yang diinstal dan kandidat.
Jika Anda tidak dapat melihat versi git yang terinstal, jalankan perintah berikut.
sudo apt-get install git
Kami akan mengkloning repositori ElastAlert ke folder "/ opt", oleh karena itu ubah direktori.
sudo cd /opt
Sekarang kloning repositori git.
sudo git clone https://github.com/Yelp/elastalert.git
Sekarang instal modul.
sudo pip install "setuptools>=11.3"
pengaturan sudo python.instal
Anda mungkin mendapatkan kesalahan seperti ini.
Kemudian jalankan perintah di bawah ini untuk menginstal "PyOpenSSL"
sudo pip instal PyOpenSSL
Di sini kita akan berintegrasi dengan pencarian Elastis 6.x. Jadi Elasticsearch 5.0+ akan dipasang di sini.
sudo pip install "elasticsearch>=5.0.0"
Konfigurasikan ElastAlert
Kami mengkloning repo ElastAlert ke direktori "/ opt", jadi ubah direktori sebelum melanjutkan.
sudo cd /opt/elastalert/
Sekarang kita mendapatkan salinan konfigurasi.yaml.contoh file sebagai konfigurasi.yaml
konfigurasi sudo cp.yaml.contoh konfigurasi.yaml
Ubah konfigurasi.file yaml.
konfigurasi vim.yaml
Batalkan komentar pada baris berikut dan modifikasi.
Nama Host atau IP ElasticSearch
es_host: server-elk
Port ElasticServer
es_port: 9200
Batalkan komentar otentikasi dasar:
es_namapengguna: es_password:
Simpan dan tutup file.
Buat indeks ElastAlert.
sudo elastaler-create-index
Membuat Aturan
Sekarang edit file berjudul “example_frequency.yaml” di dalam folder “/opt/elastaler/example_rules/”
sudo vim example_rules/example_frequency.yaml
Batalkan komentar dan ubah indeks sebagai berikut:
indeks: filebeat-*
Sekarang tentukan filter untuk peringatan. Disini kami memfilter kata kunci dengan string “pengecualian”.
filter: - query_string: kueri: "pesan:*pengecualian*"
Konfigurasikan Alter dengan Slack. Di sini Anda perlu membuat saluran Slack dan webhook masuk. Kemudian tambahkan detail konfigurasi sebagai berikut.
waspada: - "kendur" kendur: slack_webhook_url: "https://hooks.kendur.com/services/T3YSFN0GL/BFU1HPLKD/BPM2jOlIOzKxbEOHAepu6d26" slack_username_override: "Fosslinux-Elastic-Bot" slack_channel_override: "#fosslinuxalert" slack_emoji_override: ":
Anda dapat mengikuti langkah-langkah di bawah ini untuk membuat saluran Slack.
Mengonfigurasi saluran Slack untuk ElastAlert
Jika Anda tidak memiliki akun kendur, Anda bisa mendapatkannya hanya dengan mendaftar signing. Pergi ke "kendur".com” dan masukkan alamat email Anda dan klik “GET STARTED”.
Kemudian klik 'buat ruang kerja baru' dan verifikasi alamat email Anda. Sekarang Anda dapat masuk dan melihat dasbor.
Buka Jelajahi aplikasi -> Integrasi Kustom -> Webhook Masuk -> Konfigurasi Baru
Kemudian klik 'Buat saluran baru' untuk membuat saluran untuk mengirim Lansiran.
Kemudian klik tombol 'Buat Channel' dan Anda akan dibawa ke halaman integrasi Webhook.
Klik tombol 'Tambahkan Integrasi WebHooks Masuk'. Ini akan membuat pengaturan integrasi.
Aturan Tes
Ubah Direktori ke ElastAlert.
sudo cd /opt/elastalert/
Jalankan perintah di bawah ini untuk menguji aturan yang dikonfigurasi.
sudo elastaler-test-rule example_rules/example_frequency.yaml
Jalankan ElastAlert
Kami akan memulai ElastAlert sebagai layanan latar belakang. Perintah ini harus dijalankan di dalam folder “/ opt/elastalert/”.
sudo python -m elastalert.elastaler --verbose --aturan contoh_frekuensi.yaml &
Sekarang ElastAlert akan mulai memeriksa kueri di Elasticsearch (Di server ELK). Jika ada kecocokan maka akan menembakkan alert ke Slack.
Peringatan dipicu.
Peringatan akan masuk ke Slack Channel.
Itu saja, kami berhasil menginstal dan mengonfigurasi ElastAlert dengan pencarian elastis, dan juga mengatur peringatan ke Slack. Kami berharap tutorial lengkap ini akan membantu Anda menginstal ElastAlert dan mengatur beberapa aturan untuk memicu peringatan dengan mudah. Pertanyaan dan umpan balik dipersilakan di bagian komentar.
