Bukan berita bahwa Google adalah mesin pencari terbesar di dunia. Banyak orang akan bekerja lebih keras agar konten mereka berperingkat tinggi di Google sebelum mesin pencari lainnya. Akibatnya, Google memiliki banyak hasil berkualitas untuk setiap pencarian dan dengan algoritme peringkat yang hebat, Anda dapat mengharapkan untuk mendapatkan hasil pencarian terbaik di Google.

Ini memiliki implikasi. Implikasinya adalah ada banyak data berguna di Google dan itu membutuhkan kebutuhan untuk mengikis data emas ini. Data yang tergores dapat digunakan untuk analisis data berkualitas dan penemuan wawasan yang luar biasa. Ini juga penting untuk mendapatkan informasi penelitian yang bagus dalam satu upaya one.

Berbicara tentang pengikisan, ini dapat dilakukan dengan alat pihak ketiga. Itu juga dapat dilakukan dengan pustaka Python yang dikenal sebagai Scrapy. Scrapy dinilai sebagai salah satu alat pengikis terbaik, dan dapat digunakan untuk mengikis hampir semua halaman web. Anda dapat mengetahui lebih lanjut di perpustakaan Scrapy.

Namun, terlepas dari kekuatan perpustakaan yang luar biasa ini. Mengikis data di Google bisa menjadi salah satu tugas yang sulit. Google bekerja keras pada setiap upaya pengikisan web, memastikan bahwa skrip pengikisan bahkan tidak membuat sebanyak 10 permintaan pengikisan dalam satu jam sebelum alamat IP dilarang.  Ini membuat skrip pengikisan web pihak ketiga dan pribadi tidak berguna.

Google memang memberikan kesempatan untuk mengikis informasi. Namun, scraping apa pun yang akan dilakukan harus melalui Application Programming Interface (API).

Jika Anda belum tahu apa itu Antarmuka Pemrograman Aplikasi, tidak ada yang perlu dikhawatirkan karena saya akan memberikan penjelasan singkat. Menurut definisi, API adalah seperangkat fungsi dan prosedur yang memungkinkan pembuatan aplikasi yang mengakses fitur atau data dari sistem operasi, aplikasi, atau layanan lainnya. Pada dasarnya, API memungkinkan Anda mendapatkan akses ke hasil akhir proses tanpa harus terlibat dalam proses tersebut. Misalnya, API suhu akan memberi Anda nilai Celsius/Fahrenheit suatu tempat tanpa Anda harus pergi ke sana dengan termometer untuk melakukan pengukuran sendiri.

Membawa ini ke dalam lingkup pengikisan informasi dari Google, API yang akan kami gunakan memungkinkan kami mengakses informasi yang diperlukan tanpa harus menulis skrip apa pun untuk mengikis halaman hasil pencarian Google. Melalui API, kami hanya dapat memiliki akses ke hasil akhir (setelah Google melakukan "scraping" di ujungnya) tanpa menulis kode apa pun untuk mengikis halaman web.

Meskipun Google memiliki banyak API untuk tujuan yang berbeda, kami akan menggunakan API JSON Penelusuran Khusus untuk tujuan artikel ini. Informasi lebih lanjut tentang API ini dapat ditemukan di sini.

API ini memungkinkan kami membuat 100 kueri penelusuran per hari secara gratis, dengan paket harga tersedia untuk membuat lebih banyak kueri jika perlu.

Membuat Mesin Telusur Khusus

Agar dapat menggunakan API JSON Penelusuran Khusus, kami memerlukan ID Mesin Telusur Khusus. Namun, kita harus membuat Custom Search Engine terlebih dahulu yang dapat dilakukan di sini.

Saat Anda mengunjungi halaman Custom Search Engine, klik tombol “Tambah” untuk membuat mesin pencari baru.

Di kotak "situs yang akan dicari", cukup masukkan "www.linuxhint.com” dan di kotak “Nama mesin telusur”, masukkan nama deskriptif pilihan Anda (lebih disukai Google).

Sekarang klik "Buat" untuk membuat mesin pencari khusus dan klik tombol "panel kontrol" dari halaman untuk mengonfirmasi keberhasilan pembuatan.

Anda akan melihat bagian “Search Engine ID” dan ID di bawahnya, itu adalah ID yang kami perlukan untuk API dan kami akan merujuknya nanti dalam tutorial ini. ID Mesin Pencari harus dirahasiakan.

Sebelum kita pergi, ingat kita memasukkan “www.linuhint.com” sebelumnya. Dengan pengaturan itu, kami hanya akan mendapatkan hasil dari situs saja. Jika Anda ingin mendapatkan hasil normal dari total pencarian web, klik “Setup” dari menu di sebelah kiri lalu klik tab “Basics”. Buka bagian "Telusuri Seluruh Web" dan aktifkan fitur ini.

Membuat Kunci API

Setelah membuat Custom Search Engine dan mendapatkan ID-nya, selanjutnya adalah membuat kunci API. Kunci API memungkinkan akses ke layanan API, dan harus tetap aman setelah dibuat seperti ID Mesin Pencari.

Untuk membuat kunci API, kunjungi situs dan klik tombol “Dapatkan Kunci”.

Buat proyek baru, dan beri nama deskriptif. Saat mengklik "berikutnya", Anda akan membuat kunci API.

Pada halaman berikutnya, kami akan memiliki opsi pengaturan berbeda yang tidak diperlukan untuk tutorial ini, jadi Anda cukup mengklik tombol "simpan" dan kami siap untuk pergi.

Mengakses API

Kami telah berhasil mendapatkan ID Penelusuran Khusus dan Kunci API. Selanjutnya kita akan menggunakan API.

Meskipun Anda dapat mengakses API dengan bahasa pemrograman lain, kami akan melakukannya dengan Python.

Untuk dapat mengakses API dengan Python, Anda perlu menginstal Google API Client for Python. Ini dapat diinstal menggunakan paket pip install dengan perintah di bawah ini:

pip instal google-api-python-client

Setelah berhasil menginstal, Anda sekarang dapat mengimpor perpustakaan dalam kode kami.

Sebagian besar yang akan dilakukan, akan melalui fungsi di bawah ini:

dari googleapiclient.penemuan impor membangun
my_api_key = "Kunci API Anda"
my_cse_id = "ID MTU Anda"
def google_search(search_term, api_key, cse_id, **kwargs):
service = build("customsearch", "v1", developerKey=api_key)
res = pelayanan.cse().daftar(q=istilah_penelusuran, cx=cse_id, **kwargs).menjalankan()
kembalikan res

Pada fungsi di atas, my_api_key dan my_cse_id variabel harus diganti dengan Kunci API dan ID Mesin Pencari masing-masing sebagai nilai string.

Yang perlu dilakukan sekarang adalah memanggil fungsi yang lewat dalam istilah pencarian, kunci api, dan cse id.

hasil = google_search("Kopi", my_api_key, my_cse_id)
cetak (hasil)

Panggilan fungsi di atas akan mencari kata kunci "Kopi" dan menetapkan nilai yang dikembalikan ke hasil variabel, yang kemudian dicetak. Objek JSON dikembalikan oleh API Pencarian Kustom, oleh karena itu setiap penguraian lebih lanjut dari objek yang dihasilkan akan memerlukan sedikit pengetahuan tentang JSON.

Hal ini dapat dilihat dari contoh hasil seperti yang terlihat di bawah ini:

Objek JSON yang dikembalikan di atas sangat mirip dengan hasil dari pencarian Google:

Ringkasan

Mengikis Google untuk mendapatkan informasi tidak benar-benar sepadan dengan stresnya. API Pencarian Kustom membuat hidup menjadi mudah bagi semua orang, karena satu-satunya kesulitan adalah menguraikan objek JSON untuk informasi yang diperlukan. Sebagai pengingat, selalu ingat untuk merahasiakan ID Mesin Telusur Khusus dan nilai Kunci API Anda.