Langsung ke konten utama

Scraping Data Twitter Menggunakan Tweepy Python

Alat dan Bahan yang dibutuhkan :

1. Api Key Twitter

2. Jupyter notebook

3. Library Tweepy

Disini saya menggunakan Anaconda (https://www.anaconda.com/products/individual) kalian juga bisa menggunakan teks editor seperti VSCode dengan membuat file berekstensi .ipynb. Untuk cara yang lebih jelas kalian bisa cek dokumentasinya saja.


Langkah-Langkah :

1. Buka jupyter notebook

2. Klik New, lalu pilih Python 3

3. Install Library Tweepy jika belum punya, tulis saja
pip install tweepy

kemudian Run (Ctrl+Enter). Karena saya sudah menginstallnya, maka tampilannya seperti di bawah

4. Import library yang dibutuhkan seperti yang di bawah ini
import tweepy
from tweepy.streaming import StreamListener
from tweepy import OAuthHandler
from tweepy import Stream
import time
import json

5. Buatlah beberapa variabel untuk menyimpan API Token Twitter, kalian bisa copy paste script di bawah dan isikan variabel sesuai dengan API Key milik kalian.

access_token = "<your access token>"
acces_token_secret = "<your access token secret>"
consumer_key = "<your consumer token>"
consumer_secret = "<your consumer token secret>"

6. Buatlah class StdoutListener
class StdoutListener(StreamListener):
    def on_data(self,data):
        try:
            data = json.loads(data) # load data dalam format json
            tweet = data['text']    # ambil entitas text (Tweet)
            print(tweet)            # tampilkan text(Tweet)
            
            #simpan dan export file dalam .csv
            with open('tweet.csv', 'a', encoding='utf-8') as f:
                saveFile = open('hasil.csv','a')
                f.write(tweet)
                f.write('\n')
                f.close()
            return True
        except BaseException as e:
            print('Failed'(e))
   
    def on_error(self,status):
        print(status)

7. Terakhir, tuliskan code yang akan kita jalankan untuk menambang data dari API Twitter tersebut
l = StdoutListener()
auth = OAuthHandler(consumer_key,consumer_secret)
auth.set_access_token(access_token,access_token_secret)
stream = Stream(auth,l)
stream.filter(track=['Gojek', 'Grab'])

Sebagai contoh saya menggunakan keyword 'Gojek' dan 'Grab'. Kalian bisa menggantinya, menambah keyword sesuai dengan kebutuhan.

Untuk melihat kode selengkapnya, kalian bisa Klik Disini


Postingan populer dari blog ini

Data Crawling dan Scraping - Pengertian, Tools, dan Studi Kasus

PENGERTIAN Crawling Web Crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer. Proses crawling dalam suatu website dimulai dari mendata seluruh url dari website, menelusurinya satu-persatu, kemudian memasukkannya dalam daftar halaman pada indeks search engine, sehingga setiap kali ada perubahan pada website, akan terupdate secara otomatis. Web crawler dirancang secara algoritmik untuk mencapai kedalaman maksimum halaman dan merayapnya secara iteratif, menggali setiap data yang ada di internet seperti seperti : meta data, keyword, dan lain sebagainya. Kemudian web crawler atau si (spider man) ini akan meng index seluruh data kita ke dalam data base search engine. Sampai pada akhirnya halaman website akan ditampilkan di SERP (search engine rage...

Cara Mendaftar Akun Developer Twitter

Kali ini saya akan berbagi tutorial untuk membuat akun developer twitter. Jika kalian membutuhkan api key dari twitter untuk membuat aplikasi atau keperluan penelitian, maka terlebih dahulu kalian harus mengajukan permohonan pembuatan akun developer  1. Kunjungi https://developer.twitter.com/ 2. Kemudian login dengan akun Twitter kamu 3. Setelah itu, klik menu Apply yang ada di pojok kanan atas 4. Pilih Apply for Developer Account 5. Selanjutnya, kamu akan diminta untuk mengisi beberapa hal semacam survey gitu, isikan saja sesuai keinginan kalian, kemudian klik Next 6. Kemudian kamu perlu memastikan akun yang ingin kamu gunakan, di sini kamu bisa beralih akun, membuat akun baru, atau mengganti email yang ingin kamu gunakan pada aplikasi ini. Selanjutnya di bagian bawah ada beberapa field yang perlu kamu isi, seperti negara dan nama aplikasi yang ingin kita buat, selanjutnya klik Next 7. Setelah itu ada beberapa pertanyaan yang perlu kamu jawab mengguna...