Meringkas Teks menggunakan text rank

Crawling text

data yang digunakan pada percobaan ini adalah hasil crawling menggunakan library scrapy python folder news. crawling using python

Pra proses text

dari data hasil crawling tersebut dilakukan pra-proses untuk menghilangkan karakter-karakter yang tidak diperlukan, emoticon dan sumber berita (dalam kasus ini saya menghilangkan kata jawapos.com pada paragraph).

Melakukan tokenisasi

tokenisasi dilakukan menggunakan library nltk yang dimaksudkan untuk membuat list kalimat (cell 8-9)

Menghitung vektorisasi

vektorisasi dilakukan menggunakan library sklearn pada list kalimat yang telah terbentuk dari proses tokenisasi (cell 10)

Normalisasi (hitung Tfidf)

dari hasil vektorisasi dilakukan normalisasi menggunakan library sklearn dengan menghitung Tfidf dari matrix hasil vektorisasi (cell 12)

Menghitung matrix kedekatan (matrix adjacency)

matrix adjacency didapat dengan mengalikan matrix normal dengan matrix normal transpose (cell 17)

Membuat graph

matrix adjacency yang telah terbentuk dibuatkan sebuah graph menggunakan library networkx untuk melihat hubungan antar kalimat pada list kalimat.

Menghitung Pagerank

dengan menggunakan library networkx pagerank dibentuk dari matrix adjacency. (cell 21)

Menampilkan informasi

• array kalimat (cell 23)
• nilai min dan max (cell 23)

Summary text

• membuat nilai batas yang didapat dengan menggunakan rumus min-max normalization yang selanjutnya dijumlahkan dan dibagi dengan jumlah kalimat. thresehold = (sum(minmax value) / len(minmax value)) (cell 26-27)
• menyeleksi kalimat yang mempunyai nilai diatas batas yang telah ditentukan (cell 28)
• menjadikan kalimat dalam bentuk paragraph (cell 29)