Text Preprocessing and Text Transformation

2.4.1 Pra-proses (Text Preprocessing ) Proses text mining dapat kita lihat pada gambar 2.2 berikut ; Gambar 2.2 Proses Text Mining (Sumber : Chyntia, 2015) Data yang diinput terlebih dahulu akan melewati tahapan preprocessing untuk dapat dimengerti oleh sistem pengolahan text mining dengan baik. Tujuan utama tahapan preprocessing adalah untuk mendapatkan bentuk data siap oleh untuk diproses oleh sistem dari data awal berupa data tekstual. Gambar 2.2 diatas merupakan tahapan-tahapan preprocessing. 1. Tokenizing Tokenizing adalah proses pemotongan string input berdasarkan kata yang menyusunnya. 2. Case Folding Proses penyeragaman bentuk huruf dengan mengubah semua huruf menjadi huruf kecil, dan juga menghilangkan tanda baca dan angka, dalam hal ini hanya menggunakan huruf antara a sampai z. 3. Spelling Normalization Merupakan perbaikan dan subtitusi kata-kata yang salah eja ataupun disingkat dengan bentuk tertentu. Subtitusi kata dilakukan untuk menghindari jumlah perhitungan dimensi kata yang melebar. Perhitungan dimensi kata akan melebar jika kata yang salah eja atau disingkat tidak diubah karena kata tersebut sebenarnya memiliki kontribusi dalam merepresentasikan dokumen tetapi akan dianggap sebagai entitas yang berbeda proses penyusunan matriks. 4. Filtering Filtering adalah tahap mengambil kata-kata penting dari hasil token. Biasanya tahap ini menggunakan algoritma stop-list (membuang kata-kata kurang penting) atau word-list (menyimpan kata penting). 5. Stemming Stemming adalah tahapan mencari kata root / kata dasar dari setiap kata hasil dari proses filtering. Karena data komentar yang akan diklasifikasi menggunakan bahasa indonesia maka algoritma stemming untuk berbahasa indonesia yang mempunyai tingkat keakuratan yang lebih baik dibanding algoritma lainnya adalah algoritma Nazief & Andriani (Agusta, 2009 yang dikutip oleh Rosdiansyah, 2014). Proses stemming menggunakan Algoritma Nazief dan Adriani dapat dilihat pada gambar 2.5 diatas. Proses Steaming pada teks bahasa indonesia lebih rumit karena terdapat variasi imbuhan yang harus dibuang untuk mendapat root word (kata dasar) dari sebuah kata. Algoritma ini mengacu pada aturan KBBI (Kamus besar bahasa Indonesia) yang mengelompokan imbuhan yang diperbolehkan atau imbuhan yang tidak diperbolehkan. Berikut merupakan langkah-langkah yang dilakukan oleh algoritma Nazief dan Adriani ( Agusta, 2009 yang dikutip oleh Rosdiansya 2014). 1. Kata yang belum di stemming dicari pada KBBI. Apabila kata langsung ditemukan, berarti kata tersebut adalah kata dasar, kata dikembalikan dan algoritma dihentikan. 2. Hilangkan inflectional suffixes terlebih dahulu, jika ini berhasil dan suffix adalah pertikel (“lah” atau “kah”), langkah ini dilakukan lagi untuk menghilangkan inflectional possesive pronoun suffixes (“ku”, “mu” atau “nya”). 3. Partikel Derivational suffix (“i”,”-an”,”-kan”) kemudian dihilangkan, langkah dilanjutkan lagi untuk mengecek apakah masih ada derivational suffix yang tersisa, jika ada maka akan dihilangkan. Apabila tidak ada lagi maka lakuan langkah selanjutnya. 4. Derivational prefix (“di-”, “ke-”, “se-”, “te-”, “me-”, “be-”, “pe-”) dihilangkan, kemudian langkah dilanjutkan lagi untuk mengecek apakah masih ada derivational prefix yang tersisa, jika ada maka akan dihilangkan. Apabila tidak ada lagi maka lakukan langkah selanjutnya. 5. Setelah tidak ada lagi imbuhan yang tersisa, maka algoritma ini dihentikan kemudian kata dasar tersebut di cari pada KBBI, jika kata ditemukan berarti algoritma ini berhasil tapi jika kata dasar tidak ditemukan maka dilakukan recoding. 6. Jika semua langkah telah dilakukan tetapi kata dasar tidak ditemukan pada kamus, maka algoritma ini mengembalikan kata yang asli sebelum dilakukan stemming. 6. Tagging Tagging adalah tahap mencari bentuk awal/ root dari kata lampau atau kata hasil stemming. Untuk dokumen berbahasa Indonesia proses tagging tidak diterapkan, karena Bahasa Indonesia tidak memiliki bentuk lampau. 2.4.2

(Transformasi teks) Pada tahapan ini pemprosesan teks dilanjukan dengan proses transformasi teks menjadi data numerik sebagai reprentasi dari setiap dokumen. Pada text transformation ini kita hanya menentukan (TF) saja, yaitu jumlah frekuensi kemunculan kata dalam dokumen tersebut.

DATA MINING DAN FUNGSI DATA MINING

Menurut Gonunesco (2011) dikutip oleh Prasetyo (2014) nama data mining sebenarnya mulai dikenal sejak tahun 1990, ketika pekerjaan pemanfaatan data menjadi sesuatu yang penting dalam berbagai bidang, mulai dari akademik, bisnis, hingga medis. Data mining dapat diterapkan pada berbagai bidang yang mempunyai sejumlah data, Daryl Pregibon menyatakan bahwa “data mining adalah campuran dari statistik, kecerdasan buatan, dan riset basis data” yang masih berkembang (Gonunesco, 2011). Menurut (Prasetyo, 2014) pengertian data mining cukup sulit dijelaskan dengan gambar jika mengingat data mining juga merupakan gabungan dari beberapa bidang ilmu. Berikut terdapat beberapa pengertian data mining yang secara naratif mempunyai beberapa maksud yang mirip yaitu ;

1. Pencarian otomatis pola dalam basis data besar, menggunakan teknik komputasional campuran dari statistik, pembelajaran mesin, dan pengenalan pola.
2. Pengekstrakan implisit yang sebelumya belum diketahui secara potensial adalah informasi berguna dari data.
3. Ilmu pengekstrakan informasi yang berguna dari set data atau basis data besar.
4. Eksplorasi otomatis atau semiotomatis dan analisa data dalam jumlah besar, dengan tujuan untuk menemukan pola yang bermakna.
5. Proses penemuan informasi otomatis dengan mengidentifikasi pola dan hubungkan ‘tersembunyi’ dalam data.

Ada istilah lain yang mempunyai makna sama dengan data mining yaitu Knowledge-discovery in database (KDD). Memang Data Mining atau KDD bertujuan untuk memanfaatkan data dalam basis data dengan mengelolanya sehingga menghasilkan informasi baru yang berguna (Gonunescu, 2011 dalam Prasetyo, 2014). Tahapan dari proses KDD secara garis besar adalah sebagai berikut;

1. Data Selectionberkas yang terpisah dari basis data operasional.
2. Pre-Processing/Cleaning
Proses Cleaning diantaranya membuang dublicat data, memberikan data yang inkonsisten, dan memperbaiki kesalahan pada data, selain itu proses cleaning juga melakukan proses encrichment yaitu proses memperkaya data yang sudah ada dengan data yang diperlukan untuk KDD.
3. Transformation
Coding merupakan proses transformasi pada data yang telah terpilih untuk proses data mining. Proses coding dalam KDD adalah proses kreatif dan sangat bergantung pada jenis atau pola informasi yang akan dicari dalam basis data. 4. Data Mining
Data mining merupakan proses mencari pola atau informasi menarik dalam data terpilih dengan menggunakan metode tertentu. 5. Interpretation/Evaluation.
Jenis informasi yang telah dihasilkan dari proses Data Mining perlu ditampilkan dalam bentuk yang mudah dipahami oleh pihak yang berkepentingan.
2.3 Fungsi Data Mining
Menurut Yusuf W dkk (2006) dikutip oleh (Citra, 2015) data mining dapat menjalankan fungsi-fungsi sebagai berikut ;
1. Deskripsi
Deskripsi dapat membantu dalam menjelaskan pola dan trend yang terjadi, pola dan trend data sering dideskripsikan. Model data mining harus transparan, sehingga hasilnya dapat mendeskripsikan pola dengan jelas.
2. Estimasi
Estimasi sama dengan deskripsi kecuali variabel targetnya numerik ketimbang kategorikal. Model yang dibuat menggunakan record yang lengkap, yang telah menyediakan nilai variabel target prediktor.
3. Prediksi
Prediksi sama dengan klasifikasi dan estimasi yang membedakannya hanya hasil dalam prediksi yang terjadi dimas yang akan datang.
4. Klasifikasi
Variabel target dalam kasifikasi adalah kategorikal. Mode Data Mining memeriksa set record yang besar, dimana setiap record memiliki informasi variabel target dan set input.
5. Clustering
Pengelompokan record, observasi atau kasus ke dalam objek-objek yang mirip disebut dengan clustering, didalam clustering tidak terdapat variabel target, clustering mencoba menfregmentasi seluruh set data kedalam subgroup yang relatif homogen, dimana kemiripan antar record luar cluster diminimasikan sedangkan kemiripan di dalam record dimaksimalkan.
6. Asosiasi
Asosiasi adalah suatu tugas untuk menemukan atribut-atribut yang terjadi bersamaan yang mencoba menemukan aturan untuk mrngkuantifikasi hubungan antara dua atau lebih atribut.