pertemuan 15 - Panduan Penggunaan Rapidminer.pptx

rapid miner

1. Rapidminer Pertemuan xII

2. Outline Pengenalan Data Mining Data Mining Peran Utama Data Mining Mengenal Rapidminer Algoritma Data Mining 2

3. Tool Software Data Mining WEKA RapidMiner DTREG Clementine Matlab R SPSS 3

4. RapidMiner Sebuah lingkungan untuk machine learning, data mining, text mining dan predictive analytics. Machine learning Salah satu disiplin ilmu dari Computer Science yang mempelajari bagaimana membuat komputer/mesin mempunyai suatu kecerdasan. Data mining Proses mengekstrak pola-pola dari data set yang besar dengan mengombinasikan metoda statistika, kecerdasan buatan dan database. 4

5. RapidMiner Text mining Mirip dengan text analytics, yaitu proses untuk mendapatkan informasi bermutu tinggi dari teks. Predictive analytics Teknik-teknik statistika yang menganalisa fakta masa kini dan masa lalu untuk memprediksi kejadian di masa depan. 5

6. Sejarah Rapidminer Pengembangan d imulai pada 2001 oleh Ralf Klinkenberg , Ingo Mierswa , dan Simon Fischer di Artificial Intelligence Unit dari University of Dortmund , d itulis dalam bahasa Java Open source berlisensi AGPL (GNU Affero General Public License) versi 3 Software data mining peringkat pertama pada poll ing oleh KDnuggets, sebuah portal data-mining pada 2010-2011 6

7. Fitur Rapidminer Menyediakan prosedur data mining dan machine learning termasuk: ETL ( extraction , transformation , loading ), data preprocessing, visualisasi, modelling dan evaluasi Proses data mining tersusun atas operator-operator yang nestable , dideskripsikan dengan XML, dan dibuat dengan GUI Mengintegrasikan proyek data mining Weka dan statistika R 7

8. Instalasi Sistem Microsoft Windows Download file installer rapidminer-XXX-install.exe di http://rapid-i.com/content/view/26/84/ . Double-click file installer dan ikuti instruksinya. Sistem lain Install Java versi 1.5 atau lebih. Download dan ekstrak arsip zip Java binary. Definisikan RAPIDMINER_HOME. Run dengan ”scripts/RapidMinerGUI”. 8

9. Pendaftaran Akun 9

10. Tampilan Awal Rapidminer 9.3.001 10

11. Atribut Pada Rapidminer Atribut dan A tribut T arget Atribut : karakteristik atau fitur dari data yang menggambarkan sebuah proses atau situasi ID, atribut biasa Atribut target : atribut yang menjadi tujuan untuk diisi oleh proses data mining Label, cluster, weight Peran atribut (attribute role) Label, cluster, weight, ID, biasa 11

12. Tipe N ilai ( V alue T ype) pada Rapidminer nominal : nilai secara kategori binominal : nominal dua nilai polynominal : nominal lebih dari dua nilai numeric : nilai numerik secara umum integer : bilangan bulat real : bilangan nyata text : teks bebas tanpa struktur date_time : tanggal dan waktu date : hanya tanggal time : hanya waktu 12

13. Data dan Format Data Data dan metadata Data menyebutkan obyek-obyek dari sebuah konsep Ditunjukkan sebagai baris dari tabel Metadata menggambarkan karakteristik dari konsep tersebut Ditunjukkan sebagai kolom dari tabel Dukungan Format data Oracle , IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, Ingres, Excel, Access, SPSS, CSV files dan berbagai format lain. 13

14. Repositori Menjalankan RapidMiner untuk pertama kali, akan menanyakan pembuatan repositori baru Repositori ini berfungsi sebagai lokasi penyimpanan terpusat untuk data dan proses analisa kita 14

15. Perspektif dan View Sebuah perspektif berisi pilihan elemen-elemen GUI yang disebut view , yang dapat dikonfigurasi secara bebas Elemen-elemen ini dapat diatur bagaimanapun juga sesuka kita Tiga perspektif: Perspektif S elamat D atang ( W elcome perspective ) Perspektif D esain ( D esign perspective ) Perspektif H asil ( R esult perspective ) 15

16. Perspektif dan View 16

17. Perspektif Desain Perspektif pusat di mana semua proses analisa dibuat dan dimanage Pindah ke Pe rspektif D esain dengan: Klik tombol paling kiri Atau gunakan menu View → Perspectives → Design View: Operators , Repositories , Process , Parameters , Help , Comment , Overview , Problems , Log 17

18. Perspektif Desain 18

19. View Operator Semua tahapan kerja ( operator ) ditampilkan dalam kelompok Setiap operator bisa diikutsertakan di dalam proses analisa 19

20. View Operator Process C ontrol Untuk mengontrol aliran proses, seperti loop atau conditional branch Utility Untuk mengelompokkan subprocess , juga macro dan logger Repository Access Untuk membaca dan menulis repositori 20

21. View Operator Import Untuk membaca data dari berbagai format eksternal Export Untuk menulis data ke berbagai format eksternal Data Transformation Untuk transformasi data dan metadata Modelling Untuk proses data mining yang sesungguhnya seperti klasifikasi, regresi, clustering, aturan asosiasi dll Evaluation Untuk menghitung kualitas dan perfomansi dari model 21

22. View Operator 22

23. View Repositori Layanan untuk manajemen proses analisa, baik data, metadata, proses maupun hasil 23

24. View Proses Menampilkan proses analisa yang berisi berbagai operator dengan alur koneksi diantara mereka 24

25. View Proses 25

26. View Parameter Operator kadang memerlukan parameter untuk bisa berfungsi Setelah operator dipilih di view Proses , parameternya ditampilkan di view ini 26

27. View Parameter 27

28. View Help dan View Comment View Help menampilkan deskripsi dari operator View Comment menampilkan komentar yang dapat diedit terhadap operator 28

29. View Help dan View Comment 29

30. View Overview Menampilkan seluruh area kerja dan menyorot seksi yang ditampilkan saat ini dengan sebuah kotak kecil 30

31. View Overview 31

32. View Problems Menampilkan setiap pesan warning dan error 32

33. View Log Menampilkan pesan log selama melakukan desain dan eksekusi proses 33

34. View Problems and View Log 34

35. Operator dan Proses Proses data mining pada dasarnya adalah proses analisa yang berisi alur kerja dari komponen data mining Komponen dari proses ini disebut operator , yang didefinisikan dengan: Deskripsi input Deskripsi output Aksi yang dilakukan Parameter yang diperlukan 35

36. Operator dan Proses Sebuah operator bisa disambungkan melalui port masukan (kiri) dan port keluaran (kanan ) Indikator status dari operator: Lampu status: merah (tak tersambung), kuning (lengkap tetapi belum dijalankan), hijau (sudah behasil dijalankan ) Segitiga warning: bila ada pesan status Breakpoint : bila ada breakpoint sebelum/sesudahnya Comment : bila ada komentar Subprocess : bila mempunyai subprocess 36

37. Operator dan Proses Sebuah proses analisa yang terdiri dari beberapa operator Warna aliran data menunjukkan tipe obyek yang dilewatkan 37

38. Membuat Proses Baru Pilih menu File → New Pilih repositori dan lokasi , lalu beri nama 38

39. Struktur Repositori Repositori terstruktur ke dalam proyek-proyek Masing-masing proyek terstruktur lagi ke dalam data , processes , dan results 39

40. Proses Analisa Pertama 40

41. Proses Analisa Pertama Generate Sales Data → proses sangat sederhana, yang hanya men-generate data 41

42. Transformasi Metadata Metadata dari terminal output 42

43. Transformasi Metadata Generate Attributes → men-generate atribut baru 43

44. Transformasi Metadata Parameter dari operator Generate Attributes 44

45. Transformasi Metadata Menghitung atribut baru “total price” sebagai perkalian dari “amount” dan “single price ” 45

46. Transformasi Metadata 46

47. Transformasi Metadata Select Attributes untuk memilih subset dari atribut 47

48. Transformasi Metadata Parameter untuk operator Select Attributes 48

49. Transformasi Metadata Atribut individu maupun subset bisa dipilih atau dihapus 49

50. Menjalankan Proses Proses dapat dijalankan dengan: Menekan tombol Play Memilih menu Process → Run Menekan kunci F11 50

51. Melihat Hasil 51

52. Algoritma Data Mining

53. Algoritma Estimasi Algoritma estimasi mirip dengan algoritma klasifikasi, tapi variabel target adalah berupa bilangan numerik (kontinyu) dan bukan kategorikal (nominal atau diskrit) Estimasi nilai dari variable target ditentukan berdasarkan nilai dari variabel prediktor (atribut) Algoritma estimasi yang biasa digunakan adalah: Linear Regression , Neural Network , Support Vector Machine. 53

54. Contoh: Estimasi Performansi CPU Example : 209 different computer configurations Linear regression function PRP = - 55.9 + 0.0489 MYCT + 0.0153 MMIN + 0.0056 MMAX + 0.6410 CACH - 0.2700 CHMIN + 1.480 CHMAX 32 128 CHMAX 8 16 CHMIN Channels Performance Cache (Kb) Main memory (Kb) Cycle time (ns) 45 4000 1000 480 209 67 32 8000 512 480 208 … 269 32 32000 8000 29 2 198 256 6000 256 125 1 PRP CACH MMAX MMIN MYCT 54

55. Algoritma Prediksi Algoritma prediksi/forecasting sama dengan algoritma estimasi di mana label/target/class bertipe numerik , bedanya adalah data yang digunakan merupakan data rentet waktu ( data time series ) Istilah prediksi kadang digunakan juga untuk klasifikasi , tidak hanya untuk prediksi time series , karena sifatnya yang bisa menghasilkan class berdasarkan berbagai atribut yang kita sediakan Semua algoritma estimasi dapat digunakan untuk prediksi/forecasting . 55

56. Contoh: Prediksi Harga Saham Dataset harga saham dalam bentuk time series (rentet waktu) harian 56

57. Contoh: Prediksi Harga Saham (Plot) 57

58. Contoh: Prediksi Harga Saham (Plot) 58

59. Algoritma Klasifikasi Klasifikasi adalah algoritma yang menggunakan data dengan target/ class /label berupa nilai kategorikal (nominal) Contoh, apabila target/ class /label adalah pendapatan, maka bisa digunakan nilai nominal ( kategorikal ) sbb : pendapatan besar, menengah, kecil Contoh lain adalah rekomendasi contact lens , apakah menggunakan yang jenis soft , hard atau none Algoritma klasifikasi yang biasa digunakan adalah: Naive Bayes, K-Nearest Neighbor, C4.5, ID3, CART, Linear Discriminant Analysis, etc . 59

60. Contoh: R ekomendasi Main Golf Input : Output ( Rules ) : If outlook = sunny and humidity = high then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity = normal then play = yes If none of the above then play = yes 60

61. Contoh: R ekomendasi Main Golf Input (Atribut Nominal dan Numerik): Output ( Rules ) : If outlook = sunny and humidity = high then play = no If outlook = sunny and humidity > 83 then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity < 85 then play = yes If none of the above then play = yes 61

62. Contoh: R ekomendasi Main Golf Output (Tree) : 62

63. Contoh: Rekomendasi C ontact L ens Input : 63

64. Contoh: Rekomendasi C ontact L ens Output/Model (Tree): 64

65. Contoh: Penentuan Jenis Bunga Iris Input : 65

66. Contoh: Penentuan Jenis Bunga Iris Output ( Rules ): 66

67. Contoh: Penentuan Jenis Bunga Iris Output (Tree): 67

68. Algoritma Klastering Klastering adalah pengelompokkan data , hasil observasi dan kasus ke dalam class yang mirip Suatu klaster ( cluster ) adalah koleksi data yang mirip antara satu dengan yang lain, dan memiliki perbedaan bila dibandingkan dengan data dari klaster lain Perbedaan utama algoritma klastering dengan klasifikasi adalah klastering tidak memiliki target/ class /label , jadi termasuk unsupervised learning Klastering sering digunakan sebagai tahap awal dalam proses data mining , dengan hasil klaster yang terbentuk akan menjadi input dari algoritma berikutnya yang digunakan . 68

69. Contoh: Klastering Jenis Gaya Hidup Claritas , Inc . provide a demographic profile of each of the geographic areas in the country , as defined by zip code. One of the clustering mechanisms they use is the PRIZM segmentation system , which describes every U.S. zip code area in terms of distinct lifestyle types (66 segments ) . Just go to the company’s Web site, enter a particular zip code, and you are shown the most common PRIZM clusters for that zip code. What do these clusters mean? For illustration, let’s look up the clusters for zip code 90210, Beverly Hills, California. The resulting clusters for zip code 90210 are : Cluster 01: Blue Blood Estates Cluster 10: Bohemian Mix Cluster 02: Winner’s Circle Cluster 07: Money and Brains Cluster 08: Young Literati 69

70. Contoh: Klastering Bunga Iris 70

71. Contoh: Klastering Bunga Iris (Plot) 71

72. Contoh: Klastering Bunga Iris (Table) 72

73. Algoritma Asosiasi Algoritma association rule (aturan asosiasi) adalah algoritma yang menemukan atribut yang “ muncul bersamaan ” Dalam dunia bisnis, sering disebut dengan affinity analysis atau market basket analysis Algoritma asosiasi akan mencari aturan yang menghitung hubungan diantara dua atau lebih atribut Algoritma association rules berangkat dari pola “ If antecedent , then consequent ,” bersamaan dengan pengukuran support ( coverage ) dan confidence ( accuration ) yang terasosiasi dalam aturan . 73

74. Algoritma Asosiasi Contoh, pada hari kamis malam, 1000 pelanggan telah melakukan belanja di supermaket ABC, dimana : 200 orang membeli Sabun M andi dari 200 orang yang membeli sabun mandi, 50 orangnya membeli Fanta Jadi, association rule menjadi, “ Jika membeli sabun mandi, maka membeli Fanta ”, dengan nilai support = 200/1000 = 20% dan nilai confidence = 50/200 = 25% Algoritma association rule diantaranya adalah: A priori algorithm , FP-Growth algorithm , GRI algorithm . 74

75. C ontoh Penerapan Data Mining Penentuan kelayakan aplikasi peminjaman uang di bank Penentuan pasokan listrik PLN untuk wilayah Jakarta Diagnosis pola kesalahan mesin Perkiraan harga saham dan tingkat inflasi Analisis pola belanja pelanggan Memisahkan minyak mentah dan gas alam Pemilihan program TV otomatis Penentuan pola pelanggan yang loyal pada perusahaan operator telepon Deteksi pencucian uang dari transaksi perbankan Deteksi serangan (intrusion) pada suatu jaringan 75

76. Crawling Data Twitter 76