Pertemuan 2 MK Data Mining - Data untuk Data Mining

Berisi materi penjelasan data untuk keperluan data mining.

1. Data Mining
SI30201
3SKS T; 1 SKS P
Oleh:
Rosyid R. Al-Hakim, S.Kom., S.Si., M.T.

2. Data untuk Data Mining

3. Tujuan
Pembelajaran
Setelah mengikutipembelajaranpada topikini, Mahasiswa
diharapkan mampu:
❑Menjelaskantipevariabel,kendala,danlangkah-langkah
terkaitpersiapandatadalamteknikdatamining.

4. Outline
✓Tipe variabel
✓Data preparation
✓Missing values
✓Repositori dataset

5. Data & Proses
Data Mining
❑Tahapan utama proses data mining
Input
(Dataset)
Metode
(Algoritma Data
Mining)
Output
(Pola/Model/
Knowledge)
Evaluation
(Akurasi, AUC,
RMSE, etc)

6. Data & Proses
Data Mining
❑Definisi data set
-Setdata(dataset/himpunandata)merupakankumpulanobjekdan
atributnya.
-Objekdigambarkandengansejumlahatributyangmenerangkansifatatau
karakteristikdariobjektersebut.Namalaindariobjekyangseringdigunakan
diantaranyarecord,point,vector,pattern,event,observation,case,sample,
instance,entitas.
-Atributadalahsifat/properti/karakteristikobjekyangnilainyabisa
bermacam-macamdarisatuobjekdenganobjeklainnya,darisatuwaktuke
waktuyanglainnya.Atributjugaseringdisebutvariabel,field,fitur,dimensi.

7. Data & Proses
Data Mining
-Sebagaicontohseorangpelangganmerupakanobjek,dimanaobjek
pelanggantersebutmemilikibeberapaatributsepertiidpelanggan,nama,
alamatdanlain-lain.Setiappelangganmemungkinkanmemilikinilaiatribut
yangberbedadenganpelangganlainnya,sertamemungkinkanperubahan
nilaiatributdariwaktukewaktu.

8. Data & Proses
Data Mining
❑Tipe data
Tipeatributdapatdibedakandarinilaibesertasifatnya.Adaempatsifatyang
dimilikiatributsecaraumum,yaitu:
-Pembeda(distinctness):=dan≠
-Urutan(order):<,>,≤,≥
-Penjumlahan,Pengurangan(addition):+dan–
-Perkalian,Pembagian(multiplication):*dan/
Umumnyatipeatributiniadaduayaitukategoris(kualitatif)dan
numerik(kuantitatif).

9. Data & Proses
Data Mining
Darikeduatipetersebutdibagilagimenjadibeberapasubtipeyangdisesuaikan
dengansifatnilaiyangdimilikinya:

10. Data & Proses
Data Mining
❑Tipe data
Sementaraberdasarkanjumlahnilainya,atributdapatdibedakanmenjadidua,yaitu:
1.Diskret
Sebuahatributdapatbernilaidiskretjikamempunyainilaidalamhimpunanjumlah
yangterbatas.Jenisinibisaditemukanpadaatributkategorisyanghanya
mempunyaibeberapavariasinilai(domain),sepertiindeknilaiyanghanya
mempunyailimakemungkinannilai(A,B,C,D,E).Contohlainnyaadalahjenis
kelamin(pria,wanita),benar/salah,ya/tidak,0/1.

11. Data & Proses
Data Mining
2.Kontinu
Sedangkanatributyangbernilaikontinuakanmempunyaijangkauannilaireal.
Sepertivariabelpanjang,tinggi,beratdimananilainyabiasanyamenggunakan
representasifloatingpoint(desimal).Namun,meskipunmenggunakanrepresentasi
real,ukuranpresisijumlahangkadibelakangkomatetapdigunakan.

12. Data & Proses
Data Mining
❑Karakteristik set data
Adatigakarakteristikumumsetdatayangmempunyaipengaruhbesardalamdata
mining,yaitudimensionalitas,sparsitas,resolusi.
1.Dimensionalitas(dimensionality)
-Dimensionalitasdapatdiartikansebagaijumlahatributyangdimilikiolehobjek-objek
dalamdataset.
-Datadenganjumlahdimensiyangsedikit(rendah)punyakecendrunganberbedasecara
kualitatifdengandatadalamkontekyangsama,tetapidenganjumlahdimensiyanglebih
banyak(tinggi).
-Kesulitanyangberhubungandengandatadimensitinggiseringdisebutsebagaicurseof
dimensionality.
-Untukitupadatahappreprocessing(prosesawal)perludilakukanpengurangandimensi
(dimensionalityreduction)

13. Data & Proses
Data Mining
❑Karakteristik set data
2.Sparsitas(sparsity)
-Untuksetdatadenganfiturasimetrik(jumlahfituryangterisinilaitidaksamaantarasatu
datadengandatayanglain),banyakatributdatamempunyainilai0didalamnya;dalam
banyakkasus,kurangdari1%mempunyainnilaibukan0.
-Dalampraktiknya,tentuinimenguntungkankarenakomputasimenjadilebihringan
(cepat)dankapasitaspenyimpananjugalebihsedikit.

14. Data & Proses
Data Mining
❑Karakteristik set data
3.Resolusi(resolution)
-Untukdatayangdigambarkandalambentukgrafikyangmemerlukankoordinatspasial,
karakteristikresolusiyangdigunakanjugaakanberpengaruh.
-Poladalamdatabergantungpadalevelresolusi.
-Jikaresolusiterlalubaik(tidakadaperbedaan/halus),polamungkintidakakankelihatan,
jikaresolusiterlalukasaratausempit,polajugaakanhilang

15. Data & Proses
Data Mining
❑Jenis set data
-Jenisdatasetadadua:PrivatedanPublic
-PrivateDataset:datasetdapatdiambildariorganisasiyangkitajadikanobyek
penelitian
•Bank,RumahSakit,Industri,Pabrik,PerusahaanJasa,etc
-PublicDataset:datasetdapatdiambildarirepositoripublikyangdisepakatiolehpara
penelitidatamining
•UCIRepository(http://www.ics.uci.edu/~mlearn/MLRepository.html)
•ACMKDDCup(http://www.sigkdd.org/kddcup/)
-Trendpenelitiandataminingsaatiniadalahmengujimetodeyangdikembangkan
olehpenelitidenganpublicdataset,sehinggapenelitiandapatbersifat:comparable,
repeatabledanverifiable.

16. Data & Proses
Data Mining
❑Tipe set data
•Data Record
•Data Matrix
•Data Transaksi
•Data Graph
•Data Terurut

17. Data & Proses
Data Mining
❑Kualitas data
Permasalahankualitasdataditinjaudariaspekpengukurandatadanpengumpulandata.
-KesalahanPengukuran:Nilaiygdicatatberbedadgnilaisebenarnya(noisebias,
precission,acuracy)
-KesalahanPengumpulan:Sepertihilangnyaobyekdata/nilaidariatribut/lingkup
obyekdatayangtidaktetap
-DuplicateData:objekdataganda(diatasidengandatacleaning)

18. Data & Proses
Data Mining
❑Kualitas data
-Outliers:obyekdatayangmemilikisifatyangberbedasekalidarikebanyakanobyek
data.
-MissingValue:nilaipadasuatuatributygtdkditemukan/kosong.
•Bisakarenarespondenmenolakmemberikaninformasi
•Atributtidakbisaditerapkankesemuakasus
•Diatasidgmengurangiobyekdata,memperkirakanmissingvalue,menggantidg
nilaiygmemungkinkan

19. Data & Proses
Data Mining
❑Pemrosesan awal data
Setdatayangakandiprosesdenganmetode-motodedataminingseringkaliharus
melaluipemrosesanawal.LangkahinimasukkedalamtahapanKDDsebelumproses
datamining.Beberapapermasalahansepertijumlahpopulasidatayangbesar,
banyaknyadatayangmenyimpang(anomalidata),dimensiyangterlalutinggi,
banyaknyafituryangtidakberkontribusibesar,danlain-lainmerupakanpemicu
munculnyapemrosesanawaldata(pre-processing)yangharusditerapkanpadasetdata
sebelumakhirnyadigunakandalamprosesdatamining.

20. Thank You