DATA WARE HOUSE & DATA MINING Konsep Data Warehouse Tujuan Pembelajaran Khusus : Setelah menyelesaikan pokok bahasan Konsep data warehouse, maka mahasiswa akan dapat menjelaskan Data Warehouse
DATA, INFORMASI, KNOWLEDGE Data merupakan berkas digital yang dihasilkan oleh komputer, acak, belum terorganisasi, belum memiliii nilai, fungsi, maupun arti Informasi merupakan data yang telah diorganisasi,diolah, dikelola, sehingga memberikan arti, fungsi, manfaat , dan pengetahuan Hasil hubungan dari data dan informasi adalah Knowledge
PIRAMIDA DATA, INFORMASI, PENGETAHUAN
Contoh Penerapan Diberikan 30 buah entri nama mahasiswa ( beserta NIM dan IPK) pada sebuah Jurusan di sebuah Sekolah Tinggi. Maka 30 buah entri data tersebut disebut sekumpulan data . Ketika sekumpulan data tersebut diorganisasi , dikelola , diolah , lalu memberikan arti, nilai , fungsi ( misalkan IPK tertinggi dimiliki oleh mahasiswa dengan NIM ‘ xxxx ’), maka inilah yang disebut Informasi
PENEMU DATA WAREHOUSE Bill Inmon : Data warehouse memiliki karakteristik Subject- Oriented , Time -variant , Non-volatile , Integrated. Teori Bill Inmon fokus pada data warehousedari proses pembentukannya denganmelibatkan 6 sifat utama data warehouse Ralp Kimball : Data warehouse adalah sumber data organisasi , yang dibentuk dari gabungan seluruh dokumen data mart. Teori Ralp Kimball fokus pada fungsionalitas data warehouse dan menekankan pada OLTP dan OLAP
Definisi Data Warehouse Kumpulan dari sejumlah data dari berbagai sumber data yang digudangkan (disalin/transfer) dari data-data transaksional, yang menganut konsep OLTP (O n Line Transactional Processing), untuk kemudian dianalisis menggunakan OLAP ( On Line Analitical Processing) dengan memanfaatkan adanya query pada database serta proses analisa itu sendiri
Perkembangan Data Warehouse Masa awal Komputer Pribadi & Data-data Digital Pengenalan Database sebagai Media penyimpanan Data Digital Pengenalan Data Warehouse dan masa awal Data Warehouse di masa kini serta kolaborasi teknologi lainnya
Ilustrasi Smart City dan Data Warehouse
Kolaborasi Data Warehouse dengan Teknologi Lainnya Cloud Computing , sebagai sumber daya komputasi, kehandalan dalam jaringan computer, ketersediaan layanan, media penyimpanan digital, layanan over the top, dsb. Big Data, data warehouse mampu mengkolaborasikannya ke dalam bentuk ELT ( extraction, loading, transformation) , Enterprise Resource Planning (ERP), dan Businnes Intelligence (BI)
Kolaborasi Data Warehouse dengan Teknologi Lainnya Data Mining Open Data Smart City Wireless Sensor Network (WSN) Intelligence Transportation System (ITS)
Evolusi Framework pada Data Warehouse
Tujuan Implementasi Data Warehouse Bagi Organisasi Memudahkan dalam pengaksesan informasi milik organisasi ⮲ Organisasi berupa perusahaan, perbankan, dan instansi pemerintahan yang menyediakan informasi publiknya kepada masyarakat umum, sehingga masyarakat umum dapat menilai kinerja dari organisasi tsb, memperoleh pengetahuan mengenai produk & layanan yang diberikan, dan pada akhirnya akan meningkatkan kepercayaan terhadap organisasi tsb.
Tujuan Implementasi Data Warehouse Bagi Organisasi Menjaga Privasi & Keamanan Informasi Milik Organisasi ⮲ Aplikasi berbasis data warehouse menyediakan hak akses yang berbeda-beda untuk setiap kelompok pengguna yangberbeda yang bertujuan untuk mewujudkan keamana sistem beserta data dan informasi di dalamnya
Tujuan Implementasi Data Warehouse Bagi Organisasi Membantu Proses Pengambilan Keputusan pada Organisasi ⮲ Data-data valid organisasi yang relavan dikumpulkan dari berbagai sumber data, untuk kemudian diintegrasikan ke dalam format yang sama, lalu dianalisa menggunakan OLAP. Untuk hasil maksimal ditekankan pada Data Quality dan Information Quality
Tujuan Implementasi Data Warehouse Bagi Organisasi Mendukung Perubahan-perubahan Pada Organisasi ⮲ Desain d ata Warehouse harus dilakukan dengan cermat & teliti sebelum diimplementasikan untuk mengantisipasi kecenderungan organisasi mengalami perubahan yang meliputi teknologi yang digunakan, kebutuhan konsumen, proses bisnis, dan data-data digital
Tujuan Implementasi Data Warehouse Bagi Organisasi Meningkatkan Kualitas & Konsistensi Informasi pada Organisasi ⮲ Nilai dari data akan tetap meskipun dipindahkan ke platform, perangkat, dan aplikasi lainnya. Hal ini akan meningkatkan kualitas data sehingga informasi yang disajikan akan bernilai tinggi, tidak berubah-ubah, dan memiliki nilai historis
Dukungan Aplikasi Untuk Bisnis Bisnis Proses Pemesanan Maintain inventory Membuat catatan akunting Proses klaim Service client Menerima pembayaran
PERBEDAAN DATA WAREHOUSE & DATABASE DATABASE Menyimpan data & informasi Terdapat proses manipulasi didalamnya ( insert, update, delete, Edit) Terjadi perubahan data akibat proses manipulasi data Bersifat OLTP, untuk melakukan pemrosesan data tanpa analisis data Waktu pemakaiannya lebih lama Berorientasi objek DATA WAREHOUSE Selain menyimpan data & informasi juga menggabungkan dua hingga lebih data base /sejumlah data yang berasal dari sumber data yang berbeda Data bersifat tetap, tanpa ada proses manipulasi Bersifat OLAP, menekankan pada analisis data Waktu pemakaiannya sementara Berorientasi subjek
PENGENALAN DATA WAREHOUSE F enomena : Saat ini organisasi modern banyak yang mengalami Kekenyangan data tetapi Kelaparan informasi Data warehouse muncul sebagai paradigma baru yang menyediakan informasi penting Tahun 1990-an, beberapa organisasi mulai mengambil keuntungan yang kompetitif dengan membangun sistem data warehouse P emicu dibutuhkannya Data Warehouse
Pemanfaatan Data Warehouse Organisasi Untuk Mencapai Keuntungan Yang Kompetitif Loyalitas pelanggan Rencana pemasaran Retail Mana jemen resiko Deteksi kecurangan Financial Keuntungan pemilihan rute Hasil manajemen Airlines Pengurangan biaya Pengelolaan logistik Manufacturing Pengelolaan aset Pengelolaan sumber daya Utilities Perencanaan tenaga kerja Cost Control Government
Ciri-ciri Data Warehouse Digunakan untuk mendukung pengambilan keputusan, Bukan untuk melaksanakan proses transaksi. Lebih cenderung menangani data masa lalu Data disimpan dalam satu platform Data diorganisasikan menurut subjek seperti pelanggan atau produk Pemrosesan sewaktu-waktu, tak terstruktur Untuk mendukung pemakai manajerial yang berjumlah relatif sedikit Berorientasi pada analisis
Karakteristik Data Warehouse 1. Subject Oriented Data ditampilkan berdasarkan subjek, misalnya : topik, area, ranah, kebutuhan, atau bidang peminatan tertentu. Data yang ditamplkan lebih spesifik sesuai keperluan untuk proses pengambilan keputusan saja yang dirangkum dalam bentuk dimensi, misalkan dimensi waktu, dimensi riwayat, dimensi wilayah, dll.
Karakteristik Data Warehouse 2. Integrated Data warehouse dibangun dari proses integrasi berbagai sumber data yang berasal dari berbagai aplikasi Berbagai sumber data yang beragam (heterogen) misalnya aplikasi database relasional, file, flat file diintegrasikan menjadi satu kesatuan data yang seragam
Ilustrasi Data Warehouse dari 3 sistem informasi & 3 data base
Karakteristik Data Warehouse 3. Time Variant Semua data pada data warehouse diidentifikasikan berdasarkan periode waktu penyimpanannya Data warehouse fokus pada perubahan yang terjadi pada data-data tsb secara berkala, sehingga timbul variasi waktu ( time variant)
Karakteristik Data Warehouse 4. Non Volatile Data-data dari berbagai sumber data yang dikumpulkan ke dalam data warehose tidak boleh mengalami manipulasi data dalam bentuk edit, update, dan delete Perubahan sekecil apapun tidak boleh dilakukan terhadap data, data harus utuh sebagaimana aslinya saat berada di sumber data
Karakteristik Data Warehouse 5. Process Oriented Data warehouse dipandang sebagai sebuah proses berkesinambungan dalam pengolahan data menjadi informasi dan pengiriman informasi tsb. Mengacu kepada pemeliharaan & perawatan yang dilakukan pada data warehouse agar dapat berjalan dengan baik
Karakteristik Data Warehouse 6. Accesible Data warehouse beserta data-data di dalamnya harus dapat diakses dengan mudah oleh pengguna sesuai hak aksesnya Data warehouse juga dapat dimanfaatkan oleh banyak pengguna yang berasal dari unit-unit yang berbeda melalui ketersediaan data mart
Nilai Penting Data Warehouse pada Organisasi Mempercepat Proses Integrasi, pengumpulan data dari berbagai sumber & berbagai format data, kemudian menjadikannya sebagai satu format umum, menganalisis, dan membaginya ke dalam grup-grup kecil sesuai kebutuhan pengguna Peningkatan Kecepatan Respon Sistem, data warehouse memiliki struktur yang telah didesain untuk dapat melakukan analisis data pada data skala besar
Nilai Penting Data Warehouse pada Organisasi 3. Penyajian Laporan Lebih Cepat & Fleksibel Data warehouse menampilkan informasi dalam bentuk laporan melalui menu GUI ( graphical user interface) , Indicator, dan dimensi pada data multi dimensi hasil analisa OLAP 4. Mencatat History Data, Data warehouse mampu mencatat setiap perubahan & proses yang terjadi pada data-data yang ada didalamnya
Nilai Penting Data Warehouse pada Organisasi 5. Peningkatan Kualitas Data Berdasarkan history data, maka data dapat dilacak, sehingga diperoleh informasi yang akurat dan dapat dilakukan pengecekan terhadap sumber masalah yang terjadi 6. Membantu Operasional Sistem, Pemanfaatan sejumlah komputer beserta dengan pembagian data-data yang akan dianalisa dalam jumlah besar akan membantu operasional sistem agar bekerja maksimal dan lebih cepat
Nilai Penting Data Warehouse pada Organisasi 7. Membantu Unit IT pada Organisasi Para unit IT dapat dengan mudah menyajikan informasi yang dibutuhkan oleh organisasi secara akurat, cepat, mudah, terpercaya. Serta dapat melakukan pemrosesan dan analisis data 8. Membantu Pengenalan Informasi lebih baik Data warehouse menyediakan indikator untuk membantu pengguna dalam mengenali informasi dengan lebih baik, sehingga dapat lebih optimal dalam menangani informasi tsb
Nilai Penting Data Warehouse pada Organisasi 9. Memudahkan dalam Pencarian Data Data warehouse menyimpan & mengumpulkan data dari berbagai sumber data, dengan relevansi data sesuai kebutuhan organisasi Akses ke data & informasi dapat dilakukan lebih cepat dibandingkan akses langsung ke sumber data
TREN DATA WAREHOUSE Tren Datafication & Peluang Data Warehouse
TREN DATA WAREHOUSE Tren Datafication & Peluang Data Warehouse
TREN DATA WAREHOUSE 2. Big Data
TREN DATA WAREHOUSE 3. Customer Experience berbasis Data warehouse Customer based view melihat bisnis dari sudut pandang kepuasan konsumen Data warehouse pada customer experience untuk memperoleh analisis secara real time untuk membantu meningkatkan pemasaran, analisis sentimen pasar & analisis sentimen konsumen, personalisasi, serta penjualan & pemasaran produk
TREN DATA WAREHOUSE 4. Peran Data Warehouse Pada Dunia Bisnis Terutama jika dihubungkan dengan Business Intelegence untuk membantu proses bisnis, pengambilan keputusan, dan hal lain terkait dengan bisnis yang dijalankan
TREN DATA WAREHOUSE 5. Data Warehouse & Kemudahan Analisis Data
TREN DATA WAREHOUSE 6. Data Warehouse & In Memory Technologies
TREN DATA WAREHOUSE 6. Data Warehouse & In Memory Technologies
TREN DATA WAREHOUSE 7. Pemanfaatan Kompresi Data Skala Tinggi Pada Perusahaan
TREN DATA WAREHOUSE 8. On Demand Analytic & Information Discovery
TREN DATA WAREHOUSE 9. Konsolidasi Fisik & Logik untuk Efisiensi Biaya
TREN DATA WAREHOUSE 10. SystemEngineering & Manajemen Informasi Skala Besar
PEMANFAATAN DATA WAREHOUSE 1. Perbankan Menangani alur & proses keuangan, manajemen uang nasabah, manajemen kredit, peningkatan layanan nasabah 2. Industri Pemetaan & alur bahan mentah hingga menjadi bahan jadi & setengah jadi Pemasaran produk & distribusi produk Analisa & evaluasi pasar Stok dan inventori Pembelian bahanbaku Penggajian pegawai, pelaporan dinamis, Pengambilan keputusan
PEMANFAATAN DATA WAREHOUSE 3. Pemerintahan E- government E-Procurement Membantu pengambilan keputusan bagi pemerintah pusat & daerah dengan sistem desentralisasi Mengurangi tindak KKN Membantu dalam menentukan strategi pemerintahan, Menghilangkan kendala pada SKPD di pemerintahan daerah
PEMANFAATAN DATA WAREHOUSE 4. Transportasi Membantu dalam rekayasa lalu lintas guna meminimalisir titik-titik kemacetan, kecelakaan Membantu mengetahui penyebab seringnya kecelakaan dan pelanggaran lalu lintas Contoh : GarudaIndonesia telah menerapkan Frequent Flyer Program untuk meningkatkan penetrasi pasar
PEMANFAATAN DATA WAREHOUSE 5. Marketing Membantu menentukan rencana pemasaran produk