Natural language Processing (NLP)Natural language Processing (NLP).pptx

Natural language Processing (NLP)

1. Natural Language Processing (NLP) Dr. Eng. Ir. Yuyun, MT Dosen Universitas Handayani makassar, Peneliti Badan Riset & Inovasi Basional (BRIN) Makassar, 07 Oktober 2023 ; Hotel Aerotel Smile Makassar

2. BIG DATA Introduction (1/4)

3. BIG DATA Problems Introduction (2/4) 1. Velocity : kecepatan pertumbuhan dan aliran data Data Sosial Media : Platform media sosial seperti Twitter, Facebook, dan Instagram menghasilkan jutaan tweet , posting , dan gambar setiap detik Sensor IoT (Internet of Things ): menghasilkan data secara terus menerus Streaming Data Transaksi Keuangan Permainan Online 2. Variety : keragaman jenis data berbagai format, struktur, dan sumber yang berbeda Unstructured , dokumen PDF, pesan teks, email, dan media sosial. Semi- Structured Data: format XML, JSON, atau HTML. Gambar dan Multimedia: gambar, audio, dan video. Geospatial Data: data peta, koordinat GPS, data cuaca Sensor Data: suhu, kelembaban, tekanan, atau data lain yang dihasilkan oleh sensor. Data Sosial Media: termasuk teks, gambar, video, dan audio mencakup berbagai bahasa, format, dan struktur. Data Transaksi Keuangan: tanggal, jumlah, jenis transaksi, termasuk bank, pasar saham, dan layanan keuangan lainnya. 3 . Volume : jumlah data yang sangat besar

4. Introduction (3/4) Areas within AI www.isa.org Problems BIG DATA

5. Introduction (4/4) MODEL OBJECT RESULT NLP Natural Language Processing , yang berarti pemrosesan bahasa alami , merupakan cabang kecerdasan buatan (AI) yang berkaitan dengan interaksi antara komputer dan manusia menggunakan bahasa alami. Tujuan akhir dari NLP adalah agar komputer mencapai pemahaman bahasa yang mirip manusia sep memahami, menarik kesimpulan, meringkas, menerjemahkan , menggenerate kalimat baru

6. Problems (1/2) BIG Data AI traditional Data tidak terstruktur : Bagaimana extract gambar, video, audio, teks bebas, dan data sensor , pdf, xml, link, simbol dll AI Tradisional : AI tradisional sering kali memerlukan jumlah data yang lebih terstruktur (cleaning data) Kemudahan Pemrosesan : mudah membaca, memanipulasi, dan mengolah informas Kemudahan Pencarian dan Pengindeksan : volume data besar dan ingin menemukan informasi tertentu dengan cepat Konsistensi ( seragam ): mengurangi risiko kesalahan Integrasi Data : Sharing informasi Kesalahan Lebih Mudah Dideteksi : Dalam data terstruktur, kesalahan atau inkonsistensi lebih mudah dideteksi karena melanggar format atau skema yang telah ditentukan. STRUCTURER

7. Problems (2/2) BIG Data AI traditional Data tidak terstruktur : Bagaimana extract gambar, video, audio, teks bebas, dan data sensor , pdf, xml, link, simbol dll TERSTRUKTUR Data numerik , seperti angka penjualan, saldo bank, atau data statistik. Data teks , seperti nama, alamat, atau nomor telepon. Data waktu , seperti tanggal dan waktu transaksi. Memudahkan analisis

8. Model (1/3) AI traditional AI tradisional bergantung pada aturan dan algoritma yg dibuat Model AI tradisional seperti regresi logistik, pohon keputusan, atau jaringan saraf tiruan (ANN) , Naive Bayes, Support Vector Machines (SVM), dan Decision Trees, memerlukan pengaturan manual dan pemrograman aturan untuk tugas tertentu (KLASIFIKASI, PREDIKSI) Fokus : Model mempelajari aturan

9. Model (2/3) AI Generative AI generatif ( generative AI) adalah cabang AI yang berfokus pada pengembangan sistem komputer yang dapat menciptakan text kreative seperti konten baru generate Pembuatan teks: AI generatif dapat digunakan untuk menghasilkan teks kreatif, seperti percakapan , puisi, cerita, atau skrip. Pembuatan gambar: AI generatif dapat digunakan untuk menghasilkan gambar realistis atau abstrak. Pembuatan musik: AI generatif dapat digunakan untuk menghasilkan musik baru. Pembuatan video: AI generatif dapat digunakan untuk menghasilkan video baru. Pembuatan konten , penemuan

10. Model (3/3) AI Generative AI generatif ( generative AI) adalah cabang AI yang berfokus pada pengembangan sistem komputer yang dapat menciptakan text kreative seperti konten baru generate Tahun berapa STMIK Hand berdiri ? Jurusan di STMIK Hand apa saja

11. Study : HUMOR COMPUTATION, CASE STUDY HOAX NEWS (1/2) Tujuan : M erubah text hoax menjadi sebuah humor atau lelucon

12. Study : HUMOR COMPUTATION, CASE STUDY HOAX NEWS (2/2)

13. Study Tujuan utama dari NSP adalah untuk memeriksa apakah model mampu memahami keterkaitan makna antara dua kalimat atau tidak Next SentencePrediction : The Impact of Preprocessing Techniques in in Deep Learning (1/10) GENERATIVE AI

14. SentencePrediction : The Impact of Preprocessing Techniques in in Deep Learning (2/4) Introduction

15. Next Sentence Prediction: The Impact of Preprocessing Techniques in Deep Learning (3/4) tokenizing, stopwords removal, casefolding , and stemming Introduction

16. Preprocessing Techniques Performance of an NLP model is strongly influenced by preprocessing techniques. Text processing is the process of converting raw text into a format that can be understood by a computer Preprocessing techniques are important in classification model to improve the accuracy and performance of classification Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (4/10) Introduction

17. Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (4/10) Casefolding by changing letters in sentences into lowercase; tokenizing by dividing text in sentences into words stopword removal or filtering by removing irrelevant words in the document; Stemming by changing affixed words into basic word forms Introduction

18. Research Aim Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (5/10)

19. Dataset Detail Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (6/10)

20. Data Modeling The analysis model into 2 parts; preprocessing and prediction models The preprocessing stopword removal and stemming used the NLTK and Sastrawi libraries. Model: N-Gram & LSTM Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning ( 7 /10)

21. Data Modeling Training and lost of LSTM model, loss: 0.0634, training: 0.9683 Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (8/10)

22. Data Modeling Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (9/10)

23. Data Modeling stopword removal by removing irrelevant changing affixed words into basic word forms Stemming by changing affixed words into basic word forms Study: Next SentencePrediction : The Impact of Preprocessing Techniques in Deep Learning (10/10)

24. Conclusion The combination of T okenizing and case folding : Significant increase in the meaning of the predicted word. These techniques make it easier for the model to learn the patterns of the word, the model works normally The combination of tokenizing, case folding and stopword removale : Resulting in ineffective sentence prediction as well as error meaning . This is because stopword removal removing conjunctions, punctuation marks, and irrelevant words in the documents The combination of tokenizing, case folding and stemming Lead to lost meaning of the predicted sentence as well as produce overlapping sentence structures BIG DATA Problems

25. Thank you