ANALISIS SENTIMEN DAN RINGKASAN ULASAN APLIKASI ACCESS BY KAI MENGGUNAKAN NUSABERT DAN LLM QWEN3

Dalam era digital saat ini, ulasan pengguna di platform aplikasi menjadi sumber informasi berharga bagi pengembang untuk meningkatkan kualitas layanan. Analisis sentimen dari ulasan tersebut memerlukan pendekatan yang efektif dan akurat, terutama dalam konteks bahasa Indonesia. Penelitian ini mengusulkan sistem analisis sentimen dan ringkasan ulasan aplikasi Access by KAI menggunakan teknologi pemrosesan bahasa alami terkini.
Metodologi yang diterapkan mengikuti tahapan CRISP-DM, dimulai dari pengumpulan data ulasan melalui web scraping Google Play Store, preprocessing teks, hingga pengembangan model klasifikasi dan ringkasan. Model NusaBERT digunakan untuk analisis sentimen dengan pembagian data 70% latih, 15% validasi, dan 15% uji, sementara model Qwen3-8B dimanfaatkan untuk menghasilkan ringkasan abstraktif yang terstruktur. Sistem yang dikembangkan dibandingkan dengan pendekatan tradisional menggunakan SVM dengan ekstraksi fitur TF-IDF.
Hasil evaluasi menunjukkan bahwa NusaBERT mencapai akurasi 90.8% dan F1-score 81.55%, mengungguli model SVM yang mencapai akurasi 88.8% dan F1-score 55.33%. Sistem ini berhasil mengidentifikasi pola sentimen pengguna secara akurat serta menghasilkan ringkasan yang komprehensif dalam format enam kategori utama. Antarmuka berbasis Streamlit yang dikembangkan memungkinkan visualisasi data yang intuitif melalui pie chart, bar chart, confusion matrix, dan wordcloud. Penelitian ini membuktikan efektivitas model berbasis transformer dalam memahami konteks bahasa Indonesia untuk analisis sentimen, sekaligus memberikan solusi praktis bagi pengembang aplikasi dalam memahami umpan balik pengguna secara efisien.