PENGEMBANGAN DAN EVALUASI KINERJA RETRIEVAL-AUGMENTED GENERATION PADA CHATBOT WEBSITE PT KARYA MARDI JAYA GROUP

Ketergantungan pada proses administratif manual untuk memberikan informasi teknis tentang furnitur khusus dan perkiraan biaya produksi di luar jam kerja merupakan masalah utama dalam operasional PT Karya Mardi Jaya Group. Menggunakan model bahasa besar tanpa batasan data kontekstual memiliki risiko tinggi terhadap kesalahan informasi karena fenomena halusinasi AI. Penelitian ini bertujuan untuk merancang, menerapkan, dan menilai kinerja asisten virtual pintar yang berbasis arsitektur Retrieval-Augmented Generation (RAG) dengan menggunakan kerangka kerja Next.js, Python, dan database vektor ChromaDB yang dihosting secara daring di platform cloud Vercel. Pengumpulan data utama dilakukan dengan metode eksperimen laboratorium yang terkontrol, di mana sistem diuji secara otomatis dengan menggunakan 200 pertanyaan yang mewakili interaksi nyata dengan pelanggan. Penilaian kinerja sistem dilakukan secara kuantitatif dengan menggunakan kerangka RAGAS yang fokus pada metrik Faithfulness dan Answer Relevance. Hasil pengujian menunjukkan bahwa penerapan arsitektur RAG berhasil meningkatkan kinerja sistem secara signifikan dengan mendapatkan skor rata-rata Faithfulness sebesar 1,000 dan Answer Relevance sebesar 1,000. Capaian ini terbukti lebih baik dibandingkan metode pembanding Zero-Shot LLM standar yang hanya mendapatkan skor rata-rata Faithfulness sebesar 0,435 dan Answer Relevance sebesar 0,350. Implementasi sistem ini terbukti berhasil menghilangkan risiko manipulasi data dan menjaga keakuratan informasi layanan pelanggan selama 24 jam penuh dalam industri manufaktur mebel kustom lokal.

link jurnal = https://drive.google.com/file/d/1XJatq5YHtp7fXcatac2LsebKh0MP4iZT/view?usp=sharing