Beberapa waktu lalu aku cerita soal AI Local yang aku bangun. Dimulai dari VM, OpenWebUI, ditambah RAG, lalu diintegrasikan ke Hermes dan Telegram.
Sekarang kabar baiknya: semuanya udah jalan dan nyambung.
Bukan coba-coba lagi, tapi beneran dipake. Dua jalur aksesnya lewat OpenWebUI dan lewat bot Telegram udah bisa jawab pertanyaan berdasarkan data yang aku masukin.
Lewat OpenWebUI
Di OpenWebUI, fitur RAG-nya bisa langsung dicoba. Tinggal upload dokumen atau sambungin ke knowledge base, terus tanya pertanyaan yang jawabannya ada di dokumen itu.
Misalnya aku punya dokumen SOP internal atau catatan teknis. Waktu aku tanya soal prosedur tertentu, jawabannya bukan teks generik dari internet, tapi beneran ngacu ke isi dokumen yang udah aku siapin.
Keterangan: Contoh jawaban di OpenWebUI yang merujuk langsung ke dokumen yang sudah dimasukkan ke knowledge base.
Lewat Telegram (via Hermes)
Ini yang paling seru. Karena udah diintegrasikan ke Hermes, bot Telegram juga bisa ngakses RAG yang sama. Jadi sambil di HP, tinggal chat ke bot, dan jawabannya tetep berdasarkan data internal.
Gak perlu buka browser, gak perlu login ke OpenWebUI. Cukup buka Telegram, ketik pertanyaan, dan bot langsung jawab.
Keterangan: Bot Telegram memberikan jawaban yang sesuai dengan dokumen internal, bukan jawaban umum.
Sebelum pake RAG, kalau aku tanya sesuatu yang spesifik misalnya SOP atau panduan teknis internal jawabannya suka ngelantur atau malah bilang “I don’t have information about that.”
Sekarang, selama datanya ada di knowledge base, jawabannya akurat dan sesuai konteks. Ini bikin kerja jauh lebih efisien, karena gak perlu buka-buka dokumen manual setiap kali butuh referensi.
Tips Buat Kamu yang Mau Nyoba
Kalau dari pengalamanku, ada beberapa hal yang bikin proses ini lebih lancar:
1. Siapin dokumen yang beneran sering kamu butuhin
Jangan masukin semua file sekaligus. Pilih dulu dokumen yang paling sering kamu akses SOP, panduan teknis, atau catatan project. Ini biar kamu bisa langsung ngerasain manfaatnya tanpa kewalahan.
2. Masukin ke knowledge base di OpenWebUI
Prosesnya gampang. OpenWebUI punya fitur upload dokumen langsung. Tinggal drag and drop file PDF atau teks, dan sistem bakal otomatis memprosesnya jadi knowledge base.
3. Tes dengan pertanyaan spesifik
Ini bagian yang paling penting. Setelah dokumen masuk, jangan coba-coba dengan pertanyaan umum kayak “apa itu AI” karena itu bukan tujuan RAG. Tujuan RAG adalah menjawab pertanyaan yang jawabannya ada di dokumen yang udah kamu masukin.
Aku punya dokumen SOP yang isinya prosedur penanganan server error. Salah satu poin di dokumen itu berbunyi: “Jika server tidak merespon, langkah pertama adalah melakukan pengecekan melalui log di /var/log/syslog.”
Terus aku tanya ke bot: “Langkah pertama kalau server tidak merespon?”
Jawaban bot: “Lakukan pengecekan melalui log di /var/log/syslog untuk melihat penyebabnya.”
Cocok dengan dokumen. Itu tandanya RAG berhasil.
Gampangnya: kalau kamu bisa nemuin jawabannya di dokumen yang kamu masukin, maka kamu bisa ngetesnya dengan pertanyaan yang sama ke AI. Cocok? Berhasil. Gak cocok? Berarti ada yang perlu diperbaiki di konfigurasi RAG-nya.
4. Kalau udah oke, sambungin ke Hermes biar bisa diakses lewat Telegram
Ini steps yang paling rewarding. Setelah RAG jalan di OpenWebUI, tinggal konfigurasi Hermes buat ngakses knowledge base yang sama. Hasilnya? Bot Telegram yang bisa jawab pake data internal.
5. Evaluasi dan tambah dokumen secara berkala
Setelah semua jalan, jangan berhenti di situ. Terus tambahin dokumen baru sesuai kebutuhan. Semakin banyak data yang relevan, semakin pintar botnya.
Yang aku rasakan setelah mencoba ini semua
Jujur, kepuasan yang kurasakan bukan karena teknologinya mutakhir, tapi karena semua ini dibangun dari nol melalui proses belajar mandiri, jatuh bangun, hingga akhirnya menjadi alat yang benar-benar dipakai setiap hari.
Sekarang, setiap kali bot Telegram menjawab pertanyaan dengan tepat sesuai data yang dimasukkan, ada rasa bangga tersendiri. Ini buatan sendiri, datanya sendiri, dan jalannya di server sendiri. Meskipun masih banyak yang harus dikembangkan, pencapaian ini menjadi pengingat bahwa memulai dari hal kecil dan belajar bertahap bisa membuahkan hasil yang nyata.
Pada akhirnya, memiliki asisten AI pribadi yang memahami data internal, bukan sekadar pengetahuan umum, memberikan rasa percaya diri untuk terus mengeksplorasi dan mengembangkan kemampuan lebih jauh lagi.