Jadi ceritanya gini.
Di tim support kantorku, hampir tiap hari ada aja yang namanya brainstorming pake AI. Nyusun solusi, ngerangkum trouble ticket atau sekadar cari referensi teknis karena nemu error yang gak pernah keliatan sebelumnya. Biasanya sih pake ChatGPT atau Gemini. Praktis, tinggal tanya, dapet jawaban. Udah kayak temen ngobrol aja.
Tapi makin kesini, makin kerasa ada yang ganjal.
Setiap kali kita masukin data ke ChatGPT apalagi yang sifatnya internal kayak SOP atau topologi dan lain-lainnya sebenernya itu ngirim data ke luar. Ke server mereka. Ke publik. Dan kita gak pernah tau persisnya datanya dipake apa aja di sana. Mungkin aman, mungkin juga enggak. Tapi masalahnya, kita gak punya kendali.
Belum lagi kadang ada rasa was-was pas lagi ngetik. “Ini boleh gak sih aku copy paste percakapan client ke sini?” Atau “kalau iseng-iseng data teknis server kita masuk ke training model, gimana?”
Sebagai tim support, kita megang data yang cukup sensitif. Bukan rahasia negara sih, tapi cukup buat bikin khawatir kalau sampai tersebar. Belum lagi masalah kepatuhan dan aturan perusahaan kalau sampai ada audit dan ketauan data internal diproses di layanan publik, repot urusannya.
Kami sadar: ini riskan banget.
Apalagi makin lama, brainstorming pake AI itu bukan lagi “sekali-sekali”. Udah jadi kebutuhan harian. Jadi risikonya juga makin sering. Bukan cuma soal datanya tapi soal ketergantungan kami ke layanan publik yang diluar kendali.
Akhirnya Nemu Jalan Tengah
Kami butuh AI yang tetep pinter kayak ChatGPT, tapi datanya gak ke mana-mana. Harus jalan di internal. Hanya kami yang bisa akses. Dan pastinya, harus bisa diandalkan sehari-hari bukan coba-coba doang.
Pertama, aku siapin sebuah VM. Install model AI lokal di sana biar gak perlu internet buat mikir, semuanya diproses di server kita sendiri. Lengkap dengan OpenWebUI sebagai interface web-nya. Jadi tim support bisa akses lewat browser kapan aja, dari mana aja selama masih di jaringan internal. Mirip kayak ChatGPT, tapi ini punya kita.
Tapi, aku masih ngerasa ada yang kurang. AI yang doyan ngelantur itu masalah. Kadang jawabannya sesuai, kadang malah ngawur. Apalagi kalau ditanya soal data internal yang gak ada di pengetahuan umum modelnya.
Makanya aku tambahin RAG Retrieval-Augmented Generation.
Konsepnya gampang: sebelum AI jawab pertanyaan, dia nyari dulu dari dokumen-dokumen yang udah aku siapin. SOP, catatan teknis, dokumentasi, history trouble ticket semua aku masukin. Jadi kalau ada yang nanya, jawabannya gak asal comot dari ingatan model, tapi beneran berdasarkan data yang kita punya.
Hasilnya? Langsung kerasa bedanya. Pertanyaan kayak “Prosedur request akses server gimana?” atau “Troubleshoot step pertama kalau client lapor email gak terkirim apa?”dijawab dengan langkah-langkah yang sesuai dokumentasi kita. Bukan teks generik dari internet.
Tapi aku rasa masih kurang.
Soalnya kalau cuma lewat web, tiap mau nanya harus buka browser dulu. Buka OpenWebUI, login, tunggu loading lama. Apalagi kalau HP-an. Praktis sih, tapi kurang cepat buat tim support yang daily-nya di Telegram. Mereka lebih sering chat daripada buka web.
Nah, disitulah Hermes Agent masuk. Aku integrasikan AI lokal tadi ke Hermes, terus disambungin ke Telegram dan jadilah satu bot yang lengkap.
Hasil akhirnya:
– Otaknya: AI lokal di VM kami sendiri, lengkap dengan RAG dari data internal
– Interface-nya: bisa lewat Telegram (paling sering dipake) atau OpenWebUI (kalau butuh tampilan lebih lengkap)
– Keamanannya: Semua data diproses di server kami. Gak ada yang ke luar. Gak ada yang bocor. Kami pegang kendali penuh
– Aksesnya: Cuma tim support — gak sembarangan orang bisa pake
Jadi mau nanya dari HP sambil nunggu kopi seduh, tinggal buka Telegram. Mau nulis panjang sambil liat referensi? Buka OpenWebUI di laptop. Fleksibel.
Sekarang kalau ada yang butuh brainstorming, tinggal chat ke bot kami di Telegram atau buka OpenWebUI. Gak perlu buka ChatGPT lagi. Gak khawatir data bocor. Semuanya aman di server sendiri.
Yang paling seru? Pas pertama kali liat bot ini jawab pertanyaan pake data internal yang kami masukin sendiri rasanya campur aduk. Antara lega, bangga, dan “ya ampun kok bisa ya semenarik ini.”
Yang dulunya kami kirim data ke luar, sekarang semuanya diam di tempatnya. Yang dulunya harus buka web tiap kali, sekarang cukup chat doang. Yang dulunya jawaban masih ngawur-ngawur, sekarang udah sesuai konteks.
Diawal sih ada effort buat setup. Gak bisa dipungkiri. Ada gagal, ada ulang, ada bingung di tengah jalan. Tapi setelah jalan, rasanya lega banget. Karena kami gak cuma dapet AI yang pinter tapi juga yang aman dan sesuai kebutuhan kami.
Dan menurutku, itu worth banget.
Kalau ditanya, “Ribet gak sih bikin sendiri?”
Ribet sih. Awal-awal suka galau, apalagi pas RAG-nya gak nyambung-nyambung atau pas bot Telegram-nya diem aja padahal udah di-start. Tapi namanya juga belajar, ya gitu. Kalau gak nemu masalah, gak bakal paham juga cara ngatasinnya.
Intinya sih, punya AI sendiri tuh memungkinkan. Bukan cuma buat perusahaan gede dengan tim engineering puluhan orang. Buat kita-kita yang iseng tapi serius, yang mau belajar sambil bikin sesuatu yang kepake beneran itu juga bisa.
Mulai dari satu VM. Satu model. Satu dokumen yang dimasukin. Dan satu tekad buat gak bergantung terus sama layanan publik.
Gak perlu sempurna di awal. Jalanin aja dulu. Sisanya menyusul.