PT Lumut Karya Sejahtera (Lumut.id) kembali menunjukkan komitmennya dalam menghadirkan inovasi teknologi melalui pengembangan sistem inspeksi tower berbasis Artificial Intelligence (AI) yang menggabungkan kemampuan YOLO (You Only Look Once) sebagai teknologi object detection dengan Gemma4 Vision Language Model untuk analisis kondisi komponen. Inovasi ini merupakan bagian dari upaya perusahaan dalam mendukung transformasi digital di bidang inspeksi infrastruktur, khususnya pada proses identifikasi dan evaluasi kondisi komponen tower secara otomatis, cepat, dan akurat.
Seiring meningkatnya kebutuhan akan inspeksi infrastruktur yang efisien, proses pemeriksaan tower masih menghadapi sejumlah tantangan. Validasi hasil inspeksi pada umumnya masih dilakukan secara manual, sementara setiap komponen yang ditemukan perlu dianalisis kembali untuk mengetahui apakah berada dalam kondisi normal atau mengalami anomali. Kompleksitas semakin tinggi karena satu foto tower dapat memuat puluhan komponen dengan ukuran dan posisi yang berbeda-beda.
Melihat kondisi tersebut, tim riset dan pengembangan PT Lumut Karya Sejahtera merancang sebuah pendekatan yang memanfaatkan kekuatan dua teknologi AI yang saling melengkapi. YOLO digunakan sebagai mesin pendeteksi objek yang mampu mengenali berbagai komponen tower secara real-time, sedangkan Gemma4 berperan sebagai Vision Language Model yang menganalisis kondisi setiap komponen berdasarkan hasil cropping yang telah dihasilkan oleh YOLO.
Berbeda dengan pendekatan yang langsung menganalisis keseluruhan gambar menggunakan Vision Language Model, metode yang dikembangkan Lumut.id memisahkan proses deteksi dan analisis menjadi dua tahapan. YOLO terlebih dahulu mengidentifikasi lokasi setiap objek dan menghasilkan bounding box, kemudian setiap objek dipotong (crop) sehingga Gemma4 hanya berfokus pada satu komponen dalam setiap proses analisis. Pendekatan ini membuat model AI dapat memberikan penilaian kondisi yang lebih spesifik dan akurat karena objek yang dianalisis menjadi lebih jelas dan tidak terganggu oleh banyaknya komponen lain dalam satu gambar.
Pemanfaatan YOLO dipilih karena memiliki kemampuan mendeteksi banyak objek hanya dalam satu kali proses inferensi (one-stage detector). Teknologi ini mampu mengenali posisi sekaligus kategori objek secara bersamaan dengan performa yang sangat cepat, sehingga sangat sesuai untuk kebutuhan inspeksi lapangan yang membutuhkan efisiensi waktu tanpa mengurangi tingkat akurasi.
Sementara itu, Gemma4 difungsikan sebagai mesin analisis visual yang melakukan reasoning terhadap setiap hasil crop komponen. Model ini tidak bertugas mendeteksi posisi objek, melainkan mengevaluasi kondisi aktual komponen, misalnya mengidentifikasi apakah sebuah insulator berada dalam kondisi normal atau menunjukkan indikasi kerusakan, lengkap dengan tingkat keyakinan (confidence score) terhadap hasil analisis yang diberikan.
Dalam implementasinya, solusi ini telah dirancang agar dapat diintegrasikan secara langsung dengan aplikasi Android. Pengguna cukup mengambil foto tower melalui perangkat seluler, kemudian gambar dikirim ke backend menggunakan FastAPI. Selanjutnya sistem akan menjalankan proses deteksi menggunakan YOLO, melakukan cropping terhadap setiap komponen, mengirim hasil tersebut ke Gemma4 untuk dianalisis, dan mengembalikan hasil dalam format JSON yang dapat langsung ditampilkan kepada pengguna. Seluruh proses berlangsung secara otomatis sehingga membantu mempercepat proses inspeksi di lapangan.
Saat ini sistem telah dikembangkan untuk mengenali berbagai komponen penting pada tower, di antaranya Insulator, Jumper, Arcing Horn, Bracing, Aksesoris Sisi Hot, serta Aksesoris Sisi Cold. Kemampuan tersebut menjadi fondasi bagi pengembangan sistem inspeksi yang lebih komprehensif dan dapat terus diperluas sesuai kebutuhan di masa mendatang.
Selama proses pengembangan, tim Lumut.id juga melakukan berbagai evaluasi terhadap aspek infrastruktur. Pada tahap pelatihan model, penggunaan GPU berbasis Google Colab masih memiliki keterbatasan sumber daya ketika menangani model dan gambar berukuran besar, sehingga beberapa proses pelatihan harus dilanjutkan dari checkpoint. Di sisi implementasi, pengoperasian YOLO, FastAPI, dan Vision LLM secara bersamaan pada perangkat dengan kapasitas RAM terbatas menyebabkan penggunaan memori meningkat secara signifikan. Berdasarkan hasil pengujian tersebut, perusahaan merekomendasikan penggunaan perangkat dengan RAM minimal 16 GB, pemisahan layanan Vision LLM ke server atau cloud, serta pemanfaatan API untuk model AI berukuran besar agar performa sistem menjadi lebih optimal dan mudah diskalakan.
Pengembangan solusi ini merupakan bagian dari komitmen PT Lumut Karya Sejahtera untuk terus menghadirkan inovasi yang memberikan nilai tambah bagi pelanggan. Dengan mengombinasikan teknologi computer vision dan vision language model, perusahaan berharap dapat membantu organisasi maupun instansi yang mengelola infrastruktur memperoleh proses inspeksi yang lebih cepat, konsisten, dan berbasis data.
Ke depan, PT Lumut Karya Sejahtera akan terus mengembangkan pemanfaatan teknologi AI pada berbagai solusi digital yang dimiliki perusahaan. Inovasi ini diharapkan mampu mendukung transformasi digital di berbagai sektor, sekaligus memperkuat posisi Lumut.id sebagai perusahaan teknologi yang menghadirkan solusi cerdas, adaptif, dan berorientasi pada kebutuhan industri di Indonesia.
Ingin mengetahui bagaimana teknologi AI dapat meningkatkan efisiensi inspeksi aset di organisasi Anda? Hubungi tim PT Lumut Karya Sejahtera untuk mendapatkan demonstrasi solusi kami.