Cover Dashboard Observabilitas LLM Router menampilkan browser dengan kartu biaya, grafik latensi, dan tabel log

Studi Kasus · Dashboard

Dashboard Observabilitas LLM Router Self-Hosted untuk Tim AI

Dashboard observabilitas LLM router ini memusatkan biaya, token, latensi P95, dan error tanpa mengirim trafik AI ke SaaS pihak ketiga. Saat beberapa agen, model, dan provider memakai gateway yang sama, pemborosan token serta sumber gangguan sulit ditemukan dari log terpisah. RouterLens menerima satu event untuk setiap panggilan model, lalu menyajikan log yang dapat dicari, estimasi biaya, tren token, error aktual, dan perbandingan performa berdasarkan provider, model, atau proyek. Go, React, dan PostgreSQL dikemas sebagai satu aplikasi self-hosted: frontend tertanam dalam binary, sedangkan PostgreSQL menjadi satu-satunya layanan pendamping. API key dibatasi per proyek, event berulang dapat dideduplikasi, dan sesi admin dikelola di server. Scope publiknya masih MVP v0.1 dan berfokus pada observabilitas, bukan pengambilan keputusan routing. Cocok untuk tim AI yang menjalankan LLM gateway atau coding agents dan membutuhkan kontrol data serta biaya tanpa platform observabilitas berlangganan.

Klien: Open Source
Industri: AI Observability
Durasi: Open source project
Tahun: 2026

01 — Konteks

Problem awal

Tim AI yang mengoperasikan beberapa LLM router, coding agents, dan provider sering kehilangan gambaran utuh tentang konsumsi token. Log tersebar membuat biaya per proyek sulit ditelusuri, nilai rata-rata menyembunyikan lonjakan latensi P95, dan error provider baru terlihat setelah pengguna mengeluh. Mengandalkan layanan observabilitas eksternal juga menambah biaya serta memindahkan data trafik AI ke pihak ketiga. Tanpa pencatatan terpusat, tim harus menggabungkan data manual sebelum dapat menentukan model mana yang mahal, lambat, atau sering gagal.

02 — Pendekatan

Cara kami menyelesaikan

RouterLens menyediakan endpoint ingestion untuk mencatat setiap panggilan model sebagai event terstruktur. Dashboard menampilkan penggunaan token, estimasi biaya, latensi rata-rata dan P95, error, serta rincian berdasarkan provider, model, proyek, dan agen. Harga dapat ditetapkan per model, sementara model tanpa harga ditandai agar biaya tidak tercatat menyesatkan. Backend Go menyajikan API sekaligus frontend React yang tertanam dalam satu binary, dengan PostgreSQL sebagai satu-satunya layanan pendamping. Pendekatan self-hosted menjaga data trafik tetap berada di infrastruktur pengguna. API key per proyek, sesi admin yang dapat dicabut, deduplikasi event, pencarian log, dan ekspor CSV mendukung operasional serta audit tanpa menambahkan antrean atau cache terpisah.