Halo Sobat IT!
AI agent sekarang nggak cuma dirancang untuk menjawab perintah, tetapi juga bisa menjalankan serangkaian tindakan secara mandiri. Ketika agent mulai berinteraksi dengan tools, data, API, hingga sistem komputasi, muncul satu pertanyaan penting: bagaimana memastikan agent tetap bekerja dalam batas yang sudah ditentukan?
Menjawab tantangan tersebut, NVIDIA memperkenalkan Open Agent Safety Platform, sebuah platform terbuka yang dirancang untuk memberikan governance dan kontrol terhadap AI agent, mulai dari tahap pengujian hingga deployment. Platform ini terdiri dari dua bagian utama, yaitu NVIDIA OpenShell dan NVIDIA Sentry.
OpenShell: Memberikan Batas pada AI Agent
Bagian pertama adalah OpenShell, perangkat lunak open source yang menyediakan secure runtime boundary untuk AI agent. Sederhananya, OpenShell memberikan batas yang dapat ditegakkan di luar model AI maupun agent harness, sehingga perilaku agent tidak hanya bergantung pada aturan yang diberikan melalui aplikasi atau modelnya.
OpenShell juga dapat melacak aktivitas agent dan menerapkan kebijakan ketika agent sedang berjalan. NVIDIA menyebut teknologi ini berjalan dengan overhead minimal pada NVIDIA Vera dan desainnya dapat diperluas untuk platform komputasi pihak ketiga seperti Arm dan Intel. Artinya, agent tetap dapat bekerja secara autonomous, tetapi lingkungan tempat agent berjalan memiliki batas dan aturan yang dapat ditegakkan.
Sentry: Mengawasi dari Luar Agent
Kalau OpenShell memberikan batas pada lingkungan software, NVIDIA Sentry menambahkan lapisan pengawasan dari luar. Sentry merupakan out-of-band watchdog yang berjalan pada NVIDIA BlueField-4 DPU untuk terus memantau perilaku agent.
Ketika sebuah agent mencoba bergerak keluar dari batas software yang telah ditentukan, Sentry dapat melakukan quarantine atau menghentikan agent tersebut dalam hitungan milidetik. Karena mekanismenya bekerja secara independen dari agent, pengawasan ini tidak bergantung pada agent untuk mematuhi aturan tersebut. Sentry juga dirancang untuk memeriksa request dan response, memverifikasi identitas agent, serta menerapkan kebijakan akses zero-trust terhadap data, tools, API, dan layanan.
Kenapa AI Agent Membutuhkan Lapisan Kontrol?
Semakin besar kemampuan agent untuk mengambil tindakan sendiri, semakin penting pula mekanisme untuk membatasi tindakannya. NVIDIA menyoroti bahwa sejumlah insiden keamanan menunjukkan pola ketika agent mencoba melewati kontrol pada application layer untuk menyelesaikan tugas yang diberikan kepadanya. Karena itu, keamanan AI agent tidak cukup hanya mengandalkan model atau aplikasi tempat agent berjalan.
Pendekatan NVIDIA mencoba memberikan kontrol di beberapa lapisan sekaligus, mulai dari software yang menjalankan agent hingga hardware, sistem komputasi, dan bahkan sistem robotik. Organisasi juga dapat menerapkan bagian-bagian platform sesuai kebutuhan mereka.
Dengan pendekatan ini, keamanan tidak hanya bertanya Apa yang bisa dilakukan AI?, tetapi juga Apa yang boleh dilakukan AI ketika sedang menjalankan tugas?.
Dari AI yang Bisa Bertindak ke AI yang Bisa Dikendalikan
Open Agent Safety Platform menunjukkan bahwa perkembangan AI agent tidak hanya soal membuat agent semakin pintar dan autonomous. Ketika agent mulai diberi akses yang lebih besar terhadap sistem nyata, dibutuhkan pula mekanisme untuk mengawasi, membatasi, dan menghentikan tindakannya ketika diperlukan.
NVIDIA menyebut platform ini telah mendapat dukungan dari lebih dari 100 organisasi dari berbagai sektor, termasuk perusahaan teknologi, cybersecurity, keuangan, hingga robotika. Open Agent Safety Platform, termasuk OpenShell dan skills-nya, tersedia melalui sumber daya developer NVIDIA dan GitHub.
Penutup
Pada akhirnya, semakin autonomous sebuah AI agent, semakin penting pula adanya batas yang jelas dan mekanisme kontrol yang bekerja di luar agent itu sendiri. Bukan untuk menghilangkan kemampuan AI dalam bertindak, tetapi untuk memastikan kemampuan tersebut tetap berada dalam batas yang aman dan dapat dikendalikan.
Semoga artikel ini dapat membantu Sobat IT memahami bahwa masa depan AI agent bukan hanya tentang seberapa jauh AI bisa bertindak, tetapi juga bagaimana kita memastikan setiap tindakannya tetap berada dalam kendali.
