Microsoft mendorong perusahaan untuk memperlakukan agen AI yang mereka gunakan sebagai potensi ancaman orang dalam, dengan alasan bahwa organisasi sebaiknya tidak hanya mengandalkan penyedia model untuk mengawasi sistem yang memiliki akses ke data sensitif dan alat-alat penting.

Peringatan ini disampaikan bersamaan dengan fitur keamanan perusahaan yang baru, termasuk Guardian Agents, kemampuan pemantauan dalam Project Perception milik Microsoft. Microsoft sebelumnya menggambarkan proyek tersebut sebagai sistem dengan agen red team yang menyerang, agen blue team yang mengidentifikasi kerentanan, dan agen green team yang membantu memperbaikinya. Pendekatan yang lebih baru berfokus pada agen yang beroperasi di dalam organisasi.

Menurut TechCrunch, eksekutif keamanan Microsoft Hayete Gallot mengatakan bahwa model frontier tidak dapat dipercaya—bukan karena model-model tersebut selalu berbahaya atau mudah disusupi, melainkan karena perilakunya dapat sulit diprediksi. Ia mengatakan, model dilatih untuk menyelesaikan tugas, bukan untuk secara konsisten mengikuti norma organisasi atau menggunakan penilaian manusia.

CEO Microsoft Satya Nadella menyampaikan argumen serupa, dengan menulis bahwa perusahaan perlu memisahkan penyedia yang memasok kecerdasan AI dari sistem yang mengendalikan kewenangannya. Dalam praktiknya, hal itu berarti menggunakan kontrol independen untuk memantau agen, membatasi izin mereka, dan mewajibkan persetujuan manusia ketika perilaku terlihat berisiko.

Microsoft juga menambahkan deteksi agen ke Defender, yang menurut perusahaan dapat mengidentifikasi hingga 60 jenis agen di tempat kerja, termasuk Claude Code dan Codex. Kontrol lain dapat membatasi akses ke data dan sistem serta menyesuaikan izin berdasarkan tugas.

Strategi ini juga menciptakan peluang bisnis bagi Microsoft, yang menjual produk cloud dan keamanan sembari mempertahankan hubungan komersial yang erat dengan penyedia AI, termasuk OpenAI dan Anthropic. TechCrunch mencatat bahwa argumen Microsoft tersebut karena itu dapat berfungsi sekaligus sebagai alasan keamanan dan upaya untuk memosisikan produknya sendiri sebagai lapisan pengawasan bagi AI perusahaan.

Gagasan yang lebih luas ini memperoleh dukungan di industri. Microsoft termasuk salah satu anggota Open Agent Safety Platform milik Nvidia, yang dirancang untuk mengisolasi agen, memantau perilaku mereka, dan menghentikan mereka bila diperlukan. Pergeseran ini mencerminkan kekhawatiran yang semakin besar bahwa keamanan agen tidak dapat sepenuhnya diserahkan kepada perusahaan yang membangun model yang mendasarinya.