Coinbase mengatakan telah mempersingkat pengujian dukungan AI 90 kasus dari 1–2 minggu menjadi 30–45 menit

Coinbase mengatakan bahwa sekarang mereka dapat menyelesaikan siklus pengujian dukungan yang terdiri dari sekitar 90 kasus dalam waktu 30–45 menit, pekerjaan yang sebelumnya memerlukan satu hingga dua minggu untuk pengaturan dan pelaksanaan manual. Angka ini, yang diungkapkan oleh insinyurnya pada 21 September, memberikan contoh konkret dari dorongan CEO Coinbase Brian Armstrong untuk menjadikan perusahaan ini berbasis AI, di mana otomatisasi mengurangi pekerjaan yang berulang.

Sistem ini, yang disebut Autopilot, menguji prosedur yang diikuti oleh bot dukungan saat menangani masalah pelanggan. Sistem ini juga mempertahankan persetujuan manusia sebelum perubahan prosedur diterapkan ke produksi. Uji coba berikutnya untuk model operasional Armstrong adalah apakah pengembangan prosedur yang lebih cepat menghasilkan dukungan yang dapat diandalkan dan tindakan yang dapat dipertanggungjawabkan pada akun pelanggan.

Pelanggan perlu masalah akun mereka diselesaikan dengan benar dan data mereka diakses hanya dengan otoritas yang tepat. Pengungkapan Coinbase menggambarkan pekerjaan untuk memenuhi kedua kebutuhan tersebut, sementara dampaknya terhadap pelanggan tidak terukur. Menyetujui perubahan, membatasi izin, dan mengukur hasil nyata tetap menjadi tanggung jawab operasional saat perusahaan mengotomatiskan lebih banyak pekerjaan.

Dari mana penghematan waktu berasal

Armstrong mengumumkan pengurangan tenaga kerja sekitar 14% dalam memo 5 Mei, mengutip pasar kripto yang lemah dan AI yang mengubah cara karyawan bekerja. Dia mengusulkan pengurangan lapisan manajemen, pemimpin yang juga berkontribusi secara langsung, tim berbasis AI yang lebih kecil, dan eksperimen dengan tim satu orang.

Akun rekayasa September menggerakkan argumen operasional tersebut ke dalam proses dukungan yang spesifik. Coinbase mengatakan bahwa botnya mencari status akun, mengambil tindakan terbatas, dan mengeskalasikan masalah yang memerlukan penilaian lebih besar kepada seseorang. Autopilot membantu mempertahankan prosedur yang diikuti oleh bot tersebut.

Layanan pengujian ini menciptakan pengguna uji terisolasi dan status akun tiruan, mensimulasikan percakapan, merekam transkrip dan hasil alat, serta menilai apa yang terjadi dibandingkan dengan perilaku yang diharapkan. Agen dapat membantu menghasilkan pengujian; pelari yang dapat diulang mengeksekusinya. Coinbase mengatakan telah mengirimkan sistem hibrida yang menggabungkan layanan, gerbang rilis GitHub Actions, dan antarmuka pengguna yang dapat digunakan oleh tim teknik dan non-teknik.

Pembagian tersebut menjelaskan mengapa perbandingan waktu itu berguna. Mengatur akun uji berulang kali, mengarahkan percakapan, dan mengumpulkan hasil adalah pekerjaan yang dapat dilakukan secara konsisten oleh layanan bersama. Validasi yang lebih cepat dapat membuatnya praktis untuk memeriksa perubahan prosedur lebih sering, asalkan kasus dan hasil yang diharapkan tetap sesuai.

Perbandingan yang dilaporkan mengukur siklus validasi, meninggalkan waktu respons pelanggan dan penghematan staf di luar cakupannya. Menghubungkan siklus tersebut dengan pengurangan tenaga kerja akan memerlukan bukti tugas mana yang digantikan dan biaya yang dihasilkan.

Siklus pengujian yang lebih pendek memberi Coinbase lebih banyak kapasitas untuk mengevaluasi perubahan. Apakah kapasitas tersebut menghasilkan dukungan yang lebih baik tergantung pada apa yang dicakup oleh pengujian, apa yang dilakukan oleh peninjau dengan temuan mereka, dan bagaimana prosedur yang dihasilkan berfungsi setelah diterapkan.

Autopilot menggunakan percakapan yang bersifat adversarial serta pengujian perilaku yang diharapkan. Coinbase mengatakan bahwa model AI menilai percakapan tersebut, tetapi mengakui bahwa penilai bisa saja salah. Skor tersebut memberi umpan balik untuk tinjauan manusia dan gerbang rilis, bukan secara independen memutuskan bahwa prosedur sudah siap.

Batas rilis memisahkan prosedur yang diusulkan dari yang dapat digunakan oleh bot dukungan dengan pelanggan. Agen dapat menyarankan perubahan, sementara seseorang harus menyetujui penulisan produksi dan pengaktifan.

Itu adalah langkah pengaman terhadap loop kualitas otomatis yang mempromosikan pekerjaannya sendiri tanpa tinjauan. Ini juga berarti tinjauan tetap menjadi tanggung jawab operasional saat sistem mempercepat.

Lingkup persetujuan harus dibaca dengan tepat. Pernyataan Coinbase berkaitan dengan perubahan pada prosedur dukungan dan pengaktifannya. Ini tidak mengatakan bahwa manusia menyetujui setiap tindakan yang diambil oleh bot yang diterapkan pada akun pelanggan individu.

Automasi lebih lanjut masih belum selesai. Coinbase mengatakan bahwa penemuan, penulisan, pengujian, dan analisis sudah ada, sementara orkestrasi dari celah kinerja yang teridentifikasi ke prosedur yang dipromosikan masih dalam pengembangan. Kontrak yang sepenuhnya dibagikan untuk ringkasan percakapan juga masih belum selesai.

Itu meninggalkan pekerjaan integrasi di samping keuntungan otomatisasi. Sebuah sistem yang mengidentifikasi aliran yang lemah, menghasilkan revisi, dan mengujinya masih memerlukan informasi yang dapat diandalkan yang diteruskan antara langkah-langkah tersebut dan keputusan yang dapat dipertanggungjawabkan tentang rilis.

Izin untuk bertindak adalah kontrol terpisah

Pengungkapan operasi internal Coinbase pada 18 Agustus membahas bagian lain dari perlindungan pelanggan: siapa yang dapat mengakses data pelanggan dan siapa yang dapat mengubahnya.

Perusahaan menggambarkan Control Center sebagai platform berbagi terpisah untuk dukungan, kepatuhan, hukum, risiko, dan rekayasa. Coinbase belum menentukan cakupan Autopilot-nya. Di dalam platform, otorisasi, catatan audit, persetujuan, dan batasan laju berada di depan layanan yang mendasarinya.

Pemeriksaan izinnya mempertimbangkan baik tindakan yang diminta maupun pelanggan tertentu. Konteks pelanggan yang hilang pada operasi yang dibatasi pelanggan berarti penolakan. Akses terikat pada kasus yang ditugaskan, terbatas pada pelanggan yang terlibat dan diatur untuk kedaluwarsa.

Untuk perubahan sensitif yang ditunjuk, termasuk pengembalian dana, perubahan status akun, dan pengabaian batas, platform memisahkan pengajuan perubahan dari pelaksanaannya. Usulan masuk ke tinjauan, persetujuan yang diperlukan harus tiba, dan pelaksana terpisah kemudian melakukan perubahan. Kegagalan diserahkan untuk penanganan manusia.

Kontrol-kontrol tersebut menjawab pertanyaan yang tidak dapat dijawab oleh pengujian percakapan sendiri. Sebuah prosedur dapat menggambarkan respons yang diharapkan, sementara sistem otorisasi menentukan apakah penelepon dapat mengakses data pelanggan yang relevan. Aturan persetujuan menentukan apakah perubahan sensitif dapat dilanjutkan.

Control Center juga menjelaskan pekerjaan yang sedang berlangsung. Coinbase mengatakan jenis klien baru, termasuk agen otomatis, harus dibawa di bawah aturan otorisasi, audit, dan pembatasan laju, dengan batasan autentikasi yang divalidasi kembali saat penelepon berubah.

Menetapkan bagaimana kontrol ini diterapkan pada otomatisasi dukungan akan memerlukan penjelasan yang lebih jelas tentang bot dan tindakan mana yang melewati pemeriksaan izin dan persetujuan. Ukuran cakupan yang relevan adalah seperangkat operasi pelanggan yang diatur oleh aturan tersebut.

Untuk model operasi berbasis AI, konsekuensinya jelas: menambahkan penelepon otomatis masih memerlukan seseorang untuk mempertahankan aturan yang mengatur wewenang mereka. Arsitektur dapat membuat pekerjaan itu lebih konsisten. Efektivitasnya masih bergantung pada menjaga setiap penelepon baru dalam aturan.

Akses yang terhubung dengan kasus memberikan contoh konkret: izin harus terus cocok dengan pekerjaan yang ditugaskan saat kasus dan penelepon berubah. Batasan akun perlu dipertahankan seiring dengan pengembangan prosedur yang lebih cepat.

Pengujian lebih lanjut memerlukan ukuran hasil

Kebutuhan yang sama untuk menghubungkan aktivitas dengan hasil juga berlaku untuk platform keamanan Continuous Adversarial Testing (CAT) Coinbase yang terpisah. Pada 15 September, Coinbase melaporkan lebih dari 150.000 pemindaian dari estate produksinya sejak pertengahan 2026, termasuk lebih dari 128.000 tinjauan permintaan tarik, dan lebih banyak temuan uji penetrasi yang sedang diperbaiki. Aktivitas dan perbaikan yang dilaporkan tersebut memberikan konteks keamanan.

Perbedaan antara pengujian dan kinerja yang diterapkan juga menjadi pusat profil risiko AI generatif dari National Institute of Standards and Technology (NIST) pada Juli 2024. Kerangka kerja sukarela merekomendasikan evaluasi sistem dalam skenario dunia nyata karena pengujian yang terkontrol mungkin melewatkan masalah dan membahas kesenjangan pengukuran antara kondisi laboratorium dan penerapan. Kerangka kerja ini menawarkan standar umum untuk mengevaluasi klaim-klaim ini.

Autopilot sudah mengarah pada ukuran pelanggan. Coinbase mengatakan label niat pelanggan, resolusi, dan sinyal kepuasan pelanggan membantu mengidentifikasi aliran dukungan volume tinggi yang lemah. Ini menunjukkan bahwa perusahaan mengakui bahwa menyelesaikan pengujian dan memecahkan masalah pelanggan adalah ukuran yang berbeda.

Namun, pengungkapan September tidak menerbitkan hasil resolusi pelanggan atau keselamatan yang terukur sebelum dan sesudah. Bukti berikutnya yang berguna akan menghubungkan prosedur yang diterapkan dengan hasil tersebut, bersama dengan proporsi aktivitas dukungan relevan yang dicakup oleh sistem pengujian dan izin.

Kualitas resolusi akan membantu menunjukkan apakah otomatisasi menyelesaikan masalah pelanggan. Kinerja eskalasi akan membantu menunjukkan apakah kasus yang memerlukan penilaian manusia mencapainya. Bukti tentang tindakan dan kesalahan yang tidak sah akan lebih langsung menangani perlindungan daripada waktu yang diperlukan untuk menjalankan rangkaian pengujian.

Siklus validasi yang dilaporkan selama 30--45 menit adalah contoh konkret dari pekerjaan yang diotomatisasi. Gerbang persetujuan dan pembatasan akses yang diungkapkan menjadikan akuntabilitas bagian dari model operasional. Menunjukkan nilai kepada pelanggan memerlukan penghubungan keduanya dengan hasil dalam dukungan langsung, sambil menjalankan pekerjaan tinjauan dan tata kelola yang masih diperlukan oleh sistem yang diungkapkan.

Konten ini disediakan hanya untuk tujuan informasi umum dan bukan merupakan nasihat keuangan, investasi, hukum, atau pajak. Setiap acara, reward, promosi online, atau informasi terkait yang disebutkan di sini tidak boleh dianggap sebagai rekomendasi, ajakan, atau undangan untuk membeli, menjual, memperdagangkan, atau melakukan transaksi aset kripto apa pun. Aset kripto sangat fluktuatif dan dapat mengakibatkan kerugian. Ketersediaan layanan, produk, dan acara terkait WEEX dapat berbeda-beda di setiap wilayah. Anda bertanggung jawab untuk memastikan bahwa partisipasi Anda sesuai dengan hukum dan peraturan setempat yang berlaku.