Automasi harus mengikut pertimbangan: perkara yang boleh dilakukan AI sendiri
Rangka kerja untuk menentukan perkara yang boleh dilakukan oleh automasi AI sendiri: kelaskan setiap tindakan mengikut akibat dan kebolehbalikan, kemudian tetapkan kelulusan dan kekerapan semakan.
Dikemas kini 9 min membaca
Pada halaman ini
Ringkasnya
AI boleh bertindak sendiri apabila kesilapan pada sesuatu langkah tidak banyak menelan kos dan mudah diperbetulkan: membaca maklumat dan menyediakan draf teks untuk disemak. Penghantaran mesej dan perubahan rekod perlu menunggu kelulusan. Perbelanjaan dan komitmen kekal di tangan manusia. Dalam Plandora Automations, satu pencetus, alat Read atau Read / Write dan Runs menjadikan pembahagian ini praktikal untuk disediakan dan diperiksa.
Perkara utama
- Kelaskan setiap langkah mengikut akibat dan kebolehbalikannya, bukan kemampuan model.
- Pembacaan dan penyediaan draf boleh dijalankan secara automatik. Penghantaran dan perubahan rekod memerlukan kelulusan. Perbelanjaan dan komitmen kekal di tangan manusia.
- Langkah kelulusan hanya berkesan jika penyemak dapat melihat bukti: bias automasi didokumenkan dalam kajian yang dinilai oleh rakan penyelidik.
- Berikan setiap Automation satu pencetus, sesedikit mungkin alat yang diperlukan dan seorang pemilik yang membaca Runs.
- Semak setiap hari pada awalnya, kemudian setiap minggu, kemudian setiap bulan, dan sekali lagi selepas sebarang perubahan pada Playbook, Stages atau integrasi.
AI boleh bertindak sendiri apabila kesilapan pada sesuatu langkah tidak banyak menelan kos dan mudah diperbetulkan: membaca maklumat dan menyediakan draf teks untuk disemak. Penghantaran mesej dan perubahan rekod perlu menunggu kelulusan. Perbelanjaan dan komitmen kekal di tangan manusia. Ukurannya ialah kos kesilapan dan sama ada ia boleh diperbetulkan, bukan kemampuan.
Bagaimana anda menentukan perkara yang boleh dilakukan AI sendiri?
Tanya dua soalan tentang setiap langkah, bukan tentang sistem secara keseluruhan. Apakah kosnya jika langkah ini salah? Bolehkah ia dibatalkan? Langkah yang gagal tanpa disedari dan boleh dibatalkan boleh dijalankan tanpa pemantauan. Langkah yang melibatkan pelanggan atau memindahkan wang tidak boleh.
Idea ini lebih lama daripada model bahasa. Dalam makalah tahun 2000 dalam IEEE Transactions on Systems, Man, and Cybernetics (dibuka dalam tab baharu)[1], Parasuraman, Sheridan dan Wickens mencadangkan bahawa automasi boleh digunakan pada "empat kelas fungsi yang luas": pemerolehan maklumat, analisis maklumat, pemilihan keputusan dan tindakan, serta pelaksanaan tindakan. Setiap satu boleh berada di mana-mana tahap daripada sepenuhnya manual hingga sepenuhnya automatik, dan penulis menyenaraikan kos akibat keputusan dan tindakan antara kriteria sekunder mereka untuk menilai reka bentuk. AI Risk Management Framework (dibuka dalam tab baharu)[2] NIST (versi 1.0, Januari 2023) menyatakan bahawa konfigurasi manusia-AI "boleh merangkumi daripada autonomi sepenuhnya hingga manual sepenuhnya", dan sesetengah sistem memerlukan pengawasan manusia manakala yang lain tidak.
Panduan membina ejen (dibuka dalam tab baharu)[3] OpenAI menawarkan panduan praktikal. Nilai setiap alat sebagai rendah, sederhana atau tinggi berdasarkan "akses baca sahaja berbanding akses tulis, kebolehbalikan, kebenaran akaun yang diperlukan dan kesan kewangan", kemudian berhenti untuk pemeriksaan atau rujuk kepada manusia sebelum fungsi berisiko tinggi dijalankan.
Mulakan dengan pencetus yang boleh dibaca oleh sesiapa sahaja dalam pasukan anda. "Stage kenalan berubah", "pelawat berhenti membalas" dan "setiap Isnin pada 9 pagi" boleh diperiksa dan dipersoalkan. Pencetus yang berfungsi apabila AI merasakan masanya sesuai menyembunyikan pertimbangan di dalam automasi.
Tindakan manakah yang boleh dijalankan secara automatik, memerlukan kelulusan dan kekal di tangan manusia?
Enam jenis tindakan merangkumi kebanyakan automasi perniagaan, disusun daripada yang paling mudah hingga paling sukar dibatalkan.
| Tindakan | Contoh | Bolehkah dibatalkan? | Lalai |
|---|---|---|---|
| Baca | Cari kenalan, kira siapa yang menunggu balasan, baca fail Drive | Tiada apa-apa berubah, walaupun akses kepada data peribadi masih perlu dihadkan | Berjalan secara automatik |
| Draf | Tulis balasan, ringkasan atau susulan untuk disemak seseorang | Ya: tiada apa-apa yang keluar sehingga seseorang menggunakannya | Berjalan secara automatik, kemudian disemak manusia |
| Hantar | Hantar mesej kepada kenalan atau senarai | Tidak: mesej yang dihantar tidak boleh ditarik balik | Memerlukan kelulusan. Automatik hanya untuk mesej khusus yang berisiko rendah dan telah anda pantau untuk suatu tempoh |
| Ubah rekod | Kemas kini rekod audiens, seperti sifat kenalan | Biasanya boleh, jika anda dapat melihat apa yang berubah. Perubahan peringkat juga boleh mencetuskan automasi lain | Automatik untuk medan berisiko rendah. Manusia perlu menyemaknya apabila perubahan mencetuskan mesej atau langkah lain |
| Belanjakan wang | Keluarkan bayaran balik, buat pesanan, bayar pembekal | Jarang sekali | Kekal di tangan manusia |
| Buat komitmen | Janjikan harga, tarikh penghantaran, bayaran balik atau diagnosis | Tidak: janji sudah wujud sebaik sahaja dibuat | Kekal di tangan manusia |
Draf ialah baris yang sering dilangkau oleh kebanyakan pasukan: AI melakukan bahagian yang mengambil masa sementara manusia membuat keputusan. Draf masih terdedah kepada bentuk kegagalan yang sama seperti dalam mengapa balasan AI tersilap, jadi semak sebelum dihantar. Dalam bidang terkawal seperti nasihat kewangan, jangkakan lebih banyak baris memerlukan manusia, dan dapatkan semakan pihak yang berkelayakan tentang pembahagian ini.
Ini ialah titik permulaan, bukan piawaian. Ubah kedudukan sesuatu baris hanya selepas anda membaca cukup banyak pelaksanaan untuk mengetahui apa yang berlaku apabila langkah itu tersilap.
Apakah maksud "kekalkan pertimbangan di tangan manusia" dalam amalan?
Prinsip Plandora merangkumi "Kekalkan pertimbangan di tangan manusia." dan "Automasi dengan tujuan." Prinsip kedua menambah bahawa "Tindakan harus mengikut keputusan yang jelas." Dalam amalan, keputusan dibuat sebelum automasi diwujudkan: anda memilih pencetus, alat yang boleh digunakan dan baris dalam jadual yang memerlukan manusia. Automasi kemudian melaksanakannya.
Kes yang menyimpang daripada skrip perlu diserahkan kepada manusia dalam peti masuk, topik yang dibincangkan dalam penyerahan kepada manusia untuk perbualan AI. Untuk gambaran lebih luas tentang cara Digital Mind menukar kepakaran kepada tindakan, lihat sistem operasi kepakaran.
Bagaimana Plandora Automations sesuai dengan rangka kerja ini?
Automation ialah ejen yang melakukan tugas apabila sesuatu peristiwa berlaku atau pada masa yang anda pilih. Pakar berbeza: Mind anda merujuknya semasa perbualan langsung, dan ia hanya melihat orang yang sedang diajak berbual. Automation boleh melihat seluruh audiens anda, contohnya untuk mencari atau mengira kenalan, dan jangkauan yang lebih luas itu menjadi sebab untuk memberinya kebenaran yang lebih terhad.
Automations mungkin tersedia melalui pelancaran berpandu atau layan diri, bergantung pada pelan dan pelancaran anda, jadi sahkan kemudahan dalam akaun anda sebelum membuat perancangan. Panduan Automations menerangkan penyediaannya seperti berikut:
- Anda memilih tepat satu pencetus: peristiwa (mesej baharu, tiada balasan, kenalan baharu, perubahan peringkat, fail, pesanan atau klik pautan) atau jadual dari setiap jam hingga setiap bulan.
- Anda menerangkan tugas dan memilih Draft with AI, memilih templat atau bermula dari awal. Automation baharu bermula dalam keadaan Off.
- Di bawah Context anda menulis Goal, Role & style dan Boundaries. Kemudian anda menulis langkah mengikut urutan, menaip @ untuk menambah maklumat atau menandakan pasukan anda dan / untuk menggunakan alat.
- Kad Tools menyenaraikan semua yang boleh digunakannya: Contacts, Inbox, Message, Team dan Store, serta integrasi yang boleh digunakan oleh ejen. Setiap satu ditetapkan kepada Read atau Read / Write, dan Message ialah Write kerana ia menghantar templat. Drive dan Social media sentiasa aktif, dan Web adalah pilihan.
- Runs menunjukkan apa yang dilakukan dalam setiap pelaksanaan, Improve mencadangkan perubahan yang anda terima atau tolak satu demi satu, dan suis di sebelah status menghentikan pelaksanaan seterusnya.
| Baris rangka kerja | Di mana ia muncul dalam Automation |
|---|---|
| Baca | Alat yang ditetapkan kepada Read |
| Draf | Langkah yang menyimpan hasil, atau mesej kepada anda, untuk disemak |
| Hantar | Message ialah alat Write. Untuk beberapa kenalan, pilih Send after approval atau Send automatically. Kelulusan muncul dalam Broadcasts |
| Ubah rekod | Alat yang ditetapkan kepada Read / Write |
| Belanjakan wang, buat komitmen | Boundaries, serta orang yang ditandakan untuk menerima kes tersebut |
Panduan ini menerangkan pilihan kelulusan untuk mesej kepada beberapa kenalan. Ia tidak menerangkan langkah kelulusan yang setara untuk perubahan rekod, jadi gunakan tetapan Read atau Read / Write dan semakan Runs anda sendiri, serta tanya pasukan tentang kemudahan tambahan dalam akaun anda.
Mengapa langkah kelulusan sahaja tidak mencukupi?
Orang cenderung mempercayai apa yang diberikan oleh sistem. Ulasan sistematik tahun 2012 (dibuka dalam tab baharu)[4] oleh Goddard, Roudsari dan Wyatt dalam Journal of the American Medical Informatics Association mentakrifkan bias automasi sebagai "kecenderungan untuk terlalu bergantung pada automasi". Dalam analisis gabungan kecil bagi empat kajian penjagaan kesihatan yang membandingkan kumpulan sokongan keputusan klinikal dengan kumpulan kawalan, nisbah risiko keputusan salah selepas nasihat yang salah ialah 1.26 (95% CI 1.11 hingga 1.44): kumpulan sokongan keputusan mengikuti nasihat salah lebih kerap daripada kumpulan kawalan. Kajian ini dijalankan dalam persekitaran klinikal, jadi anggap angka itu sebagai petunjuk arah, bukan ramalan untuk mesej pelanggan. Penulis menyenaraikan latihan dan penekanan pada akauntabiliti pengguna antara langkah mengurangkan risiko.
Oleh itu, senarai kelulusan yang diluluskan penyemak dengan sekadar mengklik hanyalah pengawasan pada nama. Tunjukkan kepada penyemak apa yang dilihat dan dilakukan oleh automasi, jadikan penolakan semudah kelulusan, periksa sampel item yang diluluskan untuk mencari kesilapan, dan namakan seorang yang bertanggungjawab. NIST meminta perkara terakhir ini dengan jelas. GOVERN 3.2 (dibuka dalam tab baharu)[2] menyatakan: "Dasar dan prosedur disediakan untuk mentakrif dan membezakan peranan dan tanggungjawab bagi konfigurasi manusia-AI dan pengawasan sistem AI."
EU AI Act memasukkan kebimbangan yang sama dalam undang-undang untuk satu kategori sistem. Artikel 14 (dibuka dalam tab baharu)[5] menghendaki sistem AI berisiko tinggi direka supaya manusia dapat mengawasinya dengan berkesan. Perkara 4(b) menyatakan bahawa penyelia harus dapat "terus menyedari kemungkinan kecenderungan untuk bergantung secara automatik atau berlebihan pada output". Artikel 14 hanya terpakai kepada sistem AI berisiko tinggi, dan halaman AI Act (dibuka dalam tab baharu)[6] European Commission menyatakan bahawa peraturan bagi kes penggunaan berisiko tinggi dalam bidang Annex III terpakai mulai 2 Disember 2027, tarikh yang ditetapkan oleh pindaan AI Omnibus yang berkuat kuasa pada 27 Julai 2026 (halaman terakhir dikemas kini pada 19 Oktober 2026). Sama ada sesuatu automasi dikira berisiko tinggi ialah pengelasan undang-undang, jadi tanya penasihat yang berkelayakan dan jangan membuat andaian.
Apakah yang perlu diperiksa sebelum anda mengaktifkan automasi?
- Tulis pencetus dan tugas tunggal masing-masing dalam satu ayat. Jika tugas memerlukan "dan", bahagikannya kepada dua Automation.
- Kelaskan setiap langkah menggunakan jadual. Apa-apa yang menghantar, membelanjakan atau menjanjikan sesuatu memerlukan kelulusan atau manusia.
- Berikan sesedikit mungkin alat. Entri Excessive Agency (dibuka dalam tab baharu)[7] OWASP untuk aplikasi LLM (2025) menyenaraikan fungsi, kebenaran dan autonomi yang berlebihan sebagai punca utama. Tetapkan alat kepada Read kecuali jika sesuatu langkah mesti menulis, dan biarkan Web dimatikan kecuali jika pengetahuan anda tidak dapat menjawab.
- Periksa sasaran. Jadual boleh merangkumi This Mind sahaja, setiap kenalan, satu peringkat atau satu kumpulan, dan jadual berdasarkan kenalan berjalan sekali bagi setiap kenalan yang sepadan, jadi kumpulan besar bermakna banyak pelaksanaan.
- Untuk mesej kepada beberapa kenalan, mulakan dengan Send after approval. Entri OWASP yang sama menasihatkan: "Gunakan kawalan manusia dalam proses untuk mewajibkan manusia meluluskan tindakan berimpak tinggi sebelum diambil."
- Tulis Boundaries, dan nyatakan apa yang perlu dilakukan apabila maklumat tiada dan bila perlu bertanya kepada manusia. Panduan Specialists memberikan nasihat itu, dan Automations menggunakan medan Context yang sama.
- Periksa peraturan persetujuan dan saluran. Jangkauan melalui WhatsApp mungkin memerlukan templat yang diluluskan, dan anda tetap bertanggungjawab terhadap notis, persetujuan, pilihan menarik diri dan jangkauan yang sah. Tanya penasihat yang berkelayakan tentang bidang kuasa anda.
- Jika anda boleh memilih sasaran, mulakan dengan kumpulan kecil. Tukar kepada On, baca Runs, gunakan Improve, kemudian luaskan sasaran. Suntingan yang sah terus aktif apabila disimpan, jadi tukar kepada Off semasa anda mengolah semula langkah-langkahnya.
- Namakan pemilik yang membaca Runs dan tahu lokasi suisnya.
Berapa kerap anda perlu menyemak automasi?
AI RMF NIST meminta supaya proses pengawasan manusia ditakrif, dinilai dan didokumenkan (MAP 3.5), tanpa menetapkan sela masa. Semak dengan lebih kerap apabila kos kesilapan lebih tinggi, dan dengan lebih kerap pada awalnya.
| Bila | Apa yang perlu diperiksa |
|---|---|
| Setiap hari pada minggu pertama | Baca setiap pelaksanaan dalam Runs dan bandingkan dengan niat anda. Betulkan Boundaries sebelum meluaskan sasaran |
| Setiap minggu pada bulan pertama | Semak sampel pelaksanaan, catat suntingan dan permintaan kelulusan yang ditolak, dan cari langkah yang tidak pernah berlaku atau berlaku terlalu kerap |
| Setiap bulan selepas itu | Periksa penerima dan jumlah, dan tanya sama ada mana-mana baris layak diberi lebih atau kurang autonomi |
| Selepas sebarang perubahan | Baca semula Runs selepas suntingan pada Playbook, Stages, Knowledge, templat atau integrasi. Perubahan Stage boleh mencetuskan automasi, dan memutuskan integrasi menjejaskan mana-mana automasi yang bergantung padanya |
| Setiap suku tahun | Nilai semula jadual, buang alat yang tidak digunakan, dan hentikan Automations yang tiada pemilik |
Soalan lazim
Pakar ialah pembantu yang dirujuk oleh Digital Mind anda semasa perbualan langsung, dan ia hanya melihat orang yang sedang diajak berbual. Automation berjalan berdasarkan satu peristiwa atau jadual, di luar perbualan, dan boleh melihat seluruh audiens anda. Gunakan pakar untuk bantuan ketika itu dan Automation untuk kerja susulan.
Dalam Plandora, mesej kepada beberapa kenalan boleh ditetapkan kepada Send after approval atau Send automatically. Panduan ini mencadangkan supaya anda bermula dengan kelulusan dan beralih kepada automatik hanya untuk mesej khusus yang berisiko rendah dan telah anda pantau untuk suatu tempoh. Ketersediaan bergantung pada pelan dan pelancaran anda, jadi sahkan apa yang disertakan dalam akaun anda.
Bias automasi ialah kecenderungan untuk terlalu bergantung pada automasi. Ulasan sistematik tahun 2012 dalam Journal of the American Medical Informatics Association mentakrifkannya begitu dan menyenaraikan latihan serta penekanan pada akauntabiliti pengguna antara langkah mengurangkan risiko. Dalam amalan, ia bermaksud seseorang meluluskan output AI tanpa benar-benar memeriksanya.
Tidak. Artikel 14 EU AI Act menetapkan keperluan pengawasan manusia untuk sistem AI berisiko tinggi, bukan setiap alat AI. European Commission menyatakan bahawa peraturan berisiko tinggi Annex III terpakai mulai 2 Disember 2027. Sama ada sesuatu automasi dikira berisiko tinggi ialah persoalan undang-undang untuk penasihat yang berkelayakan.
Tidak. NIST menyatakan bahawa sesetengah sistem AI mungkin tidak memerlukan pengawasan manusia, manakala yang lain memang memerlukannya. Memadankan pengawasan dengan akibat memastikan manusia mengendalikan penghantaran, perbelanjaan dan komitmen yang penting, serta membolehkan pembacaan dan penyediaan draf berjalan bebas. Kelulusan untuk segala-galanya cenderung menjadi tabiat sekadar mengklik.
Tidak semestinya. FAQ Plandora menyatakan bahawa Audience, Automations dan penyambung mungkin memerlukan penyediaan dan pengesahan aliran kerja, dan bahawa fungsi yang kelihatan dalam produk tidak patut dianggap sedia untuk penggunaan sebenar dalam akaun anda sehingga ketersediaannya disahkan. Tanya pasukan sebelum anda membuat perancangan.
Sumber
- A model for types and levels of human interaction with automationIEEE Transactions on Systems, Man, and Cybernetics, Part A (Parasuraman, Sheridan and Wickens, 2000) · Diakses (dibuka dalam tab baharu)
- Artificial Intelligence Risk Management Framework (AI RMF 1.0)National Institute of Standards and Technology · Diakses (dibuka dalam tab baharu)
- A practical guide to building agentsOpenAI · Diakses (dibuka dalam tab baharu)
- Automation bias: a systematic review of frequency, effect mediators, and mitigatorsJournal of the American Medical Informatics Association (Goddard, Roudsari and Wyatt, 2012) · Diakses (dibuka dalam tab baharu)
- Article 14: Human oversightEuropean Commission, AI Act Service Desk · Diakses (dibuka dalam tab baharu)
- AI Act: regulatory framework for AIEuropean Commission · Diakses (dibuka dalam tab baharu)
- LLM06:2025 Excessive AgencyOWASP Gen AI Security Project · Diakses (dibuka dalam tab baharu)