الإنسان في الحلقة لا يعني مراجعة كل قرار AI.
يمكن أن تكون المراجعة اليدوية مفيدة أثناء التقييم المبكر. تساعد فريق المنشأة على رؤية كيف يفكر النظام قبل أن تتوسع سلطة التحكم الحي.
لكنها لا ينبغي أن تكون الحالة النهائية لـ AI التشغيلي في المباني، خصوصاً عندما يتخذ النظام قرار تحكم جديداً كل 15 دقيقة.
لا يستطيع أي فريق منشأة أن يراجع بجدية كل قرار على مستوى الفترة، وهو يملك في الوقت نفسه الراحة وسلامة المعدات وشكاوى المستأجرين ونوافذ الصيانة والطوارئ.
يمكن أن يصبح الإنسان في الحلقة نقلاً للمسؤولية
نسخة ضعيفة من الإنسان في الحلقة تقول إن البرمجيات ستوصي بأفعال وسيقرر المشغّل ماذا يفعل. قد يبدو ذلك مسؤولاً، لكنه عملياً يمكن أن ينقل العبء الخطأ إلى فريق المبنى.
إذا اتخذ المنتج القرار وحمل المشغّل اللوم، فإن الحلقة لم تجعل التحكم أأمن. لقد أصبحت نقلاً للمسؤولية.
ذلك يحوّل المشغّل إلى طابور قرار لبرمجيات تدّعي تحسين المحطة.
هذا ليس نموذجاً جدياً لتحكم AI.
النموذج الأفضل أغلفة معتمدة لا موافقات لا تنتهي
ينبغي أن يكون دور الإنسان أعلى أثراً. يعرّف البشر المهمة، ويعتمدون غلاف التحكم، ويراقبون النظام ككل، ويتحدون السلوك السيئ، ويتجاوزون عند الحاجة، ويقبلون النتائج.
داخل ذلك الغلاف المعتمد، ينبغي أن يكون نظام AI والشركة التي تقف خلفه مسؤولين عن القرارات الجاري اتخاذها.
بالنسبة إلى ClimaMind، يعني ذلك أن إعادة ضبط ماء مبرّد كل 15 دقيقة، أو توصية ترتيب تشغيل، أو أي فعل تحكم إشرافي آخر، يجب أن يستند إلى استدلال ظاهر وحواجز وسجل تدقيق ومسار قياس.
ينبغي أن يكون كل قرار على مستوى الفترة قابلاً للتفسير
إذا غيّر متحكم إشرافي نقطة تعيين ماء مبرّد أو أوصى بفعل تحكم، ينبغي أن يستطيع النظام إظهار منطق التشغيل وراءه.
- لماذا اتُّخذ الفعل.
- أي قيد سمح به.
- أي حدود راحة ومعدات احترمت.
- أي نتيجة كانت متوقعة.
- ماذا حدث بعد ذلك.
- كيف تُقاس النتيجة.
الإشراف سلطة لا إنتاجية يدوية
الإشراف البشري ضروري. يُبقي السلطة لدى فريق المبنى، ويجعل حدود التحكم صريحة، ويعطي المشغّلين القدرة على إيقاف النظام وتدقيقه وتحسينه.
لكن الإشراف البشري لا ينبغي أن يطلب من المشغّل أن يصبح محرك القرار الآني للبرمجيات. إذا كان النظام موثوقاً بما يكفي ليتصرف كل 15 دقيقة، فعليه أن يكون قابلاً للمساءلة بما يكفي ليشرح كل فعل مدته 15 دقيقة.
ينبغي أن تأتي تلك المساءلة من قرارات محدودة، وقيود ظاهرة للمشغّل، وأفعال قابلة للرجوع، وأدلة تربط سلوك التحكم بنتائج مقاسة.
النموذج العملي استقلالية قابلة للمساءلة
الهدف ليس استقلالية الصندوق الأسود، ولا الموافقة اليدوية التي لا تنتهي.
ينبغي أن يملك فريق المبنى المهمة والقيود ومعيار القبول. وينبغي أن يملك النظام، والشركة التي تقف خلفه، القرارات المتخذة داخل ذلك الحد.
الاستقلالية القابلة للمساءلة داخل غلاف يعتمده المشغّل هي النموذج الذي يمكن أن يعمل في المباني التجارية.
ينبغي أن يعني الإنسان في الحلقة سلطة الإنسان. لا ينبغي أن يعني مراجعة الإنسان لكل قرار بسرعة الآلة.