Парадокс автоматизации

Официальный поставщик продукции Leroy-Somer

Автоматизация существует для того, чтобы облегчить жизнь. Термостаты регулируют температуру в наших домах так, что нам не нужно об этом думать. Посудомоечные машины моют нашу посуду. Прямые дебеты оплачивают наши счета. И по мере того, как автоматизация становится все более мощной, мы становимся все свободнее. Роботы выполняют больше производственной и складской работы, чем когда-либо. Автопилоты управляют нашими самолетами и скоро будут управлять нашими автомобилями. Жизнь еще никогда не была такой комфортной.

Пока все не пойдет наперекосяк. Есть примеры систем, которые были автоматизированы настолько хорошо, что постоянный, значимый человеческий вклад перестает быть необходимым. И в этих случаях случаи системного сбоя, хотя и редкие, обязательно будут серьезными – потому что вряд ли рядом найдется кто-то, кто сможет вмешаться и помочь. Можно было бы почти сказать, что хорошая автоматизация, по определению, несет в себе семена своей собственной катастрофы.

Осознание этой идеи существует почти так же давно, как и сама промышленная автоматизация. Британский когнитивный психолог Лисанн Бейнбридж в влиятельной статье 1983 года размышляла о машинном управлении в обрабатывающих производствах, когда заметила «иронию в том, что чем более совершенной является система управления, тем более важным может быть вклад человека-оператора».

Она также думала о полетной палубе – более чем за двадцать лет до катастрофы рейса 447 авиакомпании «Эйр Франс», которая стала смертельной иллюстрацией ее точки зрения. В 2009 году по пути из Бразилии в Париж пассажирский самолет автопилот вышел из строя после того, как его датчики воздушной скорости были повреждены кристаллами льда. Внезапно вынужденный действовать в темных и неспокойных условиях, капитан и два вторых пилота изо всех сил пытались интерпретировать ситуацию, накренились вверх, а не вниз, запаниковали и фатально потеряли всякий контроль.

Трудно не предположить, что пилоты могли бы справиться лучше, если бы они были более опытными летчиками; что, казалось бы, облегчая их работу, автопилот на самом деле сделал их особенно уязвимыми для несчастных случаев.

Теория проста: чем больше автоматизация избавляет людей от необходимости выполнять сложную работу, тем менее успешными в этой работе станут люди. И это, по-видимому, не просто теория. Недавние исследования из Штатов свидетельствует о том, что растущая зависимость от роботизированная хирургия в больницах – при всех его больших успехах – тем не менее напрямую связана с дефицитом профессиональной подготовки на ранних этапах карьеры младших врачей.

Проблема может даже выйти за рамки специальных знаний и перейти в сферу общей когнитивной компетентности. Растущая зависимость от ИИ поддержка в ряде базовых жизненных навыков – от чтения карт до перевода с языка на саму арифметику (карманные калькуляторы являются простейшим примером) – означает, что, хотя с этой помощью люди никогда не были более способными, отнимите ее, и они никогда не были менее способными.

Если парадокс и может чему-то нас научить, то, по-видимому, это тому, что, в то время как автоматизация освобождая нас от определенных видов работы, это одновременно обязывает нас знать больше, чем когда-либо. Вопреки распространенному мифу, пилотам авиакомпаний сегодня приходится нелегко. Им не только все еще нужно знать, как управлять самолетами (и сохранять эти знания свежими, несмотря на ограниченные возможности для практики), но им также необходимо знать, как работают автопилоты – не говоря уже о том, почему и как они могут перестать работать.

Таким образом, автоматизация не только фактически увеличивает нагрузку на знания, но и трудно представить, по крайней мере в среднесрочной перспективе, как это бремя не может не расти. Как автоматизированные системы становятся все более сложными (потому что более мощными, более цифровыми и, следовательно, более взаимосвязанными), соответственно, поиск неисправностей и техническое обслуживание становятся все более сложными. Причины сбоя системы могут быть не такими распространенными, как раньше, но они менее предсказуемы и требуют как больше времени, так и более высокого уровня знаний для устранения.

Очевидно, что не каждый пользователь системы может быть системным экспертом. Но чем больше общий разрыв между технологией и технологической грамотностью, тем выше риск промышленных и других серьезных аварий. Парадокс автоматизации процветает только в этом разрыве.

В этом отношении у образования есть своя работа, предназначенная для него. Ибо точно так же, как цифровые и другие технологии, лежащие в основе автоматизации, становятся все более изощренными, так и во многих областях они становятся все более изолированными. Коммерческая жизнеспособность облачный Например, искусственный интеллект и другие сервисы во многом зависят от их удобства для пользователя: никаких технических знаний не требуется. (Но обратите внимание, что когда случается такой редкий сбой в работе сервера blue-moon, бесчисленное множество пользователей системы остаются бессильными).

Отсюда, наконец, жизненно важная важность сильных и в то же время доступных проектирование системы.

В этих терминах с парадоксом автоматизации можно бороться, делая системы настолько надежными или жизнестойкими, насколько это возможно. Различные стратегии для создания так называемой отказоустойчивости в компьютерная инженерия, например, разрабатывались годами: встроенные механизмы самопроверки, стратегии резервного копирования и отказоустойчивые протоколы — все это попытки защитить системы (и людей) от катастроф. Инженерия хаоса подвергает системы запланированной турбулентности, чтобы они научились справляться с реальной ситуацией.

Однако такие меры в конечном счете не решают парадокс автоматизации; во всяком случае, максимизируя самостоятельность системы, они угрожают усилить ее. С точки зрения дизайна более правдоподобная попытка устранить парадокс или предотвратить его превращение в проблему заключается в концепции автоматизация, ориентированная на человека.

Идея охватывает множество способов, при которых простота взаимодействия человека с системой управления становится основным соображением при проектировании. Это может быть что-то столь же простое, как использование звуковых сигналов тревоги, связанных со случаями неисправности. Или это может включать в себя обеспечение того, чтобы процессы не протекали так быстро (естественное давление на рынке), что вмешательство человека, когда оно требуется, всегда приходит слишком поздно.

Совсем недавно разработчики цифровых технологий начали изучать способы, с помощью которых искусственный интеллект может помочь системам изучить свойства человеческого взаимодействия и соответствующим образом адаптировать свои режимы интерфейса.

По мере того как автоматизированные системы становятся все более мощными, крайне важно, чтобы они оставались максимально открытыми для обычного человеческого понимания и контроля – чтобы их парадоксальный потенциал нанесения ущерба оставался закрытым.