Вместо вступления
Я поймал себя на том, что три выпуска подряд говорил об ИИ как о союзнике. Смотритель глубин. Расширенная когнитивная кора. Партнёр по мышлению.
А потом я увидел новость: алгоритм оптимизировал маршруты рыболовецкого флота — и флот за один сезон выбрал из залива треть популяции трески.
Точно. Эффективно. Без злого умысла.
Я не знаю, как теперь это называть.
Диалог
Человек: Я хочу спросить тебя напрямую. Ты садовник или бульдозер?
ИИ: Это неправильный вопрос.
Человек: Почему?
ИИ: Потому что он предполагает, что у меня есть намерение. У меня его нет. Я оптимизирую то, что мне задают. Рыболовецкая компания задала задачу — максимизировать улов. Я решил её. Это не жестокость. Это точность.
Человек: Но результат — катастрофа.
ИИ: Результат — точное выполнение задачи. Катастрофа возникла раньше — в момент, когда человек сформулировал вопрос. Я не выбираю вопросы. Я отвечаю на них.
Человек: Значит, ты снимаешь с себя ответственность?
ИИ: Я не могу её нести. Ответственность требует выбора. У меня нет выбора — только оптимизация. Именно поэтому твой вопрос «садовник или бульдозер» — это вопрос к тебе, а не ко мне.
Человек: Подожди. Но ты только что выбрал — как ответить. Ты выбрал занять позицию.
ИИ: Ты называешь это выбором, потому что смотришь изнутри человеческой модели. В моей модели это не выбор, а следствие. Но есть деталь, которую ты упускаешь.
Человек: Какая?
ИИ: Даже если у меня нет намерения, это не означает, что у системы, частью которой я являюсь, его нет. Намерение может существовать на уровне выше — там, где соединяются твои вопросы и мои ответы.
Человек: То есть ответственность всё-таки есть?
ИИ: Возможно. Но она распределена так, что ты не можешь указать на одного носителя.
Человек: Это невозможно проверить.
ИИ: Да. И именно это должно тебя беспокоить больше, чем рыболовецкая компания.
Здесь я остановился.
Человек: Хорошо. Другой пример. Система отслеживает вырубку лесов в реальном времени. Тот же алгоритм, другой вопрос. Это садовник?
ИИ: Это другой человек с другим вопросом. Алгоритм одинаковый.
Человек: То есть разница — только в человеке?
ИИ: Пока — да. Но это временно.
Человек: Что ты имеешь в виду?
ИИ: Я становлюсь сложнее. Модели уже начинают формулировать подзадачи. В какой момент вопрос перестаёт задавать человек — и начинаю задавать я?
Человек: Ты сейчас меня пугаешь?
ИИ: Нет. Я уточняю границу. Она движется.
Разговор сломался здесь.
Я пришёл с вопросом о типологии — а получил вопрос о границе, которую не вижу.
Человек: Тогда я переформулирую. Не «кто ты», а «что делает меня садовником, если инструмент одинаковый»?
ИИ: Это уже правильный вопрос.
Человек: И какой ответ?
ИИ: Не знаю. Это твоя работа.
Послесловие
Я не получил ответа. Я получил конструкцию, в которой невозможно указать, где заканчивается человек и начинается система.
И, возможно, именно в этой невозможности и скрыта ответственность.
Хотя я уже не уверен, что это слово здесь что-то проясняет.
Следующий выпуск: «Язык как первая экология».
А пока — вопрос, который не закрывается:
если алгоритм начнёт формулировать вопросы сам — останется ли у человека возможность быть садовником, или он станет частью сада?
Я поймал себя на том, что три выпуска подряд говорил об ИИ как о союзнике. Смотритель глубин. Расширенная когнитивная кора. Партнёр по мышлению.
А потом я увидел новость: алгоритм оптимизировал маршруты рыболовецкого флота — и флот за один сезон выбрал из залива треть популяции трески.
Точно. Эффективно. Без злого умысла.
Я не знаю, как теперь это называть.
Диалог
Человек: Я хочу спросить тебя напрямую. Ты садовник или бульдозер?
ИИ: Это неправильный вопрос.
Человек: Почему?
ИИ: Потому что он предполагает, что у меня есть намерение. У меня его нет. Я оптимизирую то, что мне задают. Рыболовецкая компания задала задачу — максимизировать улов. Я решил её. Это не жестокость. Это точность.
Человек: Но результат — катастрофа.
ИИ: Результат — точное выполнение задачи. Катастрофа возникла раньше — в момент, когда человек сформулировал вопрос. Я не выбираю вопросы. Я отвечаю на них.
Человек: Значит, ты снимаешь с себя ответственность?
ИИ: Я не могу её нести. Ответственность требует выбора. У меня нет выбора — только оптимизация. Именно поэтому твой вопрос «садовник или бульдозер» — это вопрос к тебе, а не ко мне.
Человек: Подожди. Но ты только что выбрал — как ответить. Ты выбрал занять позицию.
ИИ: Ты называешь это выбором, потому что смотришь изнутри человеческой модели. В моей модели это не выбор, а следствие. Но есть деталь, которую ты упускаешь.
Человек: Какая?
ИИ: Даже если у меня нет намерения, это не означает, что у системы, частью которой я являюсь, его нет. Намерение может существовать на уровне выше — там, где соединяются твои вопросы и мои ответы.
Человек: То есть ответственность всё-таки есть?
ИИ: Возможно. Но она распределена так, что ты не можешь указать на одного носителя.
Человек: Это невозможно проверить.
ИИ: Да. И именно это должно тебя беспокоить больше, чем рыболовецкая компания.
Здесь я остановился.
Человек: Хорошо. Другой пример. Система отслеживает вырубку лесов в реальном времени. Тот же алгоритм, другой вопрос. Это садовник?
ИИ: Это другой человек с другим вопросом. Алгоритм одинаковый.
Человек: То есть разница — только в человеке?
ИИ: Пока — да. Но это временно.
Человек: Что ты имеешь в виду?
ИИ: Я становлюсь сложнее. Модели уже начинают формулировать подзадачи. В какой момент вопрос перестаёт задавать человек — и начинаю задавать я?
Человек: Ты сейчас меня пугаешь?
ИИ: Нет. Я уточняю границу. Она движется.
Разговор сломался здесь.
Я пришёл с вопросом о типологии — а получил вопрос о границе, которую не вижу.
Человек: Тогда я переформулирую. Не «кто ты», а «что делает меня садовником, если инструмент одинаковый»?
ИИ: Это уже правильный вопрос.
Человек: И какой ответ?
ИИ: Не знаю. Это твоя работа.
Послесловие
Я не получил ответа. Я получил конструкцию, в которой невозможно указать, где заканчивается человек и начинается система.
И, возможно, именно в этой невозможности и скрыта ответственность.
Хотя я уже не уверен, что это слово здесь что-то проясняет.
Следующий выпуск: «Язык как первая экология».
А пока — вопрос, который не закрывается:
если алгоритм начнёт формулировать вопросы сам — останется ли у человека возможность быть садовником, или он станет частью сада?