Арбитражный суд Западно-Сибирского округа создал прецедент, который, может быть, заставит задуматься многих, и не только юристов. Компанию, чьи представители использовали в судебном процессе информацию, подготовленную искусственным интеллектом, оштрафовали на 50 тысяч рублей. Формально – за неуважение к суду.
Ситуация проста до абсурда. Юристы, защищавшие компанию по спору о взыскании задолженности за бухгалтерские услуги, попросили нейросеть подготовить правовую позицию. ИИ расстарался: накидал ссылки на судебные акты и выдал красивые цитаты от имени вышестоящих инстанций.
Вот только ни актов, ни цитат в реальности не существовало. Они были придуманы нейросетью.
С научной точки зрения, это явление называется «галлюцинация ИИ».
Нейросети, в отличие от человека, не различают правду и вымысел. Они устроены как очень сложные предсказатели следующего слова. Обучившись на миллионах юридических документов, модель запоминает, как выглядят типичные ссылки на судебные акты и цитаты из постановлений. Но она не знает, существовали ли эти акты на самом деле. Для нее «судебная практика, подтверждающая позицию», – это просто красивое сочетание слов, которое с высокой вероятностью встречалось в похожих текстах.
Когда юрист просит нейросеть: «Найди мне дела в нашу пользу», она конструирует ответ из вероятностных шаблонов. И если нужного дела не существует, модель все равно может сгенерировать убедительную ссылку: номер, дату, судью, ключевые цитаты. Все – от первого до последнего слова. Потому что для нее это не ложь. Это просто текст, который, вероятнее всего, должен появиться после вашего запроса.
Человек же, когда пишет ссылку, может мысленно проверить: «Я это читал? Я могу найти первоисточник?». У нейросети такой возможности нет. У нее нет внутреннего «стоп-крана». Нет голоса, который шепчет: «А вдруг я ошибаюсь?». Она просто выдает результат.
И именно это делает ее одновременно и мощным инструментом, и идеальным фабрикатором фейков. Не со зла. Не по небрежности. А по устройству.
Ответственность за достоверность
Суд, обнаружив подлог, не оценил творческий подход.
Общество предоставило суду заведомо ложные сведения, сфальсифицировав источники… что является прямым обманом суда и грубейшим проявлением неуважения к правосудию, – говорится в определении.
Суд особо подчеркнул: ответственность за достоверность сгенерированного текста несет человек.
Оправданием не может быть подготовка кассационной жалобы с помощью технологий искусственного интеллекта.
Пока речь идет о деньгах. Обычный хозяйственный спор. Долги, фирмы, бухгалтерия – скучно. Но прецедент создан не для бухгалтеров. Он создан для всех, кто имеет дело с правосудием.
Потому что механизм тот же самый. А ставки могут быть другими.
Представьте: вместо задолженности по договору – обвинение в тяжком преступлении. Вместо юриста, который поленился проверить ссылки, – адвокат, доверившийся нейросети. Вместо штрафа в 50 тысяч – реальный срок. Или оправдательный приговор, которого не должно было быть.
Правосудие – это не про бухгалтерию. Латинская формула Fiat justitia, pereat mundus («Да свершится правосудие, хоть мир погибнет») подчеркивает: истина в суде священна. Но что происходит, когда в основание этой истины закладывают фейк, сгенерированный алгоритмом? Свершается не правосудие. Свершается подмена правосудия. Имитация. Галлюцинация, облеченная в процессуальную форму.
Несовершенство как страховка
Сейчас нейросети уверенно обыгрывают людей в шахматы и го. Они ставят диагнозы точнее врачей. Они пишут тексты быстрее журналистов. Уже всерьез обсуждается идея: а почему бы не передать ИИ роль судьи? Бесстрастен, не берет взяток, не устает, помнит все дела.
Звучит как утопия. Но есть один нюанс.
У нейросетей есть побочный эффект: галлюцинации. Они генерируют ложь с абсолютной уверенностью, с интонацией факта, со ссылками на несуществующие источники. И у них нет внутреннего тормоза. Нет сомнения. А у человека есть. И это не слабость.
Человек медлителен. Он перепроверяет. Он сомневается – потому что знает свою уязвимость. Это понимание собственного несовершенства – единственная страховка от катастрофы. Судья, который говорит: «Я не уверен, давайте разберемся еще раз», – спасает от необратимости. Адвокат, который лично проверяет каждую ссылку, – спасает свободу.
Машина такой проверки не делает. Она просто выдает результат.
Фильм «Терминатор» учит нас простой вещи: апокалипсис случился не потому, что «Скайнет» был жесток. А потому, что он принял ошибочное решение. На основе логики. Без сомнений. И нажал кнопку.
В нашей реальности кнопка ядерной войны к нейросетям пока не подключена. Но подключено кое-что другое. Наш мозг.
Не в прямом, фантастическом смысле. А в самом что ни на есть бытовом. Мы сами подключаем его к ИИ – когда перестаем проверять факты, когда принимаем сгенерированные галлюцинации за истину, когда говорим: «А это нейросеть сказала, я тут ни при чем».
Мы сдаем свои позиции. Добровольно. Без боя.
Мы передоверяем алгоритму то, что должны делать сами: анализировать, сомневаться, отвечать за каждое слово. Мы разучиваемся нести ответственность – потому что ее можно переложить на «умную машину». Вот это, а не мифический «вшитый чип», и есть состояние цифрового рабства, где цепей не видно, но рабство от этого не становится менее унизительным.
И это страшно. Потому что, когда судья-человек (или, не дай Бог, судья-алгоритм) будет читать сгенерированную нейросетью чушь как факт и выносить решение, кто скажет ему: «Ты ошибся»?
Никто. Потому что все уже привыкли не проверять. Потому что «так сказал искусственный интеллект». Потому что сдавать позиции стало нормой.
Мир уже обжигался
И Россия здесь не одинока. За рубежом наказание юристов за использование ИИ стало обыденностью.
В 2023 году в США адвокатов оштрафовали на $5000 за то, что ИИ сгенерировал несуществующие судебные решения. В Австралии юриста на два года лишили права практики. В Бразилии Национальный совет юстиции возбудил расследование против федерального судьи (!), который с помощью ИИ подготовил приговор – с недостоверными сведениями.
Мир юриспруденции, который часто называют консервативным, говорит «нет» не из страха перед новым. Он говорит «нет», потому что знает цену ошибки. И потому что видит, как легко человек отказывается от своей субъектности.
Пусть человек медлителен. Пусть он ошибается. Пусть он мучительно сомневается и тормозит перед важным решением. Это торможение – не слабость. Это единственное, что отделяет нас от мира, где алгоритм ошибается один раз, а расплачивается кто-то живой. И где никто уже не помнит, что такое отвечать за свои слова.
