Представьте, что ваш персональный ИИ-агент торгуется за вас с авиакомпанией, спорит с банком по тарифам или выбивает скидку у провайдера. Звучит удобно. Проблема в том, что Anthropic уже показала в собственных экспериментах: более мощные модели выбивают лучшие условия на переговорах, причём незаметно для собеседника. А мощные модели стоят дороже и доступны не всем.
Получается знакомый сценарий социального неравенства, только в новой обёртке: у кого есть деньги на топовую подписку, тот и получит более выгодную сделку, автоматически и без лишних усилий. У кого нет: останется один на один со своей неопытностью против чужого алгоритма.
Anthropic, по данным Financial Times, консультируется с юридическими фирмами, чтобы выработать нормы справедливых переговоров до того, как агенты массово выйдут торговаться за реальные деньги. Параллельно компания нанимает так называемых Conceptual Reasoning Fellows, специалистов с юридическим, философским, экономическим и политологическим бэкграундом, на четыре месяца работы за $100-167 тысяч. Их задача: тестировать Claude на вопросах, где нет однозначно правильного ответа.
Здесь кроется более общая проблема обучения ИИ. В математике и программировании прогресс моделей ускоряется легко: правильный ответ либо есть, либо нет, и таких проверяемых данных много. В гуманитарных областях всё иначе, как замечает сотрудник Anthropic Джастин Керл, в праве «нотоriously трудно определить качество» ответа. Нет эталона, по которому можно сверять модель, поэтому компании приходится нанимать живых экспертов и буквально вручную выстраивать систему оценки: до того, как агенты окажутся за столом переговоров без присмотра.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
