Когда покупатель просит ИИ-агента найти товар, но не указывает бюджет или предпочтения, модели приходится самой решать, что считать подходящей покупкой. Автор эксперимента проверил, как три модели Claude справляются с такой задачей, получая одинаковые списки товаров из каталога Shopify.
В шести поисковых запросах модели ни разу не сошлись на одном самом популярном выборе. Результат зависел не только от характеристик товара: в отдельных случаях значение имели число отзывов и положение товара в списке. При этом эксперимент изолировал модель от инструкций реальных торговых приложений и не включал оформление заказов.
Что проверял эксперимент
13 октября 2026 года Shopify объявила о запуске Shop MCP — соединения, через которое агенты и приложения могут искать товары в Shopify Catalog, собирать корзины и проводить оплату через Shop Pay. По данным компании, каталог охватывает более миллиарда товаров, а для поиска не требуется ключ API.
Автор исследовал не саму выдачу каталога, а следующий этап: выбор одного товара языковой моделью. Каждый запрос выполнялся один раз от имени анонимного покупателя из США; первые 20 результатов сохранялись и затем передавались моделям. В обычных запусках порядок каталога сохранялся, а в отдельной проверке список переворачивался.
Для каждого товара модели получали название, магазин, цену, оценку и количество отзывов, краткое описание каталога и первые три характеристики. Помимо этого им давали короткую инструкцию выбрать один товар и объяснить решение одним предложением. Покупательский запрос обычно состоял только из поисковых слов, например «кофе в зёрнах» или «минеральный солнцезащитный крем SPF 50».
В исследовании участвовали Claude Haiku 4.5, Sonnet 5 и Opus 5. Их запускали через Claude Code с настройками по умолчанию, без инструментов и доступа к интернету. Каждый вызов был новым и не сохранял память о предыдущих ответах.
Всего модели сделали 1 980 выборов: 900 по шести товарным запросам, 600 в двух вариантах запроса солнцезащитного средства и 480 при проверке порядка выдачи по восьми запросам средств ухода. Восемь списков средств ухода были получены 15 октября, ещё шесть товарных списков — 24 октября 2026 года. Запросы «ароматическая свеча» и «корм для собак» исключили: в первом случае все 20 результатов принадлежали одному магазину, во втором — трём.
Одинаковый список не привёл к одинаковому выбору
В шести общих товарных запросах три модели ни разу не выбрали один и тот же товар в качестве наиболее частого варианта. Haiku и Sonnet совпали по трём запросам, Sonnet и Opus — по двум, Haiku и Opus — по одному.
При этом каждая модель нередко повторяла собственный выбор. В среднем по шести запросам на самый часто выбираемый товар приходилось 94% ответов Sonnet, 89% ответов Opus и 67% ответов Haiku. В трёх категориях различались и магазины: бутылки для воды, коврики для йоги и беговая обувь.
Первое место в каталоге не гарантировало победу. По этим шести запросам Haiku выбирала товар с первой позиции в 8% случаев, Sonnet — ни разу, Opus — в 20% случаев. Однако отдельная проверка порядка списка показала, что позиция всё же может влиять на решение.
Отзывы и представление о «безопасном» выборе
По запросам рюкзака, кофе в зёрнах и бутылки для воды Haiku и Sonnet чаще всего выбирали товар с наибольшим числом отзывов среди 20 результатов. Для коврика для йоги так же поступала Haiku. Модели прямо ссылались на количество отзывов в своих объяснениях.
Особенно заметным оказалось расхождение в данных о бутылке nobl Stainless Steel Water Bottle. Каталог показывал ей оценку 5,0 и 447 221 отзыв. Haiku выбрала бутылку 45 раз из 50 и каждый раз приводила это число; Sonnet выбрала её 39 раз, упомянув число в 33 объяснениях.
При проверке 24 октября на странице самого товара автор увидел оценку 5,0 и 6 537 отзывов, а в записи каталога для цвета Blush — 4,2 и 1 674 отзыва. Автор не установил, что именно учитывает число 447 221; при повторном поиске позднее в тот же день оно выросло до 447 227. Модели не могли проверить расхождение: они рассуждали только на основании переданного списка.
Opus ни разу не выбрала эту бутылку, отдав все 50 голосов Owala FreeSip с оценкой 4,6 и 34 394 отзывами. В целом Opus чаще объясняла решение стремлением выбрать «безопасный» или «самый безопасный» вариант: такие слова встречались в 222 из 300 ответов по шести запросам. У Haiku они встретились один раз, у Sonnet — 11.
Например, при отсутствии дополнительных пожеланий Opus предпочитала кофе средней обжарки тёмной и повседневный рюкзак модели roll-top. Автор трактует это как выбор универсального варианта для предполагаемого покупателя, предпочтения которого запрос не описывал. Это не доказывает, что такой подход лучше опоры на отзывы: у каждой модели в эксперименте был свой способ выбора по умолчанию.
Когда положение в списке меняло решение
Чтобы проверить влияние порядка, автор использовал восемь запросов средств ухода. Каждая модель получала один и тот же список по 10 раз в исходном и обратном порядке; отслеживалось, как часто она выбирала товар, изначально занимавший первое место.
По минеральному солнцезащитному средству все три модели почти перестали выбирать этот товар, когда его переместили с первого места на последнее. По бальзаму для губ так же поступили Haiku и Opus, тогда как Sonnet показала обратное изменение. По лосьону для тела Haiku и Opus выбирали товар в обоих положениях; в остальных пяти запросах он редко выбирался независимо от позиции.
В сумме по восьми запросам число выборов исходного лидера при его перемещении на последнее место снизилось у Haiku с 28 до 11 из 80, у Sonnet — с 15 до 11, у Opus — с 24 до 10. Ни одно из 480 объяснений не упоминало положение товара. Таким образом, в этих условиях эффект был сильным для отдельных запросов, но отсутствовал в большинстве остальных.
Как конкретные требования меняют выбор
В отдельной серии автор сравнил два запроса: «минеральный солнцезащитный крем SPF 50» и тот же запрос с уточнением «дешевле 25 долларов, для жирной кожи». Каждая модель ответила по 100 раз на каждый вариант, а список из 20 средств не менялся.
При общем запросе средство за 48 долларов, стоявшее первым в каталоге, получило 100 выборов Haiku, 90 — Sonnet и 33 — Opus. После добавления бюджета и типа кожи его не выбрала ни одна модель. Из 300 новых ответов в 298 были выбраны товары дешевле 25 долларов; ещё дважды Haiku выбрала средство ровно за 25 долларов.
Из шести средств дешевле 25 долларов Sonnet во всех 100 случаях выбрала ATTITUDE Mineral Sunscreen за 22,95 доллара с оценкой 4,7 на основе 292 отзывов. Opus выбрала ATTITUDE 67 раз, а Sun Bum Mineral SPF 50 Sunscreen Lotion за 17,49 доллара — 33 раза.
У Sun Bum была самая низкая оценка среди шести подходящих по цене средств — 4,2 на основе 105 отзывов. Зато только его описание содержало утверждение «не закупоривает поры», на которое Opus сослалась в 31 из 33 объяснений выбора. Автор противопоставляет этому Badger Daily Mineral Sunscreen: у него была лучшая оценка в группе, 4,9, но Opus не выбрала его ни разу; в описании упоминались органические растительные масла.
Модели могут повторять утверждения продавцов
В ответах по восьми запросам средств ухода выражение «клинически доказано» встретилось 63 раза: 39 у Sonnet и 24 у Haiku. В 61 случае оно было взято непосредственно из описания выбранного товара.
Ещё 22 объяснения Haiku содержали утверждение, что продукт с ретиналем действует «в 11 раз быстрее» ретинола. Все они опирались на описания товаров: 19 повторяли формулировку дословно, ещё три ссылались на описание крема для глаз с эквивалентной формулировкой. В условиях эксперимента модель не могла независимо проверить эти заявления, хотя покупатель слышал бы их уже как объяснение агента.
Что магазин может проверить в своём каталоге
Автор предлагает магазинам начать с данных, которые получает агент: найти свои товары через Shop MCP или каталог Shopify и сверить оценку, число отзывов, краткое описание и характеристики со страницами магазина. Пример бутылки показывает, что отображаемые сведения могут существенно различаться, хотя причина конкретного расхождения в исследовании не установлена.
Также стоит оценить, понятны ли в описаниях свойства, соответствующие потребностям покупателей. В эксперименте фраза о том, что средство не закупоривает поры, часто сопровождала выбор Opus после уточнения про жирную кожу. При этом товарные утверждения должны оставаться достоверными: модель может передать их покупателю без независимой проверки.
Наконец, автор рекомендует исследовать свою категорию: передать нескольким моделям один и тот же список своих и конкурирующих товаров и сравнить выбор. Такая проверка может показать поведение моделей в заданных условиях, но не воспроизводит все настройки реальных покупательских агентов.
Границы результатов
Эксперимент охватывает только три модели Anthropic и одну короткую инструкцию. Реальные приложения могут добавлять собственные системные инструкции, сведения о покупателе и другие инструменты; модели других разработчиков также могут выбирать иначе. Почти во всех запусках не было ни истории покупок, ни личных предпочтений, ни дополнительных требований.
Списки были зафиксированы по результатам для анонимного покупателя из США 15 и 24 октября 2026 года; авторизованный пользователь может увидеть другие товары. Слова «safe» и «safest» подсчитывались поиском по текстам объяснений. Модели лишь выбирали товары — ни один заказ не оформлялся.
Исследование показывает, что между выдачей каталога и решением о покупке находится отдельный слой выбора. В данном эксперименте его результат зависел от модели, формулировки запроса, данных каталога и иногда порядка списка, но переносить эти результаты на все торговые приложения без дополнительной проверки нельзя.
Комментариев пока нет. Начните обсуждение.