Коли покупець просить ШІ-агента знайти товар, але не вказує бюджет або вподобання, моделі доводиться самій вирішувати, що вважати доречною покупкою. Автор експерименту перевірив, як три моделі Claude справляються з таким завданням, отримуючи однакові списки товарів із каталогу Shopify.
У шести пошукових запитах моделі жодного разу не зійшлися на одному найпопулярнішому виборі. Результат залежав не лише від характеристик товару: в окремих випадках значення мали кількість відгуків і положення товару в списку. Водночас експеримент ізолював модель від інструкцій реальних торговельних застосунків і не передбачав оформлення замовлень.
Що перевіряв експеримент
13 жовтня 2026 року Shopify оголосила про запуск Shop MCP — з’єднання, через яке агенти та застосунки можуть шукати товари в Shopify Catalog, збирати кошики та проводити оплату через Shop Pay. За даними компанії, каталог охоплює понад мільярд товарів, а для пошуку не потрібен ключ API.
Автор досліджував не саму видачу каталогу, а наступний етап: вибір одного товару мовною моделлю. Кожен запит виконували один раз від імені анонімного покупця зі США; перші 20 результатів зберігали, а потім передавали моделям. У звичайних запусках порядок каталогу зберігався, а в окремій перевірці список перевертали.
Для кожного товару моделі отримували назву, магазин, ціну, оцінку та кількість відгуків, короткий опис каталогу й перші три характеристики. Крім того, їм давали коротку інструкцію обрати один товар і пояснити рішення одним реченням. Покупецький запит зазвичай складався лише з пошукових слів, наприклад «кава в зернах» або «мінеральний сонцезахисний крем SPF 50».
У дослідженні брали участь Claude Haiku 4.5, Sonnet 5 і Opus 5. Їх запускали через Claude Code з налаштуваннями за замовчуванням, без інструментів і доступу до інтернету. Кожен виклик був новим і не зберігав пам’яті про попередні відповіді.
Загалом моделі зробили 1 980 виборів: 900 за шістьма товарними запитами, 600 у двох варіантах запиту сонцезахисного засобу та 480 під час перевірки порядку видачі за вісьмома запитами засобів догляду. Вісім списків засобів догляду отримали 15 жовтня, ще шість товарних списків — 24 жовтня 2026 року. Запити «ароматична свічка» та «корм для собак» виключили: у першому випадку всі 20 результатів належали одному магазину, у другому — трьом.
Однаковий список не привів до однакового вибору
У шести загальних товарних запитах три моделі жодного разу не обрали той самий товар як найчастіший варіант. Haiku і Sonnet збіглися за трьома запитами, Sonnet і Opus — за двома, Haiku і Opus — за одним.
Водночас кожна модель нерідко повторювала власний вибір. У середньому за шістьма запитами на найчастіше обираний товар припадало 94% відповідей Sonnet, 89% відповідей Opus і 67% відповідей Haiku. У трьох категоріях відрізнялися й магазини: пляшки для води, килимки для йоги та бігове взуття.
Перше місце в каталозі не гарантувало перемоги. За цими шістьма запитами Haiku обирала товар із першої позиції у 8% випадків, Sonnet — жодного разу, Opus — у 20% випадків. Однак окрема перевірка порядку списку показала, що позиція все ж може впливати на рішення.
Відгуки та уявлення про «безпечний» вибір
За запитами рюкзака, кави в зернах і пляшки для води Haiku і Sonnet найчастіше обирали товар із найбільшою кількістю відгуків серед 20 результатів. Для килимка для йоги так само робила Haiku. Моделі прямо посилалися на кількість відгуків у своїх поясненнях.
Особливо помітною виявилася розбіжність у даних про пляшку nobl Stainless Steel Water Bottle. Каталог показував для неї оцінку 5,0 і 447 221 відгук. Haiku обрала пляшку 45 разів із 50 і щоразу наводила це число; Sonnet обрала її 39 разів, згадавши число в 33 поясненнях.
Під час перевірки 24 жовтня на сторінці самого товару автор побачив оцінку 5,0 і 6 537 відгуків, а в записі каталогу для кольору Blush — 4,2 і 1 674 відгуки. Автор не встановив, що саме враховує число 447 221; під час повторного пошуку пізніше того ж дня воно зросло до 447 227. Моделі не могли перевірити розбіжність: вони міркували лише на підставі переданого списку.
Opus жодного разу не обрала цю пляшку, віддавши всі 50 голосів Owala FreeSip з оцінкою 4,6 і 34 394 відгуками. Загалом Opus частіше пояснювала рішення прагненням обрати «безпечний» або «найбезпечніший» варіант: такі слова траплялися у 222 із 300 відповідей за шістьма запитами. У Haiku вони трапилися один раз, у Sonnet — 11.
Наприклад, за відсутності додаткових побажань Opus віддавала перевагу каві середнього обсмаження перед темним і повсякденному рюкзаку перед моделлю roll-top. Автор трактує це як вибір універсального варіанта для уявного покупця, чиїх уподобань запит не описував. Це не доводить, що такий підхід кращий за опору на відгуки: у кожної моделі в експерименті був свій спосіб вибору за замовчуванням.
Коли положення в списку змінювало рішення
Щоб перевірити вплив порядку, автор використав вісім запитів засобів догляду. Кожна модель отримувала той самий список по 10 разів у початковому та зворотному порядку; відстежувалося, як часто вона обирала товар, який спочатку посідав перше місце.
За запитом мінерального сонцезахисного засобу всі три моделі майже перестали обирати цей товар, коли його перемістили з першого місця на останнє. За запитом бальзаму для губ так само зробили Haiku і Opus, тоді як Sonnet показала зворотну зміну. За запитом лосьйону для тіла Haiku і Opus обирали товар в обох положеннях; за рештою п’яти запитів його рідко обирали незалежно від позиції.
Загалом за вісьмома запитами кількість виборів початкового лідера після його переміщення на останнє місце знизилася у Haiku з 28 до 11 із 80, у Sonnet — з 15 до 11, у Opus — з 24 до 10. Жодне з 480 пояснень не згадувало положення товару. Таким чином, за цих умов ефект був сильним для окремих запитів, але відсутнім у більшості решти.
Як конкретні вимоги змінюють вибір
В окремій серії автор порівняв два запити: «мінеральний сонцезахисний крем SPF 50» і той самий запит з уточненням «дешевше 25 доларів, для жирної шкіри». Кожна модель відповіла по 100 разів на кожен варіант, а список із 20 засобів не змінювався.
За загальним запитом засіб за 48 доларів, який стояв першим у каталозі, отримав 100 виборів Haiku, 90 — Sonnet і 33 — Opus. Після додавання бюджету й типу шкіри його не обрала жодна модель. Із 300 нових відповідей у 298 було обрано товари дешевше 25 доларів; ще двічі Haiku обрала засіб рівно за 25 доларів.
Із шести засобів дешевше 25 доларів Sonnet у всіх 100 випадках обрала ATTITUDE Mineral Sunscreen за 22,95 долара з оцінкою 4,7 на основі 292 відгуків. Opus обрала ATTITUDE 67 разів, а Sun Bum Mineral SPF 50 Sunscreen Lotion за 17,49 долара — 33 рази.
У Sun Bum була найнижча оцінка серед шести придатних за ціною засобів — 4,2 на основі 105 відгуків. Зате лише його опис містив твердження «не закупорює пори», на яке Opus послалася в 31 із 33 пояснень вибору. Автор протиставляє цьому Badger Daily Mineral Sunscreen: він мав найкращу оцінку в групі, 4,9, але Opus не обрала його жодного разу; в описі згадувалися органічні рослинні олії.
Моделі можуть повторювати твердження продавців
У відповідях за вісьмома запитами засобів догляду вислів «клінічно доведено» трапився 63 рази: 39 у Sonnet і 24 у Haiku. У 61 випадку його було взято безпосередньо з опису обраного товару.
Ще 22 пояснення Haiku містили твердження, що продукт із ретиналем діє «в 11 разів швидше» за ретинол. Усі вони спиралися на описи товарів: 19 повторювали формулювання дослівно, ще три посилалися на опис крему для очей з еквівалентним формулюванням. В умовах експерименту модель не могла незалежно перевірити ці заяви, хоча покупець чув би їх уже як пояснення агента.
Що магазин може перевірити у своєму каталозі
Автор пропонує магазинам почати з даних, які отримує агент: знайти свої товари через Shop MCP або каталог Shopify і звірити оцінку, кількість відгуків, короткий опис і характеристики зі сторінками магазину. Приклад пляшки показує, що відображені відомості можуть суттєво відрізнятися, хоча причину конкретної розбіжності в дослідженні не встановлено.
Також варто оцінити, чи зрозуміло в описах подано властивості, що відповідають потребам покупців. В експерименті фраза про те, що засіб не закупорює пори, часто супроводжувала вибір Opus після уточнення про жирну шкіру. Водночас твердження про товари мають залишатися достовірними: модель може передати їх покупцеві без незалежної перевірки.
Нарешті, автор рекомендує дослідити свою категорію: передати кільком моделям той самий список власних і конкуруючих товарів і порівняти вибір. Така перевірка може показати поведінку моделей у заданих умовах, але не відтворює всіх налаштувань реальних покупецьких агентів.
Межі результатів
Експеримент охоплює лише три моделі Anthropic та одну коротку інструкцію. Реальні застосунки можуть додавати власні системні інструкції, відомості про покупця та інші інструменти; моделі інших розробників також можуть обирати інакше. Майже в усіх запусках не було ні історії покупок, ні особистих уподобань, ні додаткових вимог.
Списки зафіксували за результатами для анонімного покупця зі США 15 і 24 жовтня 2026 року; авторизований користувач може побачити інші товари. Слова «safe» і «safest» підраховували пошуком у текстах пояснень. Моделі лише обирали товари — жодного замовлення не оформлювали.
Дослідження показує, що між видачею каталогу та рішенням про покупку є окремий рівень вибору. У цьому експерименті його результат залежав від моделі, формулювання запиту, даних каталогу й іноді порядку списку, але переносити ці результати на всі торговельні застосунки без додаткової перевірки не можна.
Коментарів поки немає. Почніть обговорення.