Обновлено 8 сентября 2026 года
A/B-тест сравнивает варианты в заранее заданных условиях. Он полезен, когда есть конкретная гипотеза и возможность получить данные для ее проверки. Смена объявления в понедельник и сравнение с прошлой неделей сама по себе не является A/B-тестом.
Сформулируйте вопрос
Например: поможет ли страница с понятным составом услуги увеличить долю подходящих заявок при сопоставимых затратах? Здесь есть изменение, ожидаемое действие и способ оценки. Фраза «сделать рекламу лучше» слишком расплывчата.
Заранее выберите основную метрику и ограничения. Для бизнеса полезны подходящие обращения и продажи, а CTR может служить промежуточным показателем. Если качество лидов ухудшается, дешевый клик не делает вариант победителем.
Что именно менять
Для понимания влияния одного элемента меняйте его при прочих сопоставимых условиях. Можно сравнить и две целые рекламные связки, но тогда результат относится к связке. Узнать вклад отдельно картинки, заголовка и цены из такого сравнения нельзя.
Не меняйте одновременно условия теста, критерий победы и состав аудиторий, а затем не объявляйте результат следствием одной правки. Изменения, необходимые из-за ошибки, запишите и учтите при интерпретации.
Как организовать сравнение
Нужны сопоставимые группы, одновременное проведение и стабильное распределение участников. Учитывайте пересечение кампаний и то, что пользователь может вернуться позже. Проверка формы и целей выполняется до начала расхода.
Для кампаний используйте доступные A/B-эксперименты в Директ Про. Старый порядок создания экспериментов в Яндекс Аудиториях больше не действует для новых тестов. Актуальная справка.
Сколько времени и денег нужно
Это зависит от частоты целевого действия, ожидаемого различия и допустимой неопределенности. Сто кликов или две недели не являются универсальной достаточной выборкой. Если продажи редкие, надежное сравнение может не укладываться в доступный бюджет.
До старта согласуйте длительность или правило набора данных, предельный расход и условия досрочной остановки при явной проблеме. Не завершайте тест каждый раз, когда желаемый вариант ненадолго вышел вперед.
Как читать итог
Возможны три содержательных результата: вариант лучше, хуже или различие пока не подтверждено. Для вывода учитывайте погрешность, задержку конверсий и качество обращений. Статистическое различие может быть слишком маленьким, чтобы окупить внедрение.
Отрицательный тест полезен, если позволил отказаться от неудачной идеи. Неопределенный результат тоже нужно сохранить в журнале. Тест не гарантирует рост и не устраняет риск рекламных расходов.
Когда тестировать связки; как вести журнал рекламных изменений. На [аудите](/uslugi/audit/) можно выбрать проверяемую гипотезу и оценить, есть ли для нее достаточно данных.
Нужна помощь с Яндекс Директом?
Проведу бесплатный аудит, найду точки роста или возьму настройку рекламы под ключ. Напишите удобным способом — отвечаю лично.
