Бизнес-эксперименты, экспериментальное проектирование, А/В-тестирование

Бизнес-эксперименты, экспериментальное проектирование, А/В- тестирование — это приемы, применяемые для проверки обоснованности предлагаемого варианта, будь то стратегическая гипотеза, новая упаковка продукта или маркетинговый подход.

Обычно самым общим и достаточно широким, если говорить о тестировании, является термин «бизнес-эксперимент»; под экспериментальным проектированием понимается тестирование, осуществляемое в ходе разработки продукта; А/В-тестирование — это термин, применяемый к проверкам, относящимся к маркетинговой деятельности. Независимо от того, какой именно из этих трех терминов используется, главная задача, решаемая при тестированиях такого рода, одна — получить как можно больше достоверной информации о различных проверяемых факторах, чтобы определить, какой дальнейший курс действий является наилучшим, а затем его реализовать на практике.

В частности, этот тип тестирования используют в телевизионных шоу: сначала создается «пилотная» передача, чтобы определить реакцию и интерес аудитории до того, как на все выпуски будет затрачено много времени, денег и усилий. Эти же аналитические инструменты применяются и в бизнесе.

Содержание

Когда следует применять инструмент

Для того чтобы наращивать и развивать свой бизнес, вам нужно внедрять инновации и время от времени быть готовым совершать действия, сопряженные с риском. Ведь инновации, разработка новых продуктов или услуг, а также стратегические изменения могут приводить к негативным последствиям, которые объясняются как сделанными вначале ошибочными предположениями о развитии событий, так и неточной информацией или тем, что реакция заказчиков на ваши предложения окажется совсем не такой, на которую вы рассчитывали. Если же прибегнуть к тому или иному бизнес-эксперименту, то указанные риски можно в значительной степени сократить.

К этому инструменту следует прибегать, если у вас есть два варианта и больше, из которых можно выбирать, особенно в том случае, если неправильный выбор приведет к серьезным проблемам в вашей компании. Тестирование нескольких возможных вариантов в меньших масштабах, при которых можно лучше управлять происходящим, позволит вам определить, какой из них позволит достичь лучших результатов.

Полезной будет и обратная связь в виде результатов экспериментов, которая поможет вам уточнить и улучшить выбранный вами в конечном счете вариант, чтобы еще больше повысить его эффективность.

Вопросы, на которые можно получить ответ с помощью инструмента

Фактически экспериментирование в бизнесе поможет вам решить, какой именно вариант следует поддержать, если у вас широкий выбор возможных действий. Например, с его помощью вы сможете получить ответы на следующие и им подобные вопросы.

Какой из этих вариантов приведет к увеличению объема продаж?
Какому из этих продуктов нам следует уделить больше всего внимания и предложить его на рынке первым?
Какой из этих продуктов предпочтут наши заказчики?
Какая маркетинговая кампания обеспечит самый высокий коэффициент реагирования?
Какие каналы найма персонала являются наиболее эффективными?

Как следует пользоваться инструментом

Хотя подробный ответ на этот вопрос зависит от того, какой методологией вы пользуетесь и чего именно пытаетесь достичь, основной процесс, суть которого описал Томас Дэвенпорт, эксперт в области аналитики, является всегда одинаковым и включает следующие этапы:

выдвижение гипотезы;
разработка эксперимента;
проведение эксперимента;
анализ результатов и последующие действия.

Выдвижение гипотезы

Обдумайте, что именно вы собираетесь тестировать, и исходя из этого выдвиньте гипотезу. Например, вы хотите протестировать изменения в упаковке продукта и посмотреть, скажется ли это на объеме продаж, и если да, то каким образом. Скорее всего, у вас уже есть представление о том, как вы проведете такое тестирование — это и есть ваша гипотеза. Поэтому в данном случае ваша гипотеза могла бы быть сформулирована так: «Я считаю, что уменьшение размера упаковки нашей продукции понравится нашим клиентам и увеличит объем продаж» или так: «Я не думаю, что изменение размера упаковки как-то повлияет на объем продаж».

Допустим, вы хотите обновить свой сайт, но не совсем уверены, что именно в его оформлении вам следует изменить, а что оставить в прежнем виде. Поэтому вы решаете протестировать предлагаемый вариант. Вот какой может быть формулировка вашей гипотезы в этом случае: «Перемещение кнопки „Купить сейчас» из левого нижнего угла в верхний правый угол приведет к увеличению продаж».

При формулировании своей гипотезы обязательно учтите следующее.

Что бы вы ни тестировали, это должно измеряться в показателях «лучше — хуже» или «соответствует — не соответствует», так как в противном случае тестирование окажется бессмысленным.
Проверьте, соответствует ли тест общей стратегии и ценности вашей команды или вашей компании в целом. Никогда не выполняйте тест, который может повредить вашей репутации даже у небольшой группы людей.
Тест должен повысить ценность вашего бизнеса.

Частью этого этапа является определение того, как вы будете измерять свою гипотезу, из чего следует, что вы должны знать, какой результат следует считать успешным. Поэтому, если вернуться к нашим предыдущим примерам, тестирование, связанное с упаковкой, окажется успешным, если продукт, предлагаемый в упаковке меньшего размера, обеспечит больший объем продаж, чем в стандартной упаковке, а тестирование обновленного сайта можно будет считать успешным, если перемещение кнопки «Купить сейчас» приведет к большему числу продаж.

Разработка эксперимента

После этого вам необходимо рассмотреть вопрос о том, как провести эксперимент экономически эффективно, насколько это возможно, и решить, в течение какого времени он будет выполняться.

Некоторые эксперименты разрабатывать легче, чем другие. Если вы планируете внести изменения в продукт или услугу, вы просто оцениваете текущие результаты, т. е. получаемые до планируемых изменений, вносите изменения, оцениваете результаты после изменения и сравниваете два результата. Однако, если вы тестируете модификацию существующего продукта или уже проводимой маркетинговой кампании, вам необходимо убедиться, что вы можете точно оценить влияние именно изменения и сравнивать подобное с подобным. Например, если вы тестировали изменения продукта, вы не сможете сравнить стандартный продукт с модифицированным, в который внесено пять изменений, потому что не знаете, как именно каждое из них сказалось на конечном результате. В этом случае можно воспользоваться А/В-тестированием, потому что оно позволяет сравнить версию А с версией В, причем у версии В имеется лишь одна модификация. Поступив таким образом, вы с высокой степенью уверенности будете знать, что любое различие в результате объясняется конкретной модификацией.

Поэтому при каждом тестировании проверяйте только один аспект и по возможности делайте ваши эксперименты как можно более простыми. Это не только поможет получать более точные результаты, но и сократит расходы: как правило, чем сложнее тестирование, тем дороже оно обходится.

Проведение эксперимента

Обязательно сообщите людям об эксперименте, особенно тем, кого он так или иначе затронет. Убедитесь, что люди понимают, почему вы проводите эксперимент и что они обо всем заблаговременно предупреждены. После того как эксперимент стал выполняться, просто отслеживайте то, что происходит, чтобы убедиться, что в течение испытательного периода нет никаких непредусмотренных событий, которые могли бы исказить результаты. Например, если вы тестируете продукт, предлагаемый в упаковке меньших размеров, а в середине эксперимента продукта в такой упаковке в течение четырех дней на полках не было, о чем вас не известила служба поставки, вы можете предположить, что этот продукт не продается так же хорошо, как альтернативный — в стандартной упаковке. Правда, однако, заключается в том, что в течение четырех дней покупатели просто не могли его купить!

Анализ результатов и последующие действия

Единственной целью этого эксперимента были проверка вашей гипотезы и использование полученных результатов для принятия соответствующих решений, и поэтому сразу же после завершения эксперимента тщательно проанализируйте результаты. Сравните фактические показатели и результаты с теми, из которых вы исходили при формулировке вашей гипотезы, чтобы установить, оказались ли точными ваши предположения и ожидания. Независимо от того, правы ли были вы, проанализируйте причину, объясняющую полученные результаты. Был ли эксперимент успешным? И помните, даже если вы ошиблись в своих предположениях, сам эксперимент был успешным. Если вы думали, что перемещение кнопки «Купить сейчас», имеющейся на вашем сайте, приведет к увеличению продаж, но этого не произошло, вы по крайней мере теперь знаете то, чего не знали раньше, и вам больше не нужно рассматривать этот вариант. Любой окончательный результат, каким бы он ни был, свидетельствует о том, что эксперимент выполнен успешно.

При оценке результатов эксперимента обратите внимание на любые его непреднамеренные последствия, т. е. те, появления которых вы не ожидали. Подумайте, как вы могли бы лучше управлять ими, если повторить этот эксперимент в гораздо больших масштабах, и можно ли ими воспользоваться с пользой для себя, т. е. получить более существенные выгоды, чем ожидавшиеся первоначально.

Также проанализируйте все новое, что вы узнали о процессе эксперимента, и что можно применить для достижения лучших результатов в будущем. Некоторые эксперименты приведут к однозначно понятным результатам, которые четко укажут, какой именно курс дальнейших действий следует выбрать или какой именно вариант предпочесть остальным. В таких случаях вы можете максимально быстро двигаться вперед, реализуя лучшую, как показал эксперимент, идею. В других случаях, прежде чем вы узнаете наверняка, какой именно вариант следует реализовывать, может потребоваться проведение дополнительных тестирований. Например, если первая модификация продукта никак не повлияет на объем его продаж, вам следует сравнить результаты продаж продукта после его второй модификации с продажами продукта в его первоначальном виде, а затем протестировать все остальные предполагаемые модификации, чтобы определить ту из них, которая сильнее всего положительно отразится на объеме продаж.

Практический пример

Предположим, вы менеджер по сбору средств для крупной благотворительной организации, которая занимается вопросами экологии. Вам известно, что отличным способом сбора средств является прямой маркетинг, и у вас уже имеется кампания, которую можно считать «контрольной», показывающая очень хорошие результаты. Тем не менее вы хотите посмотреть, можно ли привлечь больше людей, совершающих пожертвования, при использовании другого варианта, потому что прямая почтовая рассылка информации обходится вам в кругленькую сумму и вам нужно убедиться, что вы на самом деле получаете наибольшую отдачу от затраченных средств. Вы решаете протестировать несколько различных подходов, чтобы увидеть, можно ли с помощью каких-либо изменений экономически эффективно повысить результаты.

У вас есть три гипотезы, которые вы хотите проверить.

«К росту количества ответов приведет написанный от руки текст с личной просьбой о помощи, приклеенный к обычному письму».
«К росту количества ответов приведут вложенные в письма конверты, отправка которых вами уже оплачена».
«К увеличению размера пожертвования приведет увеличение запрашиваемой суммы пожертвования, которая указывается на бланке ответа».

Чтобы провести эксперимент, случайным образом из общей базы, насчитывающей 500 000 человек, были выбраны четыре группы численностью по 2000 человек каждая. Члены одной из этих групп получат стандартный пакет, который в настоящее время работает хорошо и для данного эксперимента является контрольным. Члены другой группы в составе 2000 человек получат точно такой же пакет, за одним исключением: к сопроводительному письму будет прикреплено написанное от руки личное обращение. Члены третьей группы такой же численности получат стандартный пакет, в который дополнительно вложен предварительно оплаченный конверт для ответа. Члены последней группы, также насчитывающей 2000 человек, получат стандартный пакет, в котором размер первоначально запрашиваемого пожертвования указан более высоким: на всех бланках перечислялись четыре возможных суммы, из которых потенциальный жертвователь может выбрать наиболее подходящий для него вариант, но если в контрольной и двух других группах указаны суммы от «20 фунтов» до «5 фунтов» плюс вариант «Другая сумма», то на бланках четвертой группы запрашиваемая сумма начиналась с 50 фунтов.

Все пакеты, участвовавшие в тестировании, были отправлены по почте в один и тот же день, поэтому единственная причина, которая могла вызвать разницу в реакции их получателей, — конкретное изменение, которое вы хотели проверить.

Через три недели вы проверяете результаты и обнаруживаете, что сильнее всего на увеличение числа ответов повлиял вариант с прикрепленным написанным от руки личным обращением, что включение в пакет предоплаченного конверта для ответа никак не сказалось на реакции людей и что средний размер пожертвования у членов четвертой группы, где был изменен размер указанных на бланке запрашиваемых сумм, очень сильно вырос. Разумеется, эта информация для вас оказалась очень полезной.

Дальнейший анализ показал, что, хотя вариант с прикреплением к тексту рукописного личного обращения и привел к значительному повышению числа ответов, за это пришлось заплатить немалые дополнительные деньги, и в итоге конечный результат оказался даже с небольшим минусом. Поэтому было принято решение этим приемом в широких масштабах не пользоваться, а применять его только к тем людям, чьи пожертвования в прошлом были высокими, т. е. в целом эта идея была признана полезной. Отсутствие разницы в числе ответов при использовании варианта с включением в пакет обратного конверта означало, что этого делать не стоит и что без этой составляющей подготовка пакета для отправки обойдется дешевле. А вот вариант с повышением запрашиваемых сумм оказался удачным, и поэтому он был реализован в широком масштабе и позволил собрать гораздо больше средств, чем в прошлом.

Очевидно, что использование бизнес-экспериментов позволяет протестировать разные варианты без лишних затрат или более высокого риска.

О чем не нужно забывать

Чтобы бизнес-эксперименты были полезными, вам следует каждый раз за один прогон тестировать только что-то одно и сравнивать подобное с подобным. Обязательно добейтесь, чтобы в вашем тесте все исходные условия и составляющие были одинаковыми, за одним исключением — того элемента, который вы хотите проверить. Например, в описанном выше сценарии отправка пакетов членам разных групп в разные дни могла бы повлиять на результаты, из-за чего вы могли бы предположить, что разница объясняется тестируемым элементом, а затем выбрать для реализации в широких масштабах изменение, которое себя на самом деле не оправдает.

Маркетинговые тесты проводить гораздо проще, чем тестирование разрабатываемых продуктов или дизайнерских решений. Если вы хотите испытать прототипы, они должны быть самого высокого качества, так как невыполнение этого условия приведет к искажению результатов, причем на их получение вы потратите и время, и деньги.