того или иного метода.
Во-вторых, если обнаруживается, что параллельные процедур
меряют общее свойство (данные существенно не различаются), ос;
вопрос о теоретико-содержательном соответствии этих процедур
Нельзя не признать, что сам принцип использования парал.ч
процедур оказывается не формальным, а скорее содержательным ;
ципом, и решение остается за теоретико-методологической конш!
исследования.
Метод судейства при обосновании процедур измерения. Один и ;.
ко распространенных подходов к установлению обоснованности
использование так называемых судей, экспертов. Исследователи оо;
ются к определенной группе людей (возможно, участников фок>\
пы) с просьбой выступить в качестве компетентных лиц. Им пред ;
набор признаков, предназначенный для измерения изучаемого яи ;
и просят оценить правильность отнесения каждого из признаков к
объекту. Совместная обработка мнений судей позволит присвоив
знакам веса или, что то же самое, шкальные оценки в измерен н
чаемого явления. В качестве набора признаков может выступить с
отдельных суждений, характеристики явления и т. д.
Процедуры судейства многообразны. В основе их могут :.
методы парных сравнений, ранжирования, последовательных и
валов и т. д.
Вопрос о том, кого следует считать судьями, достаточно диск
онен. Судьи, выбираемые в качестве представителей изучаемой сок
ности, так или иначе должны представлять ее микромодель: по опс
судей исследователь определяет, насколько адекватно будут исто ;
ны респондентами те или иные пункты опросной процедуры и>
гие, обращенные к респонденту, стимулы.
Однако при отборе судей возникает трудноразрешимый т
каково влияние собственных установок судей на их оценки, вс
установки могут существенно отличаться от установок обследуем
отношении того же самого объекта.
Ясно, что в каждом конкретном случае следует осуществлять !
роль такого рода ошибок применительно к данной выборке судей
Так, используя мужчин и женщин в качестве судей для о;
различных занятий на досуге, нашли, что установки мужчин суше.
но отличаются от установок судей - женщин. Более того, это зав>к
того, увлекается ли сам судящий данным видом досуга.
В общем виде решение проблемы состоит в том, чтобы;
а) внимательно проанализировать состав судей с точки зрения
ватности их жизненного опыта и признаков социального статуса
ветствующим показателям обследуемой генеральной совокупное-!!
б) выявить эффект индивидуальных отклонений в оцснка\
относительно общего распределения оценок.
Наконец, следует оценить не только качество, но и объем выб
ной совокупности судей.
С одной стороны, это количество определяется согласован но>
если согласованность мнений судей достаточно высокая и, соотнес с
Процесс маркетинговых исследований 221
но, ошибка измерения мала, численность судей может быть небольшой.
Нужно задать значение допустимой ошибки и на основании ее рассчи-
тать требуемый объем выборки.
При обнаружении полной неопределенности объекта, т.е. в случае,
когда мнения судей распределятся равномерно по всем категориям оцен-
ки, никакое увеличение объема выборки судей не спасет ситуацию и не
выведет объект из состояния неопределенности.
Здесь возникает проблема точности (устойчивости) измерения. Рас-
смотрим с этой точки зрения принципиально разные варианты судей
ства:
1) производится классификация состояний объекта (сам объект
имеет качественные градации);
2) находится количественная оценка изменяющихся состояний
объекта, представляющих собой континуум.
В первом случае при определении объема выборки судей необходи-
мо задать некоторый уровень определенности в их мнениях, т. е. разброс
распределения оценок должен быть не выше некоторого порогового
значения. Во втором - задается уровень допустимой ошибки. Далее воз-
никает вопрос о численности градаций в судейских оценках, что отно-
сится к чувствительности любой измерительной процедуры. В общем слу
чае речь идет не о чем ином, как о чувствительности измерения, зави-
сящего и от изменчивости объекта, и от устойчивости инструмента из-
мерения. Основной способ определения дробности судейских оценок -
выявление их устойчивости путем двух последовательных (с временным
интервалом) судейств по единой процедуре. Эта операция уже рассмат-
ривалась выше в разделе об устойчивости.
Если объект достаточно неопределенен, то большое число градаций
только внесет дополнительные помехи в работу судей и не принесет
более точной информации. Нужно выявить устойчивость судейских мне-
ний с помощью повторной пробы и, соответственно, сузить число гра-
даций.
Выбор того или иного конкретного способа, метода или техники
проверки на обоснованность зависит от многих обстоятельств.
Прежде всего следует четко установить, возможны ли какие-то су-
щественные отклонения от запланированной программы измерения. Если
программа исследования ставит жесткие рамки, следует использовать не
один, а несколько приемов проверки данных на обоснованность.
Во-вторых, нужно иметь в виду, что уровни устойчивости и обо-
снованности данных тесно взаимосвязаны. Неустойчивая информация
уже в силу недостаточной надежности по этому критерию не требует
слишком строгой проверки на обоснованность. Следует обеспечить
достаточную устойчивость и уже затем принять соответствующие меры
для уточнения границ интерпретации данных (т.е. выявить уровень
обоснованности).
Выбор конкретной техники проверки данных на обоснованность -
задача скорее содержательная, чем формальная.
Многочисленные эксперименты по выявлению уровня надежности
позволяют заключить, что в процессе отработки инструментов измере-
ний со стороны их надежности целесообразна следующая последователь-
ность основных этапов работы:
222 Глава 4
а) Предварительный контроль обоснованности методов измсрс
первичных данных на стадии отработки методики. Здесь проверяс;
насколько информация отвечает своему назначению по существу и >
ковы пределы последующей интерпретации данных. Для этой цели ::.
таточны небольшие выборки в 10 - 20 наблюдений с последующей к
ректировкой структуры методики.
б) Второй этап - пилотаж методики и тщательная проверка ст
чивости исходных данных, в особенности выбранных показателе .
шкал. На этом этапе нужна выборка, представляющая микромодел;
альной совокупности обследуемых.
в) В период этого же общего пилотажа осуществляются все нес; ел
димые операции, относящиеся к проверке уровня обоснованности
зультаты анализа данных пилотажа приводят к усовершенствован;
методики, к доработке всех ее деталей, и в итоге - к получению ск
чательного варианта методики для основного исследования.
г) В начале основного исследования желательно провести пропс>;
используемого варианта методики на устойчивость с тем, чтобы расе
тать точные показатели ее устойчивости. Последующее уточнение граж
обоснованности проходит через весь анализ результатов самого исслс.к
вания.
Вне зависимости от использованного метода оценки надежности
исследователя имеется четыре последовательных шага по повышени
надежности результатов измерений.
Во-первых, в случае чрезвычайно низкой надежности измерен)!
некоторые вопросы просто выбрасываются из анкеты, особенно коп
степень надежности можно определить в процессе разработки анкеты
Во вторых, исследователь может <свернуть> шкалы и использова;
меньше градаций. Скажем, шкала Лайкерта в этом случае может вклю
чать только следующие градации: <согласен>, <не согласен>, <не и ме?
мнения>. Обычно так поступают, когда пройден первый шаг и коп;
обследование уже было проведено.
В-третьих, как альтернатива второму шагу или как подход, осушг
ствляемый после второго шага, оценка надежности проводится на ими
видуальной основе. Скажем, проводится прямое сравнение ответов рее
пондентов в ходе их первоначального и повторного тестирований или;
каким-то эквивалентным ответом. Ответы ненадежных респондента
просто не учитываются при проведении заключительного анализа. Оче
видно, что если использовать данный подход без объективной оцени
надежности респондентов, то, выбрасывая <неугодные> ответы, резуль
таты исследования можно подогнать под желаемые.
Наконец, после того, как первые три шага были использована
можно оценить уровень надежности измерений. Обычно надежность из-
мерений характеризуется коэффициентом, изменяющемся от нуля л
единицы, где единица характеризует максимальную надежность.
Обычно считается, что минимально приемлемый уровень надежно
сти характеризуют цифры 0,65 - 0,70, особенно если измерения прово
дились впервые.
Резюме по вышеизложенному относительно проверки надежности
шкал измерения содержится в табл. 4,21.
Процесс маркетинговых исследований 223
Таблица 4.21
Проверка надежности шкал измерений

КритерииСущество данногоСпособы проверки надежности
надежностикритерияпо данному критерию
ПравильностьДостаточная чувстви-Устранение явных погрешностей:
тельность шкалы,об-скошенности данных к одному по-
ладающей оптималь-люсу, выпадамия каких-то пунктов
ной дробностью и нешкалы; выявление работающей
имеющей системати-части шкалы. Испытание несколь-
ческой ошибкиких шкал разной дробности с рас
четом абсолютной ошибки каждой
из них и сравнение относительных
ошибок.
УстойчивостьОднозначность повто-Повторное измерение; включение
ряемых результатовэквивалентных вопросов; разде-
измерений с мини-
мальной ошибкой.ление выборки на две части.
Обоснован-Уверенность в том, чтоКонструирование типологии; ис-
ностьфиксируется заплани-пользование параллельных дан
рованное свойство,аных; судейские процедуры
не какое-либо иное
Очевидно, что в процессе проведения разными фирмами разнооб-
разных маркетинговых исследований имела место по мере накопления
опыта последовательная адаптация шкал измерений и методик их про-
ведения под цели и задачи конкретных маркетинговых исследований. В
этом плане с известными оговорками можно говорить о типовых формах
проведения аналогичных маркетинговых исследований. Это облегчает
решение задач, рассмотренных в данном разделе, и делает это скорее
необходимым при проведении оригинальных маркетинговых исследова-
ний.
Достоверность (уаЫпу) измерений характеризует совершенно другие
аспекты, чем надежность измерений. Измерение может быть надежным,
но не достоверным. Последнее характеризует точность измерений по
отношению к тому, что существует в реальности. Например, респонден-
ту задали вопрос о его годовом доходе, который составляет менее 25000
долларов. Не желая интервьюеру называть истинную цифру, респондент
указал доход <более 100000 долларов>. При повторном тестировании он
снова назвал данную цифру, демонстрируя высокий уровень надежнос-
ти измерений. Ложь не является единственной причиной низкого уровня
достоверности измерений. Можно также назвать плохую память, плохое
знание респондентом действительности и т.п.
Рассмотрим другой пример, характеризующий различие между на-
дежностью и достоверностью измерений. Даже часы с неточным ходом
будут показывать время в один час два раза в сутки, демонстрируя вы-
сокую надежность. Однако идти они могут очень неточно, т.е. показ
времени будет недостоверным.
224 Глава 4
Главное направление проверки достоверности измерений закт
чается в получении информации из различных источников. Это мож
быть осуществлено по-разному. Здесь прежде всего следует огмс!
следующее.
Надо стремиться составлять вопросы таким образом, чтобы их фс
мулировки способствовали получению достоверных ответов. Далее в ;
кету могут включаться вопросы, связанные друг с другом.
Например, в анкету помещается вопрос о том, в какой степс
респонденту нравиться какой-то продукт питания определенной марк
И далее спрашивается, какое количество данного товара было купт;
респондентом за последний месяц. Данный вопрос направлен на прове
ку достоверности ответа на первый вопрос.
Часто для оценки достоверности измерений используются два ра
личных метода или источника получения информации. Например, пос
письменного заполнения анкет ряду респондентов из первоначально
выборки дополнительно задаются те же вопросы по телефону. По схож
сти ответов судят о степени их достоверности.
Иногда образуют на основе одних и тех же требований две выбора
респондентов и для оценки степени достоверности сравнивают их ответ;
4.10.4. Составление анкет
Главным инструментом реализации методов наблюдения и опрос
являются анкета (вопросник) и механические устройства, напримс
счетчики количества людей, кино-видеокамеры. Ниже будет чаще не
пользоваться термин <вопросник>, поскольку он носит более общи
характер. Анкета применяется только при письменных ответах на постав
ленные вопросы.
Вопросник - опросный лист для получения каких-то сведений О
выполняет следующие функции: 1. Переводит цели исследования в вон
росы. 2. Стандартизирует вопросы и форму ответа на них. 3. Текст 1
последовательность вопросов способствуют кооперации интервьюера;
респондентами, стимулирует получение ответов на все вопросы. 4. Пр;
автоматическом введении данных вопросника в компьютер ускоряете
анализ результатов исследования. 5. Служит целям проверки надежного
и достоверности оценок.
Перечень данных функций подчеркивает важность удаления серьеч-
ного внимания составлению вопросников. Обычно этот процесс осуще-
ствляется в следующей последовательности:
1. Определение целей опроса.
2. Выбор методов сбора данных.
3. Разработка вопросов.
4. Оценка вопросов.
5. Одобрение со стороны клиента.
6. Тестирование.
7. Уточнение анкет.
8. Копирование анкет.
9.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81