Эксперименты на представительных выборках

     ЭКСПЕРИМЕНТЫ  НА ПРЕДСТАВИТЕЛЬНЫХ ВЫБОРКАХ

     ДВА МЕТОДА ОБУЧЕНИЯ ИСПАНСКОМУ ЯЗЫКУ

     Рассмотрим  теперь более детально, как планируются  эксперименты на представительных выборках. Сделаем это на еще одном вымышленном  примере. Подобный эксперимент любой  из вас мог бы провести в юности. Особое внимание вы должны обратить здесь  на способ распределения испытуемых по группам.

     В штате Калифорния большинство студентов  старших классов проходят двухгодичный курс иностранного языка (знание второго  языка — условие поступления  в университет). В местечке Постгейт, где всего одна средняя школа, ежегодно около 100 студентов начинают курс испанского языка. Преподавателей испанского двое — м-с Кроутерс и м-р Рамос. Оба они ведут занятия и на первом и на втором курсе по два потока каждый. И вот однажды в факультетском буфете м-р Рамос обратился к м-с Кроутерс: «Дженни, мне кажется, что за два года мы могли бы добиться гораздо больших успехов, да и студентам было бы интереснее, если бы в первый год мы не допекали их обычным чтением, письмом да грамматикой, а нашли бы что-нибудь посовременнее, вроде того нового метода, что применяют в центральном Канзасе: весь первый год там дают только разговорный язык». «Насколько я поняла вас, Примо, — ответила м-с Кроутерс, — вы предлагаете поработать сверхурочно. Ну что же, развлечений в последнее время здесь немного, и небольшая встряска мне не повредит». Короче, они решили сравнить новый метод обучения с текущим. Им удалось заинтересовать этим заведующего своего отдела, который сумел убедить заведующего учебной частью, тот — директора школы, а уж директор уговорил школьный совет (который можно уговорить на все, что не слишком дорого стоит).

     Планирование  эксперимента.

     М-с  Кроутерс и м-р Рамос решили обсудить подробности своего эксперимента с м-ром Роджерсом, который прибыл в Постгейтскую среднюю школу в качестве советника и читал спецкурс по «исследованиям личности». В области психологии он был самым крупным авторитетом в школе. М-р Роджерс сказал им, что самое главное при проведении любого исследования — а это он узнал из книги «Основы психологического эксперимента» — подробно регистрировать весь его ход, лучше всего в переплетенной тетради с пронумерованными страницами и оглавлением.

     Для начала экспериментаторы изложили в  своем лабораторном дневнике каждый из методов обучения. Это было несложно. Для описания старого метода они  просто воспользовались последним  изданием программы курса от 17 апреля 1954 года, перечислив основные приемы обучения. Новый метод они описали по ротапринтовой копии учебного пособия, которую м-р Рамос раздобыл в центральном Канзасе. Они обсудили также конкретные детали применения метода для студенческой группы. Для хранения дневника они выбрали специальное место, чтобы иметь возможность после каждого дня занятий отмечать успехи студентов и другие интересные подробности. Естественно, они продолжали вести и обычные классные журналы. Преподаватели понимали, что занятия по каждому из методов нужно стараться проводить как можно лучше и затрачивать на студентов одно и то же количество времени. То, насколько успешно выполняли они свои намерения, также отмечалось в дневнике.

     Не  забыли экспериментаторы заранее подумать и о том, как они будут оценивать  знание языка спустя два года. Думали долго, а ответ оказался неожиданно простым. Если студент может понять вопрос, заданный ему по-испански, и  по-испански же ответить на него письменно, то значит, он способен как разговаривать, так и писать на этом языке. Научиться  хорошо говорить на иностранном языке, пройдя школьный курс, довольно трудно. А перевод — еще не подлинное знание языка, и это было ясно обоим преподавателям. Выбранные задачи-вопросы, конечно, не позволяют полностью оценить речевые навыки, сформировавшиеся у студентов за почти двухлетний срок, но как критерий для сравнения результатов эксперимента они вполне подходят. Перечень контрольных вопросов также вошел в лабораторный дневник.

     Разумеется, эксперимент проводился со студентами, изучавшими испанский впервые, Сначала  возникла идея распределить их по группам  в случайном порядке: по каждому  из преподавателей и затем по каждому  методу обучения, которые будут называться теперь письменным и разговорным. Но тут есть одна сложность: некоторые  студенты уже немного знали язык — они жили в районах, где говорят  по-испански. Вполне возможно, что при  случайном распределении в какие-то из четырех групп попадет слишком  много таких студентов, а в  другие — очень мало. Поэтому  экспериментаторы решили провести предварительную проверку.

     Студентам дали списки из 50 испанских слов и  попросили их письменно перевести  эти слова на английский. Затем, согласно полученным оценкам, сто студентов  были упорядочены по полученным баллам: от самых высоких баллов к самым низким. Если оценки студентов были равными, то их фамилии записывали просто по алфавиту. Полный список приведен в табл. 4.2. После этого нужно было избрать стратегию для распределения студентов по четырем группам: (1) Рамос, письмо, (2) Рамос, разговор; (3) Кроутерс, письмо, (4) Кроутерс, разговор. Первые четыре фамилии списка нумеровали в названной последовательности, следующие четыре — в обратном порядке и т. д. Таким образом, перед каждой фамилией был указан номер группы. Распределение студентов по четырем группам показано на рис. 4.2. Видно, что группы очень похожи и что во всех группах у основной массы студентов весьма небольшой словарный запас.

     Проведение  эксперимента

     Занятия с применением каждого из методов  обучения и составляли эксперимент. И хотя результаты исследования можно  получить лишь после окончания курса, в течение всего учебного периода  важно было применять каждый метод  одинаково старательно и успешно, а также фиксировать любые  наблюдения, которые могли оказаться  важными для их последующей оценки. Например, каждый раз нужно было отмечать степень заинтересованности студентов. Могли встречаться также  и необычные обстоятельства. Иногда несколько непослушных студентов  могут помешать проведению занятий по любому методу обучения.

     После окончания занятий был проведен итоговый экзамен. Материал для него заготовили заранее. На магнитофон записали вопросы по-испански. Чтобы исключить  влияние дополнительных факторов (например, знакомый или незнакомый голос), вопросы  студентам задавал тот преподаватель, у которого они занимались. Экзамен  проходил в лингафонном кабинете. Каждый студент отвечал на 100 вопросов в два приема. После каждого вопроса студенту давалось 30 секунд, чтобы записать ответ на листочке бумаги, где стоял номер) вопроса и кодовый номер испытуемого. Каждый преподаватель проверял работы студентов другого преподавателя и поэтому узнавание почерка, а возможно, и других индивидуальных черт также было исключено Работы студентов, занимавшихся по разным методам, складывались в одну пачку и перемешивались. Ответы на каждый вопрос оценивались по шкале от 5 до 0.. О содержании каждой оценки преподаватели договорились заранее: «5» — безупречно; «4» — одна незначительная ошибка; «З» — одна грубая ошибка или две незначительных; «2» — несколько грубых ошибок; «1» — в целом перевод неверен, но есть некоторые совпадения; «0» — неверно вообще. Наибольшее количество баллов, которые мог набрать студент, ответив на 100 вопросов,—500. Ради удобства общая оценка делилась на 5 и округлялась до ближайшего целого числа. Таким образом, наивысший возможный общий бал —100. Это — критерий оценки работы студента

     Анализ  результатов.

     Было  установлено, что у студентов  м-с Кроутерс и м-ра Рамоса, обучавшихся по одному и тому же методу, оценки в среднем примерно одинаковы. Это дало возможность представить результаты всего эксперимента в двух частотных распределениях (рис. 4.3): одно — для разговорного метода, другое — для письменного. Фактически здесь просто показано, сколько студентов получили оценки от 52 до 99. Для более ясной картины оценки сгруппированы в интервалы по четыре. Так, во второй по возрастанию интервал включены студенты, получившие оценки 56, 57, 58 и 59. За ним идут студенты с оценками 60, 61, 62 и 63; в этот интервал попали 3 студента, обучавшихся по разговорному методу, и только один — обучавшийся по письменному. Можно убедиться, что у разговорного метода есть небольшое преимущество: его частотное распределение несколько выше — смещено вправо — по сравнению с письменным.

     Правда, средняя оценка для разговорного метода составила 78 баллов, в то время как для  письменного— 75. Это различие не очень  показательно, и, уж конечно, оно вряд ли убедит школьный совет тратить  деньги на нововведения. Но Кроутерс и Рамос по-прежнему считают, что в новом методе обучения что-то есть. Быть может, им не хватало опыта для его правильного применения. Но вот однажды в школьном коридоре их приветствовали словами: «Благодарим вас за наши успехи в испанском, новый метод нам очень понравился. Грациа!»

     Рис. 4.3. Результаты эксперимента с методами обучения испанскому языку: частотное  распределение (показаны средняя оценка (Ср) и величина стандартного отклонения (СО) для разговорного метода). Ось абсцисс — экзаменационные оценки. Ось ординат — количество студентов 

     ПЕРВОЕ  ПРЕИМУЩЕСТВО ЭКСПЕРИМЕНТА С БОЛЬШИМ  ЧИСЛОМ ИСПЫТУЕМЫХ: РАСПРОСТРАНЕНИЕ  РЕЗУЛЬТАТОВ НА ПОПУЛЯЦИЮ