Игорь Ананченко - rd@overlink.ru
Сегодня большинство уважающих
себя изданий предлагают читателям какой-либо
конкурс или викторину. На телевидении
постоянно мелькает реклама очередного
продукта, прислав три этикетки от
которого, вы можете выиграть
романтическое путешествие на двоих,
поездку в Диснейленд или еще что-нибудь
сногсшибательное. На улице вы
встречаете симпатичных девушек,
предлагающих сыграть в моментальную
лотерею. Взяв билет, вы обязательно
выигрываете приз и обязательно
встречаетесь с еще одним претендентом
на тот же приз, после чего вам будет
предложено побороться с противником
деньгами в новой криминальной игре "большой
русский лохотрон" с весьма очевидным
исходом.
За всеми конкурсами, тестами и лотереями
стоит ее величество Удача, но вы можете
оценить шансы на успех, опираясь на
теорию вероятностей, комбинаторику,
логику и статистику. Рассмотрим
методику проведения конкурсов и тесты с
данной позиции и попробуем определить
оптимальную стратегию поведения
участника.
Компьютерный тест с позиции участника
Пусть нам предлагается пройти тест,
содержащий 40 вопросов, с возможностью
выбора одного правильного ответа на
вопрос из пяти возможных вариантов.
Поставленная задача является
классическим вариантом тестирования,
например, большинство неадаптивных
сертификационных экзаменов от "Текметрик"
(www.tekmetrics.com/cert, см. "Сертификация
компьютерных специалистов", "Магия
ПК" N7) построено на основе этих
принципов. Известно, что для сдачи на
сертификат нужно получить оценку не
менее 2,75 баллов, а для сдачи на
сертификат категории "мастер" - не
менее 4 баллов. Предположив, что ответ на
каждый вопрос оценивается одинаковым
числом баллов, получим вес каждого
правильного ответа на вопрос для
пятибальной шкалы равным 0,125. Тогда для
сдачи на обычный сертификат необходимо
ответить правильно на 22 вопроса, а для
получения сертификата категории "мастер"
на 32. Вероятность правильного ответа на
каждый вопрос, если мы не знаем ответа и
пытаемся его угадать, равна 1/5. Оценим
вероятность успешного угадывания
правильных ответов на 22, 32 и 40 вопросов с
первого раза. Вероятность вычислим по
формуле Бернулли, известной из курса
теории вероятности:
Формула по файлу .doc
где n, соответственно, равно 22, 32, 40.
Значение вероятности получения
сертификата имеет порядок
Еще формула
Результаты расчета наглядно показывают,
что пройти тест, не зная правильных
ответов на вопросы, с первого раза
практически нереально. Теоретически,
если бы в следующих попытках вопросы
полностью повторились и если бы
тестируемый имел возможность
запоминать ошибочные варианты, то для
успешного прохождения теста хватило бы
трех попыток. Но вот если вопросы
повторяются лишь частично, причем
сколько новых будет в следующий раз -
неизвестно, порядок их меняется,
запомнить или хотя бы записать ошибки
нет возможности, а время выхода в сеть
ограничено...
Очевидно, что чем больше вопросов вы
знаете, тем больше вероятность пройти
тест за один сеанс работы в сети. Если вы
не знаете ответ всего на один вопрос из
40, то вероятность правильного ответа на
этот вопрос равна 1/5 при выборе одного
ответа из 5 возможных.
Относительно вопросов конкурса все
понятно, и теория вероятности нам здесь
больше не поможет. Другое дело, когда
есть возможность пройти тест несколько
раз. Тесты от "Текметрик" можно
проходить бесчисленно много раз, при
этом содержимое вопросов и предлагаемые
варианты ответов можно сохранить для
дальнейшего анализа. Для получения
статистики я выбрал один из
сертификационных тестов (Active Server Pages),
который прошел четыре раза, в качестве
ответа на вопрос всегда выбирая первый
из предложенных вариантов. Получил
следующее число баллов: 1.41; 1.44; 1,28; 1.37.
Если верно предположение о том, что
каждый вопрос оценивается равным числом
баллов, число правильных ответов в
каждом тесте составило: 11, 11, 10 и 11.
Вопросы выбираются из базы вопросов
случайным образом. Кроме того, для
выбранного вопроса переставляются
местами варианты ответа. Например, в
первом случае правильный ответ стоит в
пункте A, а в другом тесте, в котором
встретится данный вопрос, верный ответ
может стоять в пункте С. Время ответа на
каждый вопрос ограничено несколькими
минутами (в разных тестах разное, но
обычно 2-3).
Оптимальная стратегия прохождения
подобных тестов при условии, что мы
имеем дело с абсолютно незнакомым
материалом, заключается не в попытке
угадать правильный ответ, а в том, чтобы
получить достаточно большое число
вопросов из базы данных с фиксированным
числом вопросов. Необходимо спокойно
проанализировать вопросы, не думая о
времени сдачи, найти правильные
варианты ответов и после этого сдать
тест, воспользовавшись подготовленными
материалами. Общее число вопросов в базе
данных неизвестно, но с достаточной
степенью точности может быть определено
сравнением вопросов нескольких тестов (см.
таблицу).
Таблица в отдельном файле
Время сдачи теста составляет около 60
минут. Максимально быстро пройти тест,
просто копируя вопросы, можно за 7-8 минут.
В базу данных для данного
сертификационного теста включено около
100 вопросов, из которых сдающему
предлагается 40. Однако встречаются
тесты и с большей базой вопросов,
например, тест Unix Administrator основан на базе,
включающей в себя более 177 вопросов.
При первой сдаче теста Active Server Pages все 40
вопросов были новыми, на второй
повторилось 16 вопросов. Сдавая тест в
третий раз, я получил 28 повторяющихся
вопросов из предыдущих двух тестов, а
сдавая тест в четвертый раз - ровно 30
вопросов из сданных ранее тестов. Из
этого следует, что для получения 95% всех
существующих вопросов из базы данных (с
учетом повторения вопросов в
предлагаемых тестах) требуется пройти
от 6 до 10 тестов, причем общее время,
затраченное на прохождение тестов,
составит 60-100 минут. Если учесть, что для
сдачи на обычный сертификат следует
правильно ответить более чем на 22
вопроса, то число проходов можно
ограничить 4-5. Естественно, что для "выуживания"
базы вопросов лучше всего создать
несуществующего пользователя и
тестироваться от его имени, чтобы не
портить сообщениями о несданных
экзаменах свою учетную запись.
Можно прикинуть и общее время, которое
нужно затратить на получение 95% вопросов
по всем 48 сертификационным категориям
тестов от "Текметрик", учитывая, что
некоторые тесты содержат графические
иллюстрации и загружаются медленнее: 120
часов (5 суток) и 480 проходов. Время и
число проходов впечатляет, но не
является нереализуемым, особенно если
учесть, что для прохождения тестов в
режиме копирования вопросов можно без
особых усилий написать программу,
добившись полной автоматизации
процесса.
Предложенная методика хорошо подходит
для бесплатных тестов, когда не надо
платить за каждую попытку, и становится
нерентабельной при необходимости
оплаты каждой из попыток сдачи теста.
Последнее верно, если тестироваться
будет один человек, но вопрос об
экономической целесообразности
остается открытым в случае, если
некоторая группа лиц попробует
организовать массовую сдачу тестов
желающим, предложив сдающим за
дополнительную плату полный перечень
вопросов и правильных ответов из
вскрытой по приведенной выше методике
базы данных.
Как обмануть проверяющую систему
Размер базы данных с вопросами весьма
существенен, и чем больше база, тем
труднее пройти тесты при прочих равных
условиях. Просматривая статистику
успешно сдавших экзамен по скорописи, я
обратил внимание на то, что среди
сдавших его на уровень мастера больше
всего людей из США, Великобритании и
России. По первым двум странам все
понятно: сдают носители языка, владеющие
слепым десятипальцевым методом печати.
В нашей стране с английским всегда было
туго, но зато что ни компьютерщик - то
хакер разного уровня, имеющие опыт
взлома систем от игрушек типа Doom до Сити
Банка.
Просмотр html-файла, генерируемого
опросной системой "Текметрик",
позволил обнаружить огромную дыру,
воспользовавшись которой, любой
желающий сможет стать
сертифицированным мастером скорописи.
Прежде всего отмечу, что я связался с
некоторыми из наших соотечественников,
сдавших скоропись с наилучшими
результатами, и попросил честно
ответить, пользовались ли они этой дырой.
Во всех случаях я получил положительный
ответ, за исключением одного - девушка,
сдававшая тест сообщила, что прошла его
с высоким результатам после нескольких
попыток, то есть воспользовалась
рассмотренным выше методом. Таким
образом, из более чем десятка сдавших,
честно тест не прошел ни один.
Методика сдачи скорописи заключается в
следующем: из базы данных выбирается 10
текстовых фрагментов, которые сдающий
должен напечатать максимально быстро.
Каждый из фрагментов представлен
картинкой в виде gif-файла, ведь если
задать обычным текстом, то он тут же
будет перекопирован через буфер обмена,
а не добросовестно перепечатан.
Просмотрев текст вопроса в виде HTML кода
можно увидеть следующую строку:
<img src="http://205.252.89.121/ap/ti/Typing%20Speed%20And%20
Accuracy/i9q.gif">
Очевидно, что это картинка c фрагментом
текста под номером i9q.gif. Каталог данной
директории не доступен, но можно
предположить, что картинки идут от i1q.gif.
И это действительно так: от 1-й до 75-й.
Последовательность остальных действий
тривиальна. В любом броузере
просматриваются все 75 файлов, с помощью
системы распознавания образов или
просто перенабивкой вручную
осуществляется перенос информации в
текстовый файл. После этого можно
проходить тест - получив тестовый вопрос,
задаем отобразить текст вопроса в виде
HTML-кода, смотрим на номер картинки,
находим тестовый фрагмент в созданном
ранее файле, копируем через буфер обмена
в окно ответа - и все!
Не удивительно, что доморощенные хакеры
- в списке лучших по скорописи, сдавших
тесты от "Текметрик". Приведенная
дыра в системе может быть закрыта
опытным системным администратором за
десять минут небольшим изменением
скрипта, но существует уже в течении
нескольких месяцев, так как
представители фирмы просто не знают о
ней. Обнаружив этот баг, наверно,
следовало тут же сообщить о нем
разработчикам тестов. Однако вопрос это
спорный. Может быть, из патриотических
чувств, сначала сообщим об этом
читателям журнала. Ведь не каждый сможет
стать призером нашего конкурса на
знание компьютерных технологий, но
каждый, имеющий доступ к Интернет, может
получить для себя красивый сертификат
мастера скорописи из далекой Америки.
Желающие взглянуть на материалы по
скорописи могут найти их на сайте
www.overlink.ru/aiv/key.txt
Источник: http://www.magicpc.spb.ru/lib/
|