Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 49 в этом номере: Новости Спам - статистика за 26 апреля - 9 мая 2004 г. Методика тестирования качества серверных антиспам-фильтров. Часть 1. Алексей Тутубалин, Игорь Ашманов Анонс НОВОСТИ Закон суров. Спамерам грозит тюремное заключение сроком до 20 лет 03.05.2004 В нарушении закона о борьбе со спамом - "Can-SPAM Act" - американские власти обвинили четверых жителей Детройта. Если вина подозреваемых будет доказана, им грозит тюремное заключение сроком до 5 лет. А за поддельные обратные адреса при рассылке они могут схлопотать до 20 лет. "Can-SPAM Act" вступил в силу 1 января 2004 года. Он предполагает создание национального списка адресов электронной почты, на которые запрещено рассылать коммерческие предложения. Кроме того, согласно закону, компании, занимающиеся рекламной деятельностью, обязаны давать в рассылаемых письмах реальную контактную информацию, что дает возможность получателям в любой момент отказаться от навязчивой рекламы. Как пишет агентство Associated Press, четверка спамеров занималась массовыми рассылками рекламы и продажей поддельных средств для похудения. Идентифицировать отправителей спама по источнику отправления почты было практически невозможно. Полицейские использовали метод, проверенный временем: они купили рекламируемое средство для похудения и проследили, кто получит деньги - 59 долларов 99 центов. Чтобы выдвинуть обвинения, властям достаточно того факта, что Дэниэл Дж. Лин (Daniel J. Lin), Джеймс Дж. Лин (James J. Lin), Марк М. Садек (Mark M. Sadek) и Кристофер Чанг (Christopher Chung) наживались на запрещенной рассылке. Источник: Associated Press Продажа доступа к зараженным компьютерам приводит к росту объема спама 03.05.2004 Рост спама в последние месяцы во многом обусловлен коммерческим союзом вирусописателей и спамеров. Торговля доступом к зараженным компьютерам становится серьезным криминальным бизнесом. Такие вирусы как My-Doom и Bagle передают контроль за зараженными машинами хакерам. Эта расширяющаяся сеть инфицированных компьютеров может быть использована либо для рассылки спама, либо как платформа для DdoS-атак. Используя зараженные машины, спамеры могут обходить черные списки IP адресов. IP адреса зараженных машин продаются через IRC каналы либо самими творцами вирусов, либо посредниками. В первую очередь предлагается доступ к машинам, подключенным к каналам высокоскоростной связи. Масштабы бедствия растут, и проблемой всерьез озаботились полицейские и активисты борьбы со спамом по обе стороны Атлантики. Ситуацию осложняет тот факт, что многие участники этой разветвленной криминальной структуры находятся в странах Восточной Европы. По данным MessageLabs, две трети блокируемого компанией спама рассылается с компьютеров, инфицированных такими вирусами как Sobig-F или Bagle. Значительная часть спама приходит с компьютеров, подключенных к каналам высокоскоростной связи. Объем спама растет: по оценкам MessageLabs в апреле он составил более двух третей объема всей почты, тогда как в марте - 53%. Источник: www.theregister.co.uk "Горячая десятка" апреля: из каких стран рассылается спам 04.05.2004 По данным американской компании Commtouch в апреле спамерскими лидерами оставались США и Китай: США распространили 60,5% спамерских писем, а в Китае находится 71% спамерских веб-сайтов. Commtouch проанализировала URL-адреса в спамерских письмах, рассылавшихся в апреле. Большинство писем содержат один или более URL-адресов, которые спамеры используют, чтобы обеспечить получателей более полной информацией о рекламируемых продуктах или услугах. Согласно опубликованным результатам, 71% адресов принадлежит серверам, локализованным в Китае, 22% - американским серверам. По данным Commtouch, в апреле предоставляли услуги спамерским веб-сайтам в 88 странах. "Горячая десятка" выглядит следующим образом: Китай - 71% США - 22% Бразилия - 2,3% Южная Корея - 1,8% Россия -1,5% Канада - 0,6% Пакистан - 0,24% Великобритания - 0,07% Румыния - 0,03% Германия - 0,03% Франция - 0,026% Зачастую спам рассылается из одной страны, используя серверы другой. Несмотря на то, что первое место по наличию спамерских сайтов занимает Китай, настоящий "рассадник" спама - США, откуда рассылается 60,5% спама. По результатам исследования IP-адресов, проведенного Commtouch, источниками спама в апреле были 155 стран мира (Гонконг рассматривался независимо от Китая). Лидируют в этом списке 10 стран: США - 60,5% Китай - 6,2% Южная Корея - 4,9% Канада - 4,3% Бразилия - 2,9% Франция - 2% Гонконг - 1,7% Испания - 1,7% Япония - 1,2% Голландия - 1,2% Аналитики Commtouch отметили также, что в апреле на мир обрушилось рекордное количество спама. Источник: Commtouch Билл Гейтс не победит спам 05.05.2004 Восемь из десяти опрошенных специалистов в области компьютерной безопасности не верят в то, что Биллу Гейтсу и его команде удастся победить спам в течение двух лет. Опрос провела компания BlackSpider Technologies на специализированной выставке InfoSecurity, проходившей в Лондоне с 27 по 29 апреля. В июне прошлого года Билл Гейтс призвал к сотрудничеству между государственными службами и корпорациями в борьбе со спамерами. Гейтс заявил, что до глобальной победы над спамерским сообществом осталось ждать не более двух лет. Тогда Гейтса упрекали в том, что его инициатива направлена на уменьшение количества получаемого спама, вместо того, чтобы бороться с его рассылкой. Через год заявления Гейтса опрошенные специалисты сочли "не реалистичными". Джон Чейни (John Cheney), директор компании BlackSpider Technologies, комментируя результаты опроса, сказал, что индустрия не воспринимает компанию Microsoft в качестве влиятельного и авторитетного игрока, способного изменить ситуацию в положительную сторону. "Спам не исчезнет сам собой в один прекрасный день, и люди не считают Билла Гейтса человеком, который способен этого добиться. Нужно принимать целый комплекс технологических и юридических мер", - считает Чейни. Опрос специалистов на конференции InfoSecurity также показал, что 38% из них не верят в успех антиспамерской директивы, принятой Евросоюзом, поскольку большая часть спама приходит из-за пределов ЕС. Однако 40% респондентов, принявших участие в опросе, считают, что эффективным может быть закон, который в принципе запретит рассылку коммерческих предложений в почтовые ящики частных лиц. Источник: www.webplanet.ru Microsoft открыла Hotmail и MSN для легальных рекламных рассылок 06.05.2004 Microsoft взяла на вооружение списки компаний, занимающихся легальными рекламными рассылками по электронной почте. Списки созданны компанией IronPort в рамках программы Bonded Sender и сертифицированны TRUSTe. Microsoft объявила о заключении соглашения с компанией IronPort Systems Inc. IronPort предоставляет владельцам почтовых служб IP-адреса компаний, рассылающих легальную рекламу и, таким образом, позволяет отделить законную рекламу от спама. Письма, присланные с этих адресов, не подвергаются обработке антиспамовыми фильтрами. Использование Bonded Sender дает возможность идентифицировать подлинность отправителя. По замыслу разработчиков программы, она позволит пользователям гарантированно получать необходимую информацию от таких корреспондентов как банки, политические организации и коммерческие структуры, занимающиеся розничной торговлей. Чтобы попасть в такой белый список, компания должна доказать, что, в соответствии с требованиями "Can-SPAM Act", никогда не рассылала почту с фальшивых адресов, не занималась мошенничеством в Интернете и предоставляет реальную возможность получателям при желании отказаться от рассылки. Независимая группа TRUSTe контролирует соблюдение "CAN-SPAM Act" участниками Bonded Sender. Нарушителям грозят штрафы в размере до 20000 долларов США. Теперь почта более чем 170 млн. пользователей MSN и Hotmail будет обрабатываться с помощью списков программы Bonded Sender. Источник: Microsoft Защиту от спама взламывают... любители бесплатного порно 07.05.2004 Алчные спамеры придумали коварный способ обхода фильтров, установленных компаниями Yahoo и Hotmail на пути роботов, автоматически открывающих миллионы учетных записей на этих "народных" почтовых сервисах. В своем грязном бизнесе спамеры охотно используют не только открытые SMTP-сервера, но и вполне легальные почтовые службы, вроде хорошо известной Hotmail. Из-за установленного ими лимита на количество отправляемых писем, спамеры вынуждены открывать сотни тысяч, а то и миллионы аккаунтов, чтобы обеспечить необходимый заказчику поток почтового мусора, который потом можно конвертировать в наличность. Понятно, что один человек (и даже их группа) такое количество почтовых ящиков зарегистрировать не в состоянии, а потому в своем нелегком труде спамеры используют специальных почтовых роботов, автоматически (и практически мгновенно) выполняющих эту работу. В свою очередь, продвинутые почтовые службы успешно используют для защиты от роботов технологию Captcha - Completely Automated Public Turing test to tell Computers and Humans Apart ("Полностью автоматизированный Тест Тюринга для разделения людей и компьютеров"). Если не углубляться в детали, то Captcha - это технология, создающая в режиме реального времени графический файл, в котором изображается предельно зашумленная цветом и геометрическими элементами алфавитно-цифровая последовательность. Для того чтобы зарегистрировать свой почтовый ящик, будущему пользователю необходимо всего лишь посмотреть на картинку и набрать увиденную последовательность в специально выделенном текстовом поле. Разумеется, человек (даже если он страдает дальтонизмом) этот набор знаков различает без особого труда, а вот робот, даже самый интеллектуальный, пока не в силах разобрать, что же там написано. Соответственно, вся наработанная годами технология автоматической регистрации идет насмарку. Однако, как пишет ZDNet UK со ссылкой на известный ресурс BoingBoing blog, спамеры, известные своим коварством и изворотливостью, придумали новый способ использования порнотехнологий, позволяющий успешно обойти преграду, установленную Captcha. Для того чтобы обмануть сервер, они создают порносайт-приманку, на который заманивают ни в чем не повинных тинейджеров и предлагают им пароль к бесплатной порнографии в обмен на сущую безделицу: регистрацию учетной записи на этом порносайте. Как и положено уважающему себя ресурсу, сервер также подкидывает дрожащему от неутоленных желаний подростку Captcha-графику, но берет ее... с сервера Yahoo или все того же Hotmail. Телемаркет! Дальше все идет без обмана: подросток получает свою порнографию, а спамер получает искомое слово, необходимое для регистрации почтового аккаунта. Впрочем, как утверждает вице-президент компании Computer Associates, Captcha пока еще рано списывать в утиль. Ведь если раньше счет в деле автоматической регистрации спам-аккаунтов шел на миллионы в день, то сейчас количество таких регистраций сократилось на порядок, а то и на два. В конце концов, сколько посетителей может ежедневно привлечь такой сервер? Десять тысяч? Сто тысяч? А сколько из них станет напрягаться с регистрацией? Источник: www.internet.ru Спам - статистика за 26 апреля - 9 мая 2004 г. Ашманов и Партнеры Объем спама Две последних недели - это, прежде всего, долгожданные майские праздники, когда жители крупных российских городов (а именно они составляют большинство российских пользователей Интернета) массово отправляются отдыхать или трудиться на садовых участках. В результате в этот праздничный период резко снижается количество потенциальных потребителей рекламы, и, соответственно, падает объем рекламных предложений. Последние две недели были отмечены общим снижением почтового трафика в Рунете. Та же тенденция наблюдается и в спамерском трафике: в период с 26 по 28 апреля количество спама держалось на том же уровне, что и раньше, но уже с 29 апреля пошел резкий спад. Ко 2-му мая объем спама уменьшился в два раза и, в среднем, оставался на таком уровне до 9 мая включительно. Лаборатория "Спамтест" зафиксировала минимум спама 3-го мая: спамерских сообщений было в пять раз меньше, чем среднее суточное значение за март-апрель. Объем спама в общем почтовом трафике Рунета на 26-28 апреля оставался неизменным - около 70%, а в период 1-9 мая колебался в пределах 30-60% на разных почтовых серверах. Самые-самые: популярные тематики Особенностью прошедших недель является резкое сокращение доли русскоязычного спама. В период майских праздников на некоторых почтовых серверах было зафиксировано падение объема рускоязычных спамерских сообщений до 3% (при среднем значении 40-60%). Соответственно, доля некоторых спамерских тематик, которые обычно представлены русскоязычными письмами, в это период составила менее 1%. Это, прежде всего, тематики "Отдых и путешествия" и "Образование". Русскоязычные предложения различных товаров также практически отсутствовали. В итоге доля типичных англоязычных тематик повысилась. Это касается тематик "Для взрослых" и "Здоровый образ жизни и Медикаменты". Наиболее популярные темы: No Тематика Описание %% от общего объема Изменение за неделю 1 Для взрослых Средства для повышения потенции (виагра и пр.), а также для улучшения физических возможностей при занятих сексом 29% +14% 2 "Здоровый образ жизни" и "Медикаменты" Предложения сбросить лишний вес, удучшить состояние кожи, волос; приобрести правильную осанку, купить биологические добавки и т.п. Предложения приобрести лекарства в online 18% +7% 3 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма 9% +4% 4 Образование Реклама семинаров, тренингов, курсов 4% -7% 5 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. 4% +1% 6 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий < 1% -4% Самые-самые: новинки Появилась новая тематическая разновидность спама: спамерские предложения антиспам-фильтров. Строго говоря, первые сообщения подобной тематики были зафиксированы почти год назад, но тогда они были единичными на фоне общего почтового трафика Рунета. Сейчас их количество стало заметным, хотя и не превышает 1% от общего объема спама. Спамерскими эти предложения являются как по способу организации рассылки (массовая, анонимная, не запрошенная), так и по сути предложений: большинство ссылок на сайты, где пользователь должен искать антиспамерское ПО, уже недоступны к моменту получения письма, или, что гораздо хуже, содержат вирусы. В некоторых случаях предлагаемое ПО в действительности является бесплатной демонстрационной версией популярных западных антиспамерских фильтров, что вызывает тревогу у фирм-производителей данного ПО. Естественно, ни одна фирма-производитель антиспам-фильтров не рекламирует свою продукцию с помощью спама. Тем самым подобная акция рассматривается как дискредитация фирмы/торговой марки. На сайте Спамтест приведен пример такого спама. В письме название рекламируемого спамерами ПО (Email Box Filter) созвучно названию популярной торговой марки (Mail Box Spam Filter). Самые-самые: письма Хитом недели мы считаем сообщение, которое представляет достаточно редкую разновидность спама. Это спекуляция на текущей политической ситуации или обстановке в мире. Письмо адресовано американцам, чьи родственники и друзья сейчас находятся в Ираке. Получателям письма предлагается помочь страждущим воинам в Ираке материально - оплатить для них услуги сотовой связи, чтобы они могли сказать последнее прости матерям и невестам "до того, как их убьют". Очень трогательно, особенно на фоне текущего скандала вокруг жестокого обращения с заключенными в тюрьме Абу Грейб. Самыми назойливыми (по частоте рассылок и количеству разосланных экземпляров) письмами в данный период были предложения "Продаются права аренды на помещения" и предложения от Центра Американского Английского. Полный текст письма американских патриотов, образцы самого назойливого спама, лучшее предложение "халявы" (многословное и эпическое), самые забавные и самые нечитаемые письма - на сайте Спамтест. Методика тестирования качества серверных антиспам-фильтров Часть 1 Алексей Тутубалин, Игорь Ашманов © ЗАО "Ашманов и Партнеры", 2004 Содержание Часть 1 Введение 1. Определение спама 2. Нежелательная или ненужная почта 3. Критерии оценки качества     3.1. Критические и некритические ложные срабатывания     3.2. Пропущенный спам 4. Методика тестирования Сводка: Корректные условия тестирования Часть 2 5. Особенности тестирования отдельных видов фильтров     5.1. Фильтры, использующие черные списки (RBL)     5.2. Тестирование фильтров с регулярными обновлениями баз данных     5.3. Тестирование обучаемых систем 6. Наиболее частые ошибки при тестировании     6.1. "Последовательное соединение" фильтров     6.2. Пересылка (forward) сообщений на фильтр     6.3. Тестирование на фиксированных коллекциях     6.4. Неверные обучающие выборки для обучаемых фильтров Часть 1 Введение При выборе антиспам-фильтра необходимо сопоставить: стоимость, функциональность и удобство работы, качество распознавания спама. Оценка стоимости и функциональности может быть произведена даже умозрительно - по документации компании-производителя. Ситуация же с качеством существенно сложнее - на сегодняшний день не существует не только каких-либо "стандартных" методик тестирования качества фильтрации спама, но и общепринятых подходов к такому тестированию. В результате, все тесты проводятся по разным методам, следовательно, результаты разных тестов невозможно сравнивать между собой. Это относится как к данным производителей антиспам-решений, так и к результатам независимых тестов. В данном документе предлагается методика тестирования качества фильтрации спама, а также обсуждаются типичные ошибки, допускаемые при тестировании. 1. Определение спама При тестировании качества работы Антиспам-фильтра необходимо заранее определить понятие "спам"; без определения этого термина дальнейшая работа не имеет смысла. При написании данного документа использовалось следующее определение: Спам - это анонимные незапрошенные массовые рассылки электронной почты, как правило, имеющие рекламный характер. Данное определение удовлетворительно определяет спам как массовые рекламные рассылки, производимые профессионалами для зарабатывания денег. А ровно от этого бизнеса сейчас и страдают все пользователи Интернета. 2. Нежелательная или ненужная почта В то же время, спамом в действительности не являются следующие виды сообщений (часть из них может быть массовой или нежелательной почтой): Рассылки, на которые пользователь когда-то подписывался (даже если он уже не хочет ее получать и/или забыл, как отписаться). Рассылки, на которые пользователь подписывался неявно, например, включив (или забыв выключить) галочку "я хочу получать дополнительную информацию о продуктах компании N" при регистрации на Web-сайте компании или в анкете на выставке. Технические сообщения систем электронной почты, включая сообщения о недоставке писем, которые пользователь не рассылал (во время последних вирусных эпидемий такие случаи участились). Технические сообщения антивирусных систем о том, что в письме найден вирус. Уведомления о доставке, недоставке или прочтении писем получателем. Прочие не слишком нужные пользователю сообщения (например, сообщения о том, что в почтовой системе расширен лимит на хранение почты; информация о функционировании интернет-сервиса, которым пользуется пользователь и так далее). Единичные нежелательные сообщения, даже если они анонимны. Поздравительные открытки (которые, как правило, анонимны). Письма, посланные по ошибке. Вирусные сообщения и сообщения с "троянскими программами" - для них есть антивирусы. Однако, зачастую пользователи и системные администраторы считают подобные сообщения спамом (трактуя их расширительно - как "нежелательную корреспонденцию"). Другими словами, одно и то же письмо (с одинаковым текстом и технической информацией) может быть расценено как спам одними пользователями и как не-спам - другими. В то же время серверные антиспам-фильтры не могут делать предположений о пожеланиях получателей и вынуждены принимать решение о классификации только на основании технической информации и текста сообщения. Таким образом, при тестировании антиспам-фильтров и при интерпретации результатов тестирования следует использовать единое для пользователей и тестировщиков определение спама, лучше всего - предложенное выше, и не засчитывать "нежелательную", но легитимную почту как спам. 3. Критерии оценки качества Для оценки качества работы антиспам-сервисов следует одновременно использовать два следующих критерия: Ложные тревоги. Доля нормальных (не являющихся спамом) сообщений, ошибочно классифицированных как спам (ложные срабатывания или false positive), в общем потоке нормальной почты. Пропуск спама. Доля пропущенного спама (или false negative) в общем потоке спама. Обе характеристики нужно рассчитывать корректно, а именно: Процент ложных тревог - это отношение числа нормальных писем, ошибочно признанных спамом, к количеству всей нормальной почты (пропущенных и заблокированных нормальных писем), а не от всего потока, включающего и спам тоже. Таким образом, 0,3% ложных тревог могут означать, например, что всего пришло 10 000 нормальных писем, и из них 30 было ошибочно признано спамом. Процент пропусков - отношение количества пропущенного спама к объему всего спама (как пропущенного, так и распознанного). Таким образом, 15% пропусков (или 85% уровень фильтрации) означают, например, что всего пришло 10 000 спамовых писем, из которых 1500 не было распознано как спам. 3.1. Критические и некритические ложные срабатывания В ситуациях, когда электронная почта является важным каналом коммуникации для компании, необходимо поддержание максимально низкой доли ложных срабатываний, особенно для важных деловых писем. Ущерб от потерянного делового письма может быть несопоставим с потерями рабочего времени от спама (это не означает, естественно, что спам вообще не нужно фильтровать). При анализе ложных срабатываний недостаточно ограничиться только подсчетом их количества. В современных спам-фильтрах используются эвристические алгоритмы, которые могут распознать как спам (или "возможно спам") сообщения, "похожие на спам" (например, письмо всем пользователям интернет-магазина о скидках, написанное с использованием "маркетинговой лексики"), но при этом спамом с точки зрения получателей не являющиеся. Целесообразно при тестировании разделить ложные срабатывания на критические ложные срабатывания (ложные срабатывания на важной деловой или личной почте) и некритические (ошибочная классификация массовых новостных и маркетинговых рассылок и тому подобной почты) и подсчитывать процент тех и других отдельно. 3.2 Пропущенный спам Критерий на основе доли "пропущенного спама" является наиболее очевидным - если один антиспам-фильтр распознает 70%, а второй - 85% спама, то второй фильтр можно считать лучшим. В то же время необходимо понимать, что повышение уровня распознавания может с большой вероятностью дать одновременный рост количества ложных срабатываний. Поэтому оба критерия нужно рассматривать совместно, причем оценка количества ложных срабатываний должна иметь приоритет при составлении суммарной оценки фильтра. 3.3 Скорость реакции Очевидно, для любого пользователя наиболее важен не технический показатель качества распознавания спама, полученный в лабораторных условиях ("тестирование идеальной сферической лошади в вакууме"), а отсутствие спама в его почтовом ящике. Современная спам-рассылка в несколько миллионов адресов обычно занимает несколько часов и впоследствии не повторяется. В следующий раз спамер посылает другие письма и с других адресов. Это означает, что оба критерия качества (уровень распознавания и количество ложных тревог) имеют значение только в применении к реальному потоку спам-рассылок, идущих в настоящее время, прямо сейчас. Если же фильтр отлично распознает те же спам-рассылки, но спустя день-два или неделю, то такая фильтрация абсолютно неинтересна. Таким образом, значение имеет только качество фильтрации реального потока спама в реальном времени, а тестировать следует скорость реакции фильтра на реальный поток спама. Ниже в разделе "Ошибки тестирования" мы подробно показываем, почему тестирование на фиксированных коллекциях не имеет смысла. 4. Методика тестирования А. Реальная эксплуатация на реальном потоке почты в реальном времени. Наиболее достоверные результаты тестирования антиспам-систем можно получить только на реальном потоке почты и только при фильтрации немедленно, в реальном времени. Только в этом случае: распределение почты по типам (спам/не спам и так далее) соответствует реальному; техническая информация в письмах (IP-адрес посылающей стороны, SMTP envelope, технические заголовки) соответствует реальному положению дел; содержимое баз данных фильтров (лингвистических, статистических, RBL-списков, черных/белых списков отправителей) является актуальным; тексты писем не искажены за счет пересылки, вставки дополнительной информации или подобных действий; решается задача реальной фильтрации. Б. Тестирование должно продолжаться как минимум 2-3 недели. Поток как спама, так и нормальной почты, сильно меняется во времени, обычно изменения тематики и оформления писем происходят ежедневно. Продолжительный тестовый период должен усреднить эти колебания. Полезно, если часть тестового периода может включить в себя сезонные изменения маркетинговой активности (предпраздничные распродажи, например) - это позволит оценить качество реакции антиспам-системы на пике спама. В. При тестировании через систему должны пройти несколько десятков тысяч сообщений. В противном случае достоверно оценить уровень ложных срабатываний невозможно (так как приемлемый уровень некритических ложных срабатываний - не выше 0,01%, то есть одна ложная тревога на 10 тысяч писем или меньше). Г. В тестировании должны принимать участие как минимум несколько десятков почтовых ящиков. Это требование определяется тем, что вариативность потока спама у разных пользователей очень велика. Например, на ящики с именами info@, sales@ или alex@ приходит много мусорной почты, так как подобные имена легко подбираются методом словарной атаки, а на ящики со сложными именами наподобие Joe.V.User@ спама приходит во много раз меньше (особенно, если эти длинные адреса публиковались в общедоступных местах). Использование при тестировании большого числа почтовых ящиков позволяет усреднить вариации в потоках спама между различными типами почтовых ящиков. Д. При тестировании нельзя пересылать (forward) почту. При пересылке искажается техническая информация, а в некоторых случаях и текст письма. В то же время, современные фильтры анализируют "письмо в целом" и искажение данных приведет к падению качества распознавания. Е. Анализ результатов необходимо проводить с использованием единого определения спама и критичности/некритичности ложных срабатываний. Как пропуски спама, так и (в особенности) ложные срабатывания должны быть тщательно проанализированы. При оценке доли пропусков необходимо использовать корректное и единое для всех тестов определение спама (см. выше). При оценке ложных срабатываний следует учитывать их критичность, поскольку это принципиально для оценки рисков использования конкретного фильтра. Ж. Равные условия тестирования. При сравнении нескольких решений от разных производителей, антиспам-фильтры должны быть поставлены в равные условия. Это включает в себя следующие требования: Одинаковый поток почты, приходящий на разные фильтры в реальном времени. При использовании RBL-сервисов - одинаковый набор списков RBL для всех тестируемых систем. При использовании локальных черных/белых списков - использование одинаковых списков. При использовании обучаемых фильтров - обучение на одинаковых выборках. Если в процессе тестирования используется дообучение - дообучение должно быть синхронным/по одним и тем же выборкам. При использовании фильтров с получениями обновлений - синхронное получение обновлений. Все прочие "параллельные" наборы настроек (например: разбор заголовков для получения оттуда IP-адресов, использование распределенных систем DCC/Razor и так далее) - должны быть по возможности одинаковыми. Сводка: цели и корректные условия тестирования Таким образом, достоверные результаты тестирования можно получить при выполнении следующих необходимых условий: Тестирование в реальном окружении (установка антиспам-фильтра на тот же поток почты, где его предполагается в дальнейшем использовать). Достаточная продолжительность тестирования - 2-3 недели. Достаточный объем тестирующей выборки - как минимум несколько тысяч сообщений в день. Достаточная выборка почтовых ящиков - как минимум несколько десятков. Анализ результатов с использованием корректного определения спама и категорий критичных/некритичных ложных срабатываний. Тестируемое ПО должно быть поставлено в максимально одинаковые условия. Часть 2 - в следующем номере журнала Спамтест. Анонс В следующем номере журнала Спамтест: Методика тестирования качества серверных антиспам-фильтров. Часть 2. Авторы: Алексей Тутубалин, Игорь Ашманов Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003-2004