Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 90 в этом номере: Новости Спам - статистика за период 28 февраля - 6 марта 2005 г. Некоторые автоматические методы детектирования спама, доступные большим почтовым системам. Часть 2 Илья Сегалович, Яндекс Новости Доля SMS-спама в США достигла 43% 03.03.2005 По информации Wireless Services, за прошедший год объем SMS-спама в США вырос более чем вдвое. Если год назад спам составлял 18%, то сейчас - 43% всех SMS-сообщений. Wireless Services обеспечивает 15-20% всего SMS-трафика в США. По мнению специалистов компании, рост объемов спама объясняется тем, что поле своей деятельности расширяют спамеры, поднаторевшие в борьбе со спам-фильтрами электронной почты. Выходя на новое поприще, спамеры становятся все более изощренными. Сейчас они хорошо понимают специфику беспроводных сетей и способны обходить антиспамовую защиту. По утверждению Рича Бегерта (Rich Begert), исполнительного директора Wireless Services, проблема в том, что большинство компаний, специализирующихся на безопасности электронной почты, не достаточно хорошо разбирается в беспроводных сетях, чтобы разработать эффективное решение для фильтрации мобильного спама. Еще одна проблема касается юридических способов борьбы со спамом. Привлечь спамеров к ответственности по закону зачастую просто невозможно: хитрые спамеры осуществляют свои рассылки из заморских стран, где законы США бессильны. Между тем, согласно результатам исследования Университета св. Галлена (Швейцария), операторы мобильной связи, не способные решить проблему спама, рискуют потерять клиентов: недовольные приходящим SMS-спамом пользователи предпочитают поменять компанию, предоставляющую услуги мобильной связи. Источник: DesignTechnica Вынесен приговор по первому уголовному делу против спамеров 04.03.2005 Суд Вирджинии вынес приговор по первому уголовному делу против спамеров. Одна из обвиняемых - Джесика ДеГрут - оправдана. Джереми Джейнс (Jeremy Jaynes) был признан виновным в рассылке миллионов спамовых писем с фальшивыми адресами через серверы AOL и в мошенничестве. В ноябре прошлого года присяжные рекомендовали приговорить его к 9 годам лишения свободы. Первоначально обвинители просили судей определить Джейнсу меру наказания в 15 лет тюремного заключения, однако стараниями адвокатов срок заключения был уменьшен. Ожидалось, что сестра Джейнса, Джесика ДеГрут (Jessica DeGroot), которая, по данным следствия, играла второстепенную роль в криминальных делах брата, по решению суда заплатит штраф в размере 7,5 тысяч долларов. Однако решением судьи Томаса Хорна (Thomas Horne) Джессика ДеГрут признана невиновной. По словам судьи, он не нашел "рациональных оснований" для вынесения приговора и поинтересовался, не запутали ли суд присяжных технические детали обвинения. Кроме того, судья предположил, что присяжные могли просто "потеряться" в новом антиспамовом законе штата. Несмотря на то, что законы штата Вирджиния - самые суровые в США, в этом деле двое из троих обвиняемых были оправданы. Третий обвиняемый, Ричард Рутковски (Richard Rutkowski), который разослал 10000 спамовых писем за три дня в июле 2003 года, был признан невиновным судом присяжных в ноябре прошлого года. Адвокат Джеймса намерен подать апелляцию. Источник: CNN Agava Spamprotexx 05.03.2005 Компания Agava, занимающаяся хостингом, разработала Agava SpamProtexx - программу фильтрации спама, работающую на стороне компьютера пользователя. Spamprotexx не требует настройки почтового клиента. Программа работает на низком системном уровне, фильтруя POP3 и IMAP соединения, что позволяет работать с любым почтовым клиентом, поддерживает защищенные SSL соединения. Механизм идентификации спама основан на Байесовском алгоритме. Пользователю предстоит "натренировать" фильтр, отмечая письма, которые он относит к спаму и не-спаму. По утверждению разработчиков, им удалось решить некоторые проблемы, связанные с использованием Байесовского алгоритма фильтрации: система чувствительна к ошибкам в обучении, решена проблема излишнего обучения базы данных, исключено влияние тегов и служебных частей речи на классификацию, при классификации используются заголовки сообщений. Spamprotexx не удаляет письма, идентифицированные как спам, а добавляет специальную спам-метку в строку Subject. Для снижения уровня ложных срабатываний рекомендовано "поместить спам-отсечку в Spamprotexx на 80 или даже 90%". Любопытное обсуждение нового фильтра можно посмотреть здесь. Комментарий Игоря Ашманова - в разделе "Записки антиспамеров" на сайте Спамтест. Источник: Agava MessageLabs и Symantec: сотрудничество продолжается 05.03.2005 Компания MessageLabs объявила о развитии своей глобальной антиспамовой инфраструктуры. Речь идет о защите периметра сети 14 информационных центров MessageLabs с помощью технологии формирования почтового трафика компании Symantec. Использование новой технологии повысит качество услуг управляемого антиспамового сервиса Messagelabs, обслуживающего организации в разных странах. MessageLabs и Symantec объявили о техническом партнерстве в создании расширенного управляемого антиспамового сервиса в сентябре 2004 года. В рамках соглашения MessageLabs уже использовала технологию Symantec Brightmail Anti-Spam вместе с собственной технологией Skeptic при создании решения MessageLabs Anti-Spam 4.0. Технология Symantec (traffic shaping technology) работает на уровне TCP/IP протокола, уменьшая объем входящего известного спама даже в тех случаях, когда спамеры его наращивают. Технология идентифицирует недобросовестных отправителей и уменьшает скорость соединения с ними на уровне сети, приводя, в конечном итоге, к снижению скорости вхождения пакетов в сеть. Это не только замедляет движение потока пакетов в сети MessageLabs, но и может вызвать затор трафика на спамерских серверах. По словам Энрике Салема (Enrique Salem), вице-президента компании Symantec, скорость движения сообщений нелегитимных отправителей замедляется, а легитимные отправители получают преимущество, поскольку их почта больше не должна конкурировать за ресурс со спамом. "Формируя [трафик] на уровне TCP/IP протокола, MessageLabs может уменьшить объем нежелательных сообщений, адресованных ее клиентам, освободив полосу пропускания в своей глобальной инфраструктуре", сказал Салем. Президент MessageLabs Джос Вайт (Jos White) отметил, что внедрение еще одного уровня защиты для идентификации известного спама на внешних границах глобальной сети компании позволит MessageLabs сосредоточиться на собственной технологии идентификации новых образцов спама и других угроз. В настоящее время антиспамовый сервис MessageLabs предоставляет услуги фильтрации спама более 10000 клиентам и организациям в 12 странах мира. Источник: MessageLabs Новые клоны Bagle распространяются с помощью спам-рассылок 05.03.2005 "Лаборатория Касперского" сообщает о распространении новых модификаций сетевого червя Email-Worm.Win32.Bagle. Данная эпидемия вызвана серией спам-рассылок зараженных червем писем. Новые варианты червя представляют собой различные варианты паковки одной и той же вредоносной программы, отличительной особенностью которой является отсутствие функции размножения. Email-Worm.Win32.Bagle относится к классу так называемых intended-червей. Самостоятельно с пораженного компьютера вредоносный код не распространяется. Многочисленные случаи обнаружения в почтовом трафике новых модификаций Bagle подтверждают информацию о том, что данная эпидемия вызвана серией спам-рассылок зараженных червем писем. Новые варианты Bagle рассылаются через электронную почту в виде вложений в электронные письма. Червь представляет собой исполняемый в среде Windows файл, запуск которого происходит после открытия пользователем вложения. После запуска червь копирует себя в системный каталог Windows и регистрирует себя в ключе автозапуска системного реестра. При этом вредоносная программа прерывает процессы, осуществляющие персональную защиту компьютера и локальных подсетей, оставляя атакованный компьютер незащищенным. Зараженные письма содержат либо произвольные либо отсутствующие заголовки и текст. Название, формат и размер приложенного файла также произвольны. Это не позволяет выявить зараженное письмо по его формальным признакам, поэтому "Лаборатория Касперского" призвала пользователей к максимальной осторожности. В настоящее время "Лабораторией Касперского" обнаружены 9 различных вариантов червя. Процедура выявления и нейтрализации новых модификаций Bagle добавлена в базу данных "Антивируса Касперского". Источник: CNews.ru Спам - статистика за период 28 февраля - 6 марта 2005 г. Ашманов и Партнеры Объем спама и тематические особенности К концу прошлой недели зафиксировано незначительное уменьшение объемов спама до 70-75% от общего почтового трафика Рунета. Зафиксирован существенный прирост предложений тематик "Образование" (в основном, тематика представлена рекламой курсов и семинаров) и "Компьютеры и Интернет" (реклама дешевого программного обеспечения). После спада, продолжавшегося несколько недель, снова выросло количество спама "Для взрослых". Популярные тематики No Тематика Описание %% от общего объема Изменение за неделю 1 Разные товары и услуги Предложения других товаров и услуг 27% +3% 2 Образование Реклама семинаров, тренингов, курсов 17% +6% 3 Для взрослых Средства для повышения потенции (виагра и пр.), а также для улучшения физических возможностей при занятих сексом 12% +7% 4 Компьютеры и Интернет Предложения приобрести ПО, компьютерную технику, расходные материалы; также предложения для владельцев сайтов (хостинг, обмен баннерами и т.п.) 10% +6% 5 "Здоровый образ жизни" и "Медикаменты" Предложения сбросить лишний вес, улучшить состояние кожи, волос; приобрести правильную осанку, купить биологические добавки и т.п. Предложения приобрести лекарства в online 8% -3% 6 Остальной спам   7% -16% 7 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. 6% Без изменений 8 Мошенничество Фишинг, "нигерийские" письма, поддельные извещения о выигрыше в лотерею и пр. попытки мошенничества 6% -4% 9 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма. 4% -3% 10 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий. 3% Без изменений Самое "технически" оригинальное "Буквы" этого спамерского сообщения складывается из 24-х буквенных случайных последовательностей, набранных очень мелким размером шрифта. Это письмо, а также cамое массовое и самое оригинальное письмо недели Вы найдете на сайте Спамтест. Некоторые автоматические методы детектирования спама, доступные большим почтовым системам. Часть 2 Илья Сегалович Яндекс Полный текст статьи - на сайте Спамтест. Анализ эффективности Принципы эксперимента В Яндексе уже используются некоторые описанные выше алгоритмы при определении спама. Нам интересно было сравнить эффективность работы наших систем с другими русскоязычными системами, представленными на рынке. Для этого был предпринята попытка поставить эксперимент 'вживую', то есть подвергнуть длительному (два месяца) мониторингу несколько почтовых ящиков, использующих для фильтрации спама текущие работающие версии антиспамовых систем в строго параллельном режиме. Объем тестирования (число писем и почтовых ящиков) был не настолько велик, чтобы можно было данный эксперимент считать полностью репрезентативным. Кроме того, не все системы находились в равных условиях, в частности, две системы из четырех могли быть более тщательно настроены именно на режим, в котором проходило тестирование, то есть режим сквозной пересылки. Вместе с тем следует отметить несколько обстоятельств, которые, как нам кажется, делают этот эксперимент достаточно интересным. Во-первых, данный тип анализа редко встречается в литературе, так как требует большого ручного труда и времени, а его результаты не являются возобновимыми: ведь и характеристики потока спама и алгоритмы его подавления меняются ежедневно или даже ежечасно, то есть прямо по ходу эксперимента. Однако, с нашей точки зрения, оба фактора можно отнести к достоинствам данного типа анализа, так как резко повышают его реалистичность. Особенно по сравнению с ретроспективным анализом или анализом, не опирающимся на полный ручной разбор потока. Другим плюсом данного типа анализа можно считать персонализированный характер принятия решений: хозяин ящика лично решал, является ли данное письмо спамом. Как отмечалось в [1] значительная доля писем не может быть уверено детектирована никем кроме хозяина ящика. Описание эксперимента и участвующих систем В течение двух месяцев, с 19 февраля по 16 апреля 2004 года, почтовый сервер владельца ящика принимал корреспонденцию на два адреса, существующие с 1997 и 2000-го года, соответственно. Он был настроен на пересылку входящей корреспонденции по 5-ти адресам: 4 адреса были размешены на публичных сервисах, доступных на тот момент в Рунете, и позволявших использование в качестве фильтра, 5 й адрес был контрольным адресом, на котором была отключена фильтрация. [M] antispamcompare@mail.ru - настройки: УДАЛЯТЬ СПАМ. ПЕРЕСЫЛАТЬ НА 'контрольный ящик' [Y] antispamcmp@yandex.ru - настройки: УДАЛЯТЬ СПАМ. ПЕРЕСЫЛАТЬ НА 'контрольный ящик' [T] antispamcompare@spamtest.ru - настройки: ПОМЕЧАТЬ В ЗАГОЛОВКЕ. ПЕРЕСЫЛАТЬ НА 'контрольный ящик' [O] antispamcmp@so.yandex.ru - настройки: ПОМЕЧАТЬ В ЗАГОЛОВКЕ. ПЕРЕСЫЛАТЬ НА 'контрольный ящик' 'контрольный ящик' При помощи модуля языка фильтрации SIEVE [11] письма, поступающие из названных пяти мест в 'контрольный ящик', раскладывались по пяти фолдерам2. Заметим, что разница между настройками сервисов M,Y и T,O была вызвана тем, что первые два сервиса не позволяют одновременно и пропускать спам и помечать его в заголовках. Тем не менее, предполагая, что входной поток для всех сервисов одинаков, этим различием для наших целей можно пренебречь, ведь недостающие характеристики можно получить, используя данные других сервисов или 'контрольного ящика'. Заметим, что один из входящих почтовых ящиков представляет собой популярное женское имя на популярном сервере, поэтому в числе писем, полученных на него, было некоторое количество ошибочно отправленных сообщений. Всего за это время поступило 1222 письма. Из них 17 персональных писем, предназначенных владельцу ящика. Все 17 были пропущены всеми 4-мя системами. Еще 16 писем пришли от незнакомых владельцу ящика людей и не были предназначены владельцу ящика. 13 от некой Ирины из Санкт-Петербурга и 3 письма от некой Алии. Первый автор (Ирина) активно рассылал по большому количеству адресов (более 2-х десятков) различные бородатые истории, анекдоты и картинки. Владелец ящика идентифицировал все эти письма как нежелательные. Система T пропустила все 13 писем от Ирины, система M пропустила 12, O - 8 и Y - 5. Все 3 письма Алии, также безадресные и 'бессмысленные', были пропущены всеми системами. В нижеследующих таблицах и графиках все безадресные письма считаются спамом. 9 писем представляли собой автоматически посланные сообщения: рассылки и уведомления. Мы могли бы выделить для таких сообщений отдельный класс, если бы все исследуемые системы одинаково их трактовали. К сожалению, это не так: в системах O и Y такие сообщения относятся к обобщенному классу Спам+Рассылки, в системе T эти сообщения получали признак FormalMessage. При этом она сама не афишировала данную возможность и не демонстрировала высокой точности в их детектировании. Только 7 из 9 сообщений данного класса носили признак FormalMessage, при этом к тому же классу были отнесены 6 явно безадресных, хотя и автоматических писем. В нижеследующих таблицах и графиках все такие письма считаются спамом. Опишем чуть подробнее класс автоматических писем. Из 9 'автоматических' писем 5 писем были отправлены от незнакомых владельцу сервисов и людей (2 - чьи-то попытки регистрации с неправильным обратным адресом, 2 открытки и 1 уведомление о посланной открытке), то есть, фактически, представляли собой автоматический или полуавтоматический способ знакомства. 4 'корректных' 'автоматических' письма из 9 пришли от offline-сервисов ('Росинтер Почетный Гость' и 'Citibank Alerting Service'), электронный адрес получателя был взят из рукописной анкеты и не был ими проверен; согласия получать рекламные электронные письма владелец ящика никогда не выражал. В соответствующих рукописных анкетах нет предупреждения о том, что заполнение поля e-mail автоматически означает получение рекламных писем от вышеназванных компаний. 2 Автор статьи готов предоставить полученную коллекцию в размеченном виде>> Результаты эксперимента Количество пропущенных спамовых писем (при принятом выше определении спама), полученных разными системами в ходе эксперимента, представлено в следующей таблице: Название участвующей системы и ее идентификатор Число пропущенных спамовых писем Эффективность [Y] mail.yandex.ru 107 91.5% [O] so.yandex.ru 229 81.9% [M] www.mail.ru 288 77.2% [T] www.spamtest.ru 378 70.1% Очевидно, что относительно небольшая по объему 'серая зона', условия интерпретации которой подробно описаны выше, слабо влияет на данные показатели. Важным показателем достоверности полученных оценок является их стабильность. В следующей иллюстрации представлен график 'среднего ежедневного' потока пропущенного спама для каждой системы за 53 дня наблюдений, где под 'средним ежедневным' потоком понимается среднее число спамовых писем в данный день эксперимента, три предшествующих ему и три следующих за ним дня. Рисунок 2. Абсолютное, осредненное по неделе, число спамовых писем, пропущенных системами в день Несмотря на то, что абсолютное число пропусков спама сильнее зависит от интенсивности и характеристик потока, наблюдается достаточно устойчивая картина относительной эффективности систем. Чтобы подчеркнуть стабильность работы разных алгоритмов, приведем график относительного пропуска спама, приняв объем пропусков наименее эффективной системы [M] за единицу. Рисунок 3. Осредненное по неделе число спамовых писем, пропущенных системами в день, нормированное к системе [M] Можно видеть, что эффективность систем [O] и [Y] в начале наблюдаемого периода была очень близка. Затем, к примерно 20-му дню эксперимента, эффективность [O] постепенно упала, а затем, буквально за 5 следующих дней, опять достигла уровня [Y]. Можно сделать вывод (подтверждаемый свидетельствами разработчиков), что системой [O] 'плотно не занимались', а примерно в 20-й день эксперимента, заимствовали техники и опыт из системы [Y], что привело к скачкообразному повышению эффективности. Второе наблюдение состоит в том, что хотя системы [T] и [M] стартовали с одинаковой эффективностью, эффективность системы [T] последовательно нарастала и к концу периода приблизилась к эффективности системы [Y]. Заключение В заключении хочется подчеркнуть следующее. Полностью автоматические метрики в крупных антиспамовых системах не только имеют право на существование, но и достаточно эффективны, особенно в сочетаниях с другими факторами. Антиспамовые системы демонстрируют относительно стабильную эффективность, однако требуют постоянного 'ухода' и присмотра Существует возможность (хотя и не дешевая) достаточно точного внешнего мониторинга их эффективности, хорошо согласующегося с эффективностью реально использующихся в них алгоритмов и техник Литература Принципы и технические методы работы с незапрашиваемой корреспонденцией // И. Сегалович, Д. Тейблюм, А. Дилевский // Яндекс // http://company.yandex.ru/articles/spamooborona.html Технология Спамтест. Описание технологии // Ашманов и Партнеры // http://www.spamtest.ru/products.html?chapter=9149 Яндекс: решение различных проблем безопасности // Дискуссия к статье // http://hostinfo.ru/htmltree/internet/vip/yandex/security Finding similar files in a large file system // U. Manber // USENIX Conference 1994 // http://citeseer.ist.psu.edu/manber94finding.html On the resemblance and containment of documents // A. Broder // digital Systems Research Center // http://ftp.digital.com/pub/Digital/SRC/publications/broder/positano-final-wpnums.pdf A large-scale study of the evolution of web pages // D. Fetterly, M. Manasse, M. Najork, J. Wiener // WWW Conference 2003 // http://www2003.org/cdrom/papers/refereed/p097/P97%20sources/p97-fetterly.html An efficient method to detect duplicates of Web documents with the use of inverted index // S. Ilyinsky, M. Kuzmin, A. Melkov, I. Segalovich // WWW Conference 2002 // http://www2002.org/CDROM/poster/187/ Collection statistics for fast duplicate document detection // A. Chowdhury, O. Frieder, D. Grossman, M. McCabe // ACM Transactions on Information Systems (TOIS), Vol. 20, Issue 2 (April 2002) // http://portal.acm.org/citation.cfm?id=506311 Improved Robustness of Signature-Based Near-Replica Detection via Lexicon Randomization // A. Kołcz, A. Chowdhury, J. Alspector // KDD 2004 // http://ir.iit.edu/~abdur/publications/470-kolcz.pdf The Impact of Feature Selection on Signature-Driven Spam Detection // A. Kołcz, A. Chowdhury, J. Alspector // CEAS 2004, The First Conference on Email and Anti-Spam // http://www.ceas.cc/papers-2004/147.pdf Sieve. A Mail Filtering Language // http://www.cyrusoft.com/sieve Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003-2004