Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 86 в этом номере: Новости Спам - статистика за период 31 января - 5 февраля 2005 г. Алгоритм Chung-Kwei: автоматическая классификация писем на основе выявления повторяющихся шаблонов Андрей Калинин, "Ашманов и Партнеры" Новости Новое изобретение спамеров 03.02.2005 Британская компания Spamhaus предупреждает об использовании спамерами нового приема: "зомбированные" машины рассылают спам через почтовые серверы обслуживающих их ISP. Этот трюк значительно снизит эффективность использования черных списков при фильтрации спама. До сих пор "зомбированные" ПК применялись в качестве почтовых серверов, рассылая спам непосредственно получателям. Многие ISP в США заблокировали 25-й порт, чтобы пресечь распространение спама с затрояненных компьютеров пользователей. Это помогло ограничить объемы исходящего спама из некоторых широкополосных сетей. Новое спамерское ПО заставляет "зомби"-машину посылать спам через своего ISP. В результате спам приходит якобы от интернет-сервис провайдера, что затрудняет использование черных списков при фильтрации входящей корреспонденции, поскольку блокировать почту по именам доменов крупных ISP не имеет смысла. Прогнозы директора Spamhaus Стива Линфорда (Steve Linford) довольно мрачные. По его мнению, "это начало краха системы электронной почты". Линфорд считает, что в ближайшие два месяца ISP зафиксируют рост объема получаемого и рассылаемого ими спама, а уровень спама в течение года увеличится с 75% до примерно 95% всех электронных сообщений. Это приведет к "гигантским" задержкам при доставке почты и отказам серверов. Линфорд призывает ISP действовать быстро, чтобы "взять проблему под контроль". "Им нужно ограничить число электронных писем, поступающих от пользователей ADSL. Им нужно быстро фильтровать вирусы. У ISP слишком много спама и слишком мало людей, чтобы обзванивать пользователей и сообщать им, что их машины затроянены". Компания MessageLabs подтвердила появление нового спамерского метода. "Таким способом спамеры затрудняют ведение черных списков, - говорит главный технолог MessageLabs Марк Саннер (Mark Sunner). - Это заставит ISP больше интересоваться своим трафиком и фильтрацией исходящего спама". Линфорд предполагает, что американские ISP уже могут быть задействованы в распространение спама по новой методике. "Мы наблюдали резкий всплеск спама, исходящего от крупных ISP. В настоящее время с почтовых серверов всех ISP уходят большие объемы спама", - говорит Линфорд. Хотя представители некоторых крупнейших интернет-провайдеров США, опрошенных News.com, признали, что такая проблема существует, они считают, что до краха электронной почты еще далеко. Time Warner Cable, вторая по величине компания кабельного телевидения в США, обеспокоена этим "векторным" спамом, как его называют в компании. Для борьбы с ним ее ISP-подразделение Road Runner установило определенные ограничения на исходящую почту. Компания Earthlink, которая предоставляет услуги dial-up и широкополосного доступа, сообщила, что фиксирует постепенный рост объема спама, исходящего с ее легитимных почтовых серверов, с начала 2004 года. По утверждению представителей Earthlink, компания приняла защитные меры, такие как аутентификация SMTP-серверов и изменение маршрута легитимной почты. Трип Кокс (Trip Cox), главный технолог Earthlink, утверждает, что благодаря этим мерам уровень спама в исходящей почте постепенно удалось уменьшить с 30% до 2%. Что же касается входящей корреспонденции, то кроме черных списков существуют и другие методы фильтрации спама (например, контентная фильтрация), на эффективность которых новое изобретение спамеров никак не повлияет. Так что, будем надеяться, апокалиптические прогнозы Линфорда относительно будущего электронной почты не обоснованы. Источник: CNET News.com Источник: ZDNet Американский бизнес тратит на удаление спама 22 миллиарда долларов в год 03.02.2005 Затраты рабочего времени на удаление спама обходятся американским компаниям в $21,6 миллиардов. Таковы результаты исследования Университета штата Мэриленд. Согласно результатам проведенного в ноябре прошлого года телефонного опроса 1000 взрослых американцев, более 75% американских пользователей Интернета получают спам ежедневно, при этом число спамовых писем составляет в среднем 18,5, а время, которое каждый день тратится на их удаление, - 2,8 минут. Исходя из суммы среднего годового дохода американцев, исследователи подсчитали, что потери времени на удаление спама в течение года эквивалентны $21,6 миллиардам долларов. В ходе исследования также выяснилось, что 14% получателей читают спамовые письма, а 4% в течение года покупали предлагаемые спам-рекламой товары. Погрешность полученных результатов составляет 3%. Источник: Associated Press 9% интернет-пользователей в России пользовались информацией из спам-сообщений 08.02.2005 Согласно результатам интернет-опроса, проведенного социологами компании "Росбизнесконсалтинг", 9% респондентов пользовались информацией из спам-сообщений. Слабым утешением может служить тот факт, что 8% делают это "очень редко", а 1% утверждает, что "больше не будет". В интернет-опросе участвовали 10486 человек. Ответы распределились следующим образом. Пользуетесь ли вы информацией из спам-сообщений? Нет, я удаляю эти сообщения, не читая - 77% Нет, но я, как правило, читаю эти сообщения - 7% Да, но очень редко - 7% Я никогда не получаю спама - 4% Я не знаю, что это такое - 2% Да, пользуюсь - 1% Пользовался, но больше не буду - 1% У меня нет электронной почты - 1% Просуммировав 1%, ответивших "да", 7% - "да, но очень редко" и 7% тех, кто, как правило, читает спам-сообщения, но не пользуется информацией из них, нетрудно подсчитать, что в целом спамовые письма читают 15% опрошенных, а 8% хотя бы иногда пользуются спам-рекламой. "Коммерсант", опубликовавший результаты исследования РБК, приводит данные, согласно которым число интернет-пользователей в России оценивается в 17 млн человек. Исходя из этой цифры и полученных результатов опроса, "читательская аудитория" спам-рассылок составляет 2,55 млн пользователей, а откликаются на спам-рекламу 1,36 млн. Любопытно, что нашлись среди респондентов и такие счастливчики, которые никогда не получали спам или даже не знают, что это такое. Источник: "Коммерсантъ-Власть" Автора! Автора! 08.02.2005 Компания Spamhaus, объявившая о появлении новой технологии спамерских рассылок, обвиняет в создании нового ПО российских спамеров. Spamhaus утверждает, что создателями большей части спамерского ПО, используемого для рассылки спама с машин-'зомби', являются российские спамеры, действующие в США. Называются даже имена - Руслан Ибрагимов и Алексей Панов. Именно Ибрагимову приписывается авторство ПО под названием 'Sand-Safe', одна из составляющих которого - 'Use proxy's MX' - и позволяет осуществлять рассылку спама с 'зомби'-машин непосредственно через почтовые серверы обслуживающих их провайдеров. Согласно опубликованной на сайте Spamhaus информации, более 70% спама в настоящее время рассылается с затрояненных компьютеров пользователей, число которых еженедельно возрастает на 80000-100000. На сайтах спамеров и в закрытых форумах, большинство из которых хостятся в Китае, России и во Флориде, продаются списки 'свежеинфицированных' машин. Спамеры также обмениваются информацией о новых спам-технологиях. По мнению Spamhaus, новый спамерский прием чреват резким увеличением объема спама: к середине 2006 года он может вырасти с нынешних 75% до 95%. По информации AOL, который одним из первых ISP заметил изменения в спамерских рассылках, в настоящее время 90% получаемого им спама рассылается с использованием нового трюка. В пособничестве спамерам Spamhaus обвиняет MCI Worldcom, в сети которого, по информации компании, вот уже более года хостится сайт, продающий нелегальное спамерское ПО 'Sand-Safe'. Spamhaus призывает ISP отнестись к спамерским нововведениям как к серьезной угрозе и принять меры защиты, включающие разделение входящих и исходящих SMTP-серверов и аутентификацию электронной почты для всех клиентов. Источник: Spamhaus Источник: vnunet.com (Yahoo!) 13 стран Европы объединяют усилия в борьбе со спамом 08.02.2005 13 европейских государств договорились о совместных мерах по выявлению и пресечению на территории этих стран деятельности спамеров, рассылающих спам пользователям других стран. Договор подписали представители Австрии, Бельгии, Кипра, Мальты, Чехии, Франции, Дании, Греции, Ирландии, Италии, Литвы, Голландии и Испании. Совместные действия в борьбе со спамом должны облегчить идентификацию и привлечение к ответственности спамеров в этих странах и закрыть те лазейки, которые они используют. Соглашение предусматривает обмен информацией между сторонами, в том числе пересылку жалоб на спамеров. Соответствующие органы стран-участников договора взяли на себя обязательства предпринимать все необходимые усилия при рассмотрении полученных жалоб. Представитель Еврокомиссии Вивьен Рейдинг (Viviane Reding) призвала остальные страны Евросоюза присоединиться к добровольному соглашению. По словам Рейдинг, власти этих стран должны иметь возможность эффективно бороться со спамом, рассылаемым из других стран Евросоюза, хотя в настоящее время львиная доля спама попадает в Европу извне. В прошлом году аналогичное соглашение было подписано между США, Англией и Австралией. Источник: OUT-LAW.COM Судья принял признание вины от бывшего инженера AOL, укравшего 92 млн. адресов клиентов провайдера 08.02.2005 Бывший инженер AOL Джейсон Сматерс (Jason Smathers) признал себя виновным в краже и продаже спамерам 92 миллионов электронных адресов клиентов America Online. Это уже вторая - и на сей раз успешная - попытка обвиняемого признать себя виновным. Первый раз, в декабре, судья признание Сматерса не принял, заявив, что он не уверен в том, действительно ли имело место нарушение федерального антиспамового закона - Can-Spam Act. По его словам, у него остались чисто технические вопросы. Напомним, что в 2003 году Сматерс, воспользовавшись чужим паролем, украл 92 млн. электронных адресов, а также почтовые адреса, телефонные номера и данные о типах кредитных карточек 30 млн. клиентов AOL. Как выяснилось в ходе расследования, Сматерс продал список адресов владельцу интерактивного казино, который разослал по ним свою рекламу, после чего перепродал список спамерам. В результате, на адреса клиентов AOL было разослано около 7 миллиардов незапрошенных сообщений Как полагают, украденными Сматерсом адресами спамеры пользуются до сих пор. Сматерс обвиняется в краже собственности, передаче краденого за пределы штата и нарушении Can-Spam Act. Если бы Сматерс не признал себя виновным, он мог бы лишиться свободы на срок до 15 лет. Сейчас 24-летнему Сматерсу грозит лишение свободы сроком от 18 месяцев до 2 лет. Кроме того, ему предстоит возместить убытки AOL, сумма может составить от $200000 до $400000. Приговор суда будет оглашен в мае. Источник: TechWeb (Yahoo!) Спам - статистика за период 31 января - 5 февраля 2005 г. Ашманов и Партнеры Объем спама и тематические особенности На прошлой неделе были зафиксированы колебания объема спама от 60% (середина недели) до 80 % (конец недели). В целом, ситуация с количественным и качественным распределением спама достаточно стабильная. Популярные тематики No Тематика Описание %% от общего объема Изменение за неделю 1 Разные товары и услуги Предложения других товаров и услуг 26% -8% 2 Остальной спам   14,5% +2% 3 Для взрослых Средства для повышения потенции (виагра и пр.), а также для улучшения физических возможностей при занятих сексом 14% +1,5% 4 Образование Реклама семинаров, тренингов, курсов 11% Без изменений 5 Мошенничество Фишинг, "нигерийские" письма, поддельные извещения о выигрыше в лотерею и пр. попытки мошенничества 10% +4% 6 "Здоровый образ жизни" и "Медикаменты" Предложения сбросить лишний вес, улучшить состояние кожи, волос; приобрести правильную осанку, купить биологические добавки и т.п. Предложения приобрести лекарства в online 8% -2% 7 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. 6% +3% 8 Компьютеры и Интернет Предложения приобрести ПО, компьютерную технику, расходные материалы; также предложения для владельцев сайтов (хостинг, обмен баннерами и т.п.) 5% Без изменений 9 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма. 3% Без изменений 10 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий. 2,5% -1,5% Попытка запустить цепочечные письма На прошлой неделе было зафиксировано письмо, которое, судя по всему, рассылалось с целью запустить очередную волну так называемых цепочечных писем. В данном случае послание относилось к категории "писем несчастья" и содержало предупреждение о якобы готовящихся в Москве терактах. Это письмо, написанное от имени американских спецслужб и с адресом отправителя info@state.gov, получили в редакции одной из газет. Кроме того, оно рассылалось по адресам бесплатной почты, в частности, на rambler. Это письмо, а также самое короткое сообщение "Доктор" и самый массовый спам недели - ФОНАРЬ "ЗВЕЗДА ФАРАДЕЯ" - Вы найдете на сайте Спамтест. Алгоритм Chung-Kwei: автоматическая классификация писем на основе выявления повторяющихся шаблонов Андрей Калинин Ашманов и Партнеры Алгоритм, разработанный IBM Research специально для нового почтового фильтра SpamGuru. Заявленная авторами точность распознавания спама составляет 96% при 0.06% ложных срабатываний. Алгоритм Teiresias Алгоритм предназначен для поиска в массиве строк повторяющихся последовательностей (шаблонов). Был разработан группой биоинформатики исследовательского центра IBM для исследования цепочек ДНК. Подробное описание см. в работе [1], исследование сложности в [2]. Задан массив строк в алфавите A. Будем считать шаблоном (в терминах алгоритма Teiresias) последовательность следующего вида: A(A|.)*A. То есть шаблоном является строка, начинающаяся и кончающаяся символами из алфавита A, между которыми находится любая комбинация символов алфавита A и специального символа '.' (точка). Шаблон является регулярным выражением, в котором специальный символ '.' соответствует любому символу алфавита A. Тем самым шаблон P определяет язык G(P). К примеру, если задан шаблон BC.D.E, то его язык будет содержать, в частности, следующие строки: BCCDCE, BCEDCE, BCBDBEБ и т.п. Для шаблона P каждая его подстрока, так же являющаяся шаблоном, называется внутренним шаблоном шаблона P. Шаблон P называется (L,W)-шаблоном, если каждый его внутренний шаблон длины W или более содержит как минимум L символов алфавита A. Понятно, что если шаблон P является (L,W)-шаблоном, то он также является и (L,W+1)-шаблоном. Строка символов алфавита A называется подпадающей под шаблон P, если содержит в себе подстроку из языка G(P). Если задан набор строк S={s1,s2,...,sn}, то для шаблона P можно определить следующее множество смещений: Ls(P)={(i,j)| строка si содержит в себе строку языка G(P), начиная со смещения j}. Шаблон P´ называется более характерным, чем P, если он может быть получен из P путем замещения одного или более специальных символов '.' на символы алфавита A или через дописывания справа или/и слева строк, состоящих из специальных символов и символов алфавита A. Очевидно, что |Ls(P´)|≤|Ls(P)|. Шаблон P называется максимальным для множества S, если не существует более характерного шаблона P´, такого что |Ls(P´)|=|Ls(P)|. Алгоритм Teiresias позволяет по множеству строк S={s1,s2,...,sn} в алфавите A и параметрам L, W, K найти все максимальные (L,W)-шаблоны, под которые подпадают как минимум в K различных строк множества S. Подробное описание алгоритма Teiresias см. в [1, 2]. Попробовать алгоритм в действии можно на сайте группы биоинформатики исследовательского центра IBM: http://cbcsrv.watson.ibm.com/Tspd.html. Алгоритм Chung-Kwei Алгоритм Chung-Kwei основан на применении алгоритма Teiresias для поиска шаблонов в электронных сообщениях и разработан для спам-фильтра компании IBM SpamGuru. Алгоритм является целиком эвристическим, то есть не имеющим под собой точного обоснования. Письма представляются в виде строк в алфавите ASCII. Авторы предполагают разделение писем на две части: техническая информация (заголовки) и тело письма, после чего предлагается использовать алгоритм раздельно для обеих частей. Тем не менее, в его описании [3] авторы используют только тело письма без технической информации. Алгоритм выполняется в два этапа - построение базы шаблонов (обучение) и применение шаблонов для классификации письма. Для построения базы шаблонов (словаря спама) используется исходный набор спама, для которого применяется алгоритм Teiresias с некоторыми заданными (L,W) и K=2. Понятно, что полученные шаблоны являются характеристиками документов и могут лежать в основе любого иного метода автоматической классификации, например, Байесовского классификатора. Если кроме набора спама есть и набор нормальной почты, то шаблоны выделяются и из него. Их можно использовать для того, чтобы удалить из словаря спама лишние шаблоны и тем понизить вероятность ложных срабатываний. После получения словаря спама можно выполнять классификацию писем. Она заключается в том, что в письме ищутся вхождения шаблонов из словаря спама. Если количество найденных шаблонов невелико (меньше заранее заданного порога), то классификация прекращается, и письмо считается "не спамом". Для каждого символа обрабатываемого письма заводится отдельный счетчик, изначально устанавливаемый в 0. Каждое вхождение шаблона в письмо также соответствует вхождениям этого же шаблона в некоторые письма исходного набора. Для каждого такого вхождения по таблице соответствий символов начисляются очки в счетчики. Например, обрабатываемое письмо содержит подстроку ABCD, соответствующую найденному шаблону, и вхождение в базу содержит подстроку AbCD. Тогда каждому из четырех счетчиков, соответствующих символам этой строки в обрабатываемом письме, добавятся очки для пар символов (A,A), (B,b), (C,C) и (D,D) соответственно. Таблица соответствий символов заполняется изначально, исходя из прагматических соображений о степени "похожести" символов. Если после завершения обработки шаблонов процентное количество ненулевых счетчиков (покрытие письма шаблонами) для обрабатываемого письма будет невелико (меньше заданного порога), то письмо считается "не спамом". В противном случае письмо считается "спамом". Найденные спамерские письма могут автоматически добавляться в базу и использоваться для обучения алгоритма на лету. Результаты классификации спама, указанные авторами в [3], есть 96% распознавания спама и 0,06% ложных срабатываний. Более подробное описание алгоритма Chung-Kwei и результатов его тестирования можно найти в [3]. Выводы Предложенный в работе [3] алгоритм обладает достаточно узкой областью применения. Очевидно, что его использование у конечного получателя почты невозможно в силу того, что обучающая база спамерских сообщений должна быть большой и разнообразной (в [3] авторы использовали более 65 тысяч писем). Сложно ожидать, чтобы обычный конечный пользователь имел бы такое количество спама. Кроме того, предполагается, что все письма, на которых производилось обучение, должны оставаться доступными при классификации почтовых сообщений (по ним рассчитывается покрытие шаблонами обрабатываемого письма). Если принять средний размер письма за 5КБ, то 65 тысяч писем потребуют более 300МБ на жестком диске. Таким образом, конечный пользователь для использования алгоритма Chung-Kwei в своем почтовом клиенте должен будет получить как минимум 300МБ архива спама и постоянно выкачивать обновления для него. Таким образом, использование непосредственно описанного выше алгоритма Chung-Kwei на почтовых клиентах сильно затруднено. Серверное же применение данного алгоритма, как и любого другого алгоритма, основанного на обучении, ограничено прежде всего отсутствием базы "не спама", которую очень сложно получить. И хотя авторы утверждают, что использование базы "не спама" для очистки словаря спамерских шаблонов необязательно, тем не менее они не приводят данных о ложных срабатываниях в случае отказа от этой операции. Можно предположить, что результат не будет очень хорошим. С другой стороны, может оказаться, что отсутствие вычистки по базе "не спама" приведет лишь к увеличению порогов количества совпавших шаблонов и покрытия письма, хотя это маловероятно и требует исследования на таких сложных категориях для классификации, как, например, приглашения на семинары. Тем не менее, сама идея использования алгоритма Teiresias для выделения характерных признаков спама, которую авторы работы [3] хотели продемонстрировать при помощи алгоритма Chung-Kwei, очевидно, является удачной. Например, при помощи алгоритма Teiresias и при наличии достаточного количества спама для обработки становится возможным упростить труд лингвистов по выделению характеристических особенностей спама. Ссылки [1] I. Rigoutsos, A. Floratos. Combinatorial pattern discovery in biological sequences: the TEIRESIAS algorithm. Bioinformatics, Vol .14, no. 1, 1998. >> [2] A. Floratos, I. Rigoutsos. Research report: On the time complexity of the TEIRESIAS algorithm. IBM Research division, RC21161(94582)21APR98, 1998. >> [3] I. Rigoutsos, T. Huynh. Chung-Kwei: a pattern-discovery-based system for the automatic identification of unsolicted e-mail messages (SPAM). >>   Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003-2004