Электронный журнал "Спамтест" No. 171 в этом номере: Новости Спам - статистика за период 20 - 26 ноября 2006 г. Возможные методы борьбы со спамом в IM и блогах Новости "Лаборатория Касперского" представляет первый пакет обновлений для Kaspersky Anti-Spam 3.0 27.11.2006 "Лаборатория Касперского", ведущий российский разработчик систем защиты от вирусов, хакерских атак и спама, сообщает о выходе пакета обновлений Maintenance Pack 1 для системы фильтрации нежелательной корреспонденции Kaspersky Anti-Spam 3.0. Главная цель выпуска Kaspersky Anti-Spam 3.0.255.0 Maintenance Pack 1 - необходимость противодействия быстро развивающимся и совершенствующимся спамерским технологиям, которые способны обходить традиционные спам-фильтры. В частности, Maintenance Pack 1 содержит значительно улучшенные методы борьбы с получившим в последнее время широкое распространение "графическим спамом", основанные на средствах анализа графических вложений и обработки анимированных картинок, содержащих текстовые спам-сообщения. Kaspersky Anti-Spam - это мощное средство противодействия спаму на основе многоуровневой системы фильтрации электронной почты. Не имеющая аналогов технология лингвистического анализа электронных писем позволяет системе самостоятельно анализировать текст письма и отсеивать нежелательную корреспонденцию. Помимо этого, Kaspersky Anti-Spam является единственной системой, полноценно учитывающей лингвистику русскоязычного спама. Пакет обновлений Maintenance Pack 1 добавляет к ядру фильтрации 2 новые технологии: Технология GSG-A с легкостью идентифицирует анимированные картинки в общей массе писем с вложенными изображениями, а затем выявляет значимые кадры, содержащие текст или изображения. Пустые или зашумленные кадры, используемые спамерами для обхода спам-фильтров, отбрасываются и игнорируются. Технология GSG-7 позволяет идентифицировать картинки, содержащие текст, чтобы затем сопоставить его с известной сигнатурой спамерского текста - вне зависимости от того был ли текст модифицирован, повернут на картинке, "зашумлен" или подвергнут любой другой спамерской уловке. Новый пакет обновлений Maintenance Pack 1 также содержит расширенный протокол передачи данных, обеспечивающий возможность повторения запросов для исключения случайной потери пакетов между Kaspersky Anti-Spam 3.0 MP1 и UDS-серверами (серверами получения информации о спамерских рассылках в режиме реального времени). Был оптимизирован модуль интеграции Kaspersky Anti-Spam с почтовым сервером Qmail. Скачать дистрибутив продукта вы можете в соответствующем разделе. Источник: "Лаборатория Касперского" Биржевые спам-махинации перестают приносить доход 27.11.2006 Мошенническая интернет-схема "накачки и сброса" в отношении акций безвестных компаний, получившая за последнее время широкий размах, теряет эффективность. По экспертным оценкам, за последние несколько месяцев количество спамерских рассылок, играющих на повышение стоимости акций мелких компаний, утроилось и в настоящее время составляет 15% от общего объема спама в Интернете. Два года назад этот показатель не дотягивал до одного процента. В случае успешного проведения мошеннической акции "накачки и сброса" прибыль инициатора составляет около 5,79%. Бурное развитие "биржевой" сферы спамерской деятельности исследователи объясняют использованием ботнетов, позволяющих значительно повысить производительность спам-рассылок. Недавно выявленная многотысячная сеть зомби-машин, инфицированных троянской "спам-пушкой" SpamThru, позволяет генерировать миллиард спамерских сообщений в сутки. Это высоорганизованное криминальное орудие имеет российские корни и используется непосредственно для рассылки "финансового" спама. Английские исследователи Лора Фридер (Laura Frieder) и Джонатан Зиттраин (Jonathan Zittrain) на протяжении недели изучали динамику котировки акций компаний, продвигаемых криминальными "спонсорами". Против ожиданий, курс большинства акций остался неизменным, а в отдельных случаях даже упал. Нескольких робких попыток к подъему было явно недостаточно, чтобы окупить затраты спамеров. Расходы на организацию спамерской атаки в среднем составляют несколько тысяч долларов, включая покупку акций и комиссионные брокеру. Исследователи заключили, что при современных объемах спамерских рассылок, играющих на повышение курса мелких акций, потенциальным жертвам "биржевого" мошенничества уже трудно выбрать выигрышный вариант. Кроме того, круг доверчивых интернет-инвесторов, жаждущих поправить свое материальное положение и каждый раз теряющих 25-40% своих вложений, достаточно ограничен. Похоже, рынок, представлявшийся сетевым мошенникам "золотой жилой", перенасытился - предложение превысило спрос. Источник: The Register Microsoft призвала фишеров к ответу 27.11.2006 Итогом восьмимесячного расследования специальной группы Microsoft в рамках Глобальной инициативы по применению законодательства против фишинга явилось возбуждение 129 исков в судах Европы и Ближнего Востока. Программа правовой борьбы с фишингом Microsoft направлена на выявление поддельных веб-сайтов, созданных с целью хищения персональной информации пользователей, и передачу злоумышленников в руки правосудия. В отдельных случаях компания Microsoft сама инициирует судебное преследование, но предпочитает сотрудничать с национальными правоприменительными органами конкретных стран. Специалисты Microsoft проверили информацию по 253 сомнительным веб-сайтам, что дало основания возбудить 97 уголовных дел против лиц, подделавших страницы регистрации Hotmail и MSN.com с целью хищения логинов и паролей пользователей этих сервисов. Для привлечения своих жертв на поддельные веб-сайты мошенники пользовались также специальными ссылками в IM-сообщениях. Один из этих исков, поданных в турецкий суд, уже был удовлетворен. Злоумышленник наказан лишением свободы сроком на 2,5 года. Завершено также четыре гражданских судебных процесса над молодыми французами и норвежцами 16-20 лет, в делах которых не было найдено злоумышления. Молодые люди в качестве урока были оштрафованы на суммы от тысячи до двух тысяч евро ($1290-2570) - в качестве компенсации ущерба бизнесу компании. По искам Microsoft против фишеров в Турции было возбуждено 50 уголовных дел, в Германии - 28 и во Франции 11. Наибольшее число гражданских исков подано против граждан Великобритании - 18. Microsoft подала также иски в суды Дубая, Италии, Марокко и Нидерландов. По оценкам аналитической компании Gartner, сумма убытков от фишинга в 2006 году только в США достигнет 2,8 млрд. долларов. Источник: Yahoo! News Китай захлестнула волна SMS-спама 28.11.2006 По результатам выборочного опроса владельцев мобильных телефонов, проблема SMS-спама в Китае достигла угрожающих размеров и требует настоятельного решения со стороны провайдеров и законодательных органов. В опросе, проведенном Интернет-обществом Китая, приняли участие около пяти тысяч пользователей мобильной связи. По даным исследования, каждый владелец мобильного телефона в Китае получает в среднем по восемь спамовых текстовых сообщений в неделю. 35% опрошенных получают SMS-спам 5-10 раз в неделю, 15% - 10-20 раз и 6,25% - более 40 раз в неделю. Спамовые сообщения, рассылаемые по SMS-каналам, включают незапрошенную рекламу, предложения о нелегальной продаже автомобилей, оружия и поддельных дипломов, послания мошеннического характера и рекламу услуг SMS-сервисов, на которую пользователи не подписывались. Спам-рассылка текстовых сообщений обычно проводится с частных мобильных телефонов, с веб-сайтов SMS-провайдеров или с помощью специального модуля для массовой SMS-рассылки, подсоединяемого к мобильному телефону. Число пользователей мобильной связи в Китае с конца прошлого года выросло на 56 миллионов и к октябрю 2006 года составило 449 миллионов. Перед угрозой потери контроля над распространением SMS-спама при таких объемах рынка ведущие китайские операторы мобильных услуг China Mobile, China Unicom, China Telecom и China Netcom объединились с другими 14 провайдерами мобильных услуг в ассоциацию Green Mobile Culture. Члены ассоциации обязались принять все меры к очистке своих сервисов от текстового спама. Источник: China Daily Еврокомиссия призвала страны ЕС активизировать борьбу со спамом 28.11.2006 Европейская комиссия обратилась к странам-членам ЕС с призывом интенсифицировать усилия в борьбе со спамом и распространением вредоносного и шпионского ПО. Если обстановка не изменится, Комиссия вынуждена будет принять новые законодательные меры. Четыре года назад в странах ЕС была принята законодательная Директива относительно хранения персональных данных и сохранения тайны переписки в электронных коммуникациях, нацеленная в том числе против спама. В опубликованном недавно отчете Европейской комиссии отмечено, что обстановка со спамом в ЕС остается неутешительной. Нелегитимные сообщения составляют 54-85% общего объема электронного трафика, спамерская деятельность все больше криминализируется. По экспертной оценке ЕС, 34% спама засылается в Европу из стран Азии, 32% - с территории европейских стран и 21% - из США. США занимают непочетное первое место среди стран-спамеров, атакующих страны ЕС, второе место занимает Китай (13%), третью позицию делят Франция и Южная Корея (6%). Европейская комиссия призвала страны-члены ЕС перейти к конкретным действиям против растущей активности спамеров, эффективней применять на практике существующее в рамках ЕС законодательство и взаимодействовать с правоприменительными органами зарубежных партнеров во всемирном масштабе. Евросоюз и США уже достигли взаимной договоренности о совместных инициативах по проведению в жизнь законодательства против спама. Источник: Yahoo! News Израильские спамеры используют 150000 британских зомби-компьютеров 29.11.2006 По данным британской полиции, в настоящее время каждый двенадцатый компьютер в Великобритании зомбирован и рассылает миллионы спамовых писем от имени владельца. Большинство ботов работают на базе домашних компьютеров. Полиции удалось установить имя главаря одной из криминальных спамерских группировок, эксплуатирующих британские зомби-машины. Это Амихаи Инбар (Amichai Inbar), известный также как Джон Че Бло (John Che Blau) или Джонатан Бло (Jonathan Blau), и названный Spamhaus пятым в десятке самых злостных спамеров мира. Сообщается, что Инбар - выходец из России, он действует с территории Израиля и поддерживает связь с преступными кругами США и России. Полагают, что под контролем спамерской группировки Инбара находятся 150000 британских компьютеров, которые Инбар использует для рассылки "своего" спама либо сдает в аренду другим криминальным группировкам из России и США. Спамеры из Тель-Авива рассылают до 45 миллиардов нелегитимных электронных сообщений в сутки, предлагая поддельные медикаменты, "выигрышные" акции мелких компаний, работу по отмыванию денег, мошеннические брачные партии. К расследованию их деятельности подключены ФБР и израильская полиция. По оценкам Spamhaus, в настоящее время 80% всего спама рассылают 200 спамерских группировок, в состав которых входят 500-600 профессиональных спамеров. Из этих 80% львиная доля приходится на тех, кто попал в десятку самых злостных спамеров мира. Великобритания ежегодно тратит на защиту от спама 1,3 миллиарда фунтов стерлингов. На нынешний момент лишь один судебный процесс против спамеров в рамках британского антиспамового законодательства завершился успехом. Источник: TIMESONLINE Спам - статистика за период 20 - 26 ноября 2006 г. "Лаборатория Касперского" Объем и тематические особенности спама Доля спама на прошлой неделе составила 81,4% от общего объема почтового трафика. На прошедшей неделе тематическое распределение спама практически вернулось на круги своя. Тематические категории "Личные финансы" и "Медикаменты", доля которых изменилась на предыдущей неделе больше всего, сбросили на этой неделе лишние проценты и снова вернулись к прежним цифрам. Напротив, тенденцию к росту на прошедшей неделе продемонстрировала тематика "Компьютеры и Интернет". Большой процент тематики "Другие товары и услуги" во многом определен большим количеством в основном англоязычных рассылок, рекламирующих копии элитных часов. После некоторого перерыва эта тема снова начала завоевывать в спамовых потоках свою нишу. А вот рубрика "Для взрослых" совсем теряет актуальность. Некогда одна из самых обширных, сегодня она пополняется практически только за счет рассылок на восточных, в основном иероглифических, языках. Зима ощущается не только по наплыву рассылок, посвященных сувенирной продукции, корпоративным праздникам и лучшим подаркам (это снова поддельные часы и генеалогические древа; арбалеты, видимо, были хороши только в прошлом году). Появилось множество предложений, касающихся утепления помещений, зимних окон и стройматериалов. Не лишние в этом списке и электрокамины. Приятным штрихом оказалась рассылка со следующей темой сообщения: "Все для инопланетян! Миграционные карты, разрешение на работу, медицинские книжки...". Воистину, нет ничего невозможного. Популярные тематики No Тематика Описание Доля тематики Изменения за неделю 1 Другие товары и услуги Предложения других товаров и услуг 24,8% +3,4% 2 Образование Реклама семинаров, тренингов, курсов 14,1% +1,4% 3 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий. 12,4% +1,4% 4 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма. 11,9% -11,0% 5 Медикаменты; товары/услуги для здоровья Предложения приобрести лекарственные препараты, БАД-ы и т.п. в online. Предложения медицинских и оздоровительных услуг, а также сопутствующих товаров. 11,4% -5,8% 6 Компьютеры и Интернет Предложения приобрести ПО, компьютерную технику, расходные материалы; также предложения для владельцев сайтов (хостинг, обмен баннерами и т.п.) 9,9% +4,2% 7 Компьютерное мошенничество Фишинг, "нигерийские" письма, поддельные извещения о выигрыше в лотерею и пр. попытки мошенничества 5,2% Без изменений 8 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. 4,7% +2,1% 9 Недвижимость Предложения сдать/снять недвижимость, строительство, риелторские услуги и пр. 2,2% -0,9% 10 Полиграфия Визитки, календари, печать, услуги типографии и пр. Менее 2% +0,4% 11 Спам "Для взрослых" Предложения скачать/получить/ознакомиться с контентом "для взрослых". Знакомства и т.п. Менее 2% Без изменений 12 Остальной спам   Менее 2% Без изменений Образчики самого массового спама, а также самые оригинальные спам-предложения вы найдете на сайте Спамтест. Возможные методы борьбы со спамом в IM и блогах Владимир Габриелян, CTO Mail.Ru Несмотря на растущий интерес спамеров к блогам , instant messaging и форумам, средства борьбы со спамом в них пока находятся в зачаточном состоянии. О возможных методах борьбы со спамом в программах мгновенного общения и блогах В. Габриелян рассказал на конференции "Проблема спама и ее решения". Развитие средств общения в Интернете не стоит на месте, сегодня уже не только электронная почта, но и блоги, instant messaging, форумы являются распространенными способами коммуникации в Сети. Изначально данные виды общения оставались незамеченными спамерами, однако, с ростом их популярности ситуация коренным образом изменилась. С instant messaging это произошло несколько раньше, с блогами, наоборот, позже, однако на сегодняшний день по различным подсчетам уже примерно 10% IM-сообщений и 17% комментариев в блогах - это спам. Заинтересованность спамеров в новых средствах коммуникации объясняется не только их растущей популярностью и увеличивающейся базой пользователей, но и тем, что средства борьбы со спамом в программах мгновенного общения и блогах находятся в настоящее время в зачаточном состоянии. Во многом в сложившейся ситуации виноваты и сами производители продуктов (в первую очередь это касается IM-мессенджеров). В силу специфики этих приложений только в очень редких случаях у стороннего разработчика есть возможность создать антиспам-плагин к стороннему месенджеру. Так же серьезной проблемой является отсутствие общественного резонанса на эту тему. Сетевая общественность и журналисты почему-то до сих пор не обратили внимания на нарастающие объемы спама в этих продуктах, часто мы сами более лояльно относим к спамеру, если он использует для своей деятельности блоги или Instant Messaging. Если почтовый спам признали опасностью все, и с попытками рассылки почтового спама собственными клиентами борются и провайдеры интернет-услуг, и хостинговые компании, то жалобу на спам в Mail.Ru Agent или блоге abuse-служба провайдера чаще всего просто проигнорирует или же сошлется на отсутствие такого пункта в пользовательском соглашении. Методы фильтрации спама Большинство методов фильтрации спама, которые потенциально можно использовать в блогах и месенджерах, всем хорошо известны по опыту фильтрации в почте. Это и черные списки, и контент-анализ текста, контроль дубликатов, анализ заголовков пользовательского агента. Однако, как и в случае фильтрации спама в почте, наиболее эффективны многокомпонентные антиспам-системы, которые сочетают в себе несколько методов детектирования спама вкупе с балльной системой начисления "очков" сообщению или посту в блоге. Если рассматривать наиболее простые методы, то неплохую эффективность (сравнимую с результатами в почте) показали черные списки, и, хотя это не самое элегантное решение, оно является одним из самым простых в реализации. Как и у пользователей почтового сервера, у большинства локальных IM-серверов и блогов есть свое географическое распределение пользователей. В случае если, например, у российского ресурса появляется чрезмерно высокая активность из австралийских сетей - это повод ужесточить ограничения по количеству отправляемых сообщений или оставляемых комментариев для пользователей из этого региона. Довольно хорошие результаты дает также использование черных списков открытых proxy-серверов. Хочется особо отметить, что, как и в фильтрации почтового спама, качество фильтра для блогов или мессенджеров должно оцениваться не только хорошими показателями по количеству заблокированного спама, но и минимальным процентом ложных срабатываний. Особенности методов фильтрации в блогах и мессенджерах При большом количестве общих методик, у борьбы со спамом в мессенджерах и в электронной почте есть различия, которые не позволяют использовать или делают малоэффективными большинство технических методов, отработанных на почтовом трафике. Основная проблема заключается в объеме сообщения: сообщения через месенджеры содержат, как правило, мало текста, и это крайне затрудняет автоматический контент-анализ. При применении "в лоб" почтовых алгоритмов определения спама и готовых антиспам-решений на первых трех строчках хит-парада "спамерских" сообщений в мессенджерах будут стоять: "Привет!", "Как дела?" и одиночный смайлик. В случае использования черных списков категорически нельзя пользоваться довольно эффективными для MX серверов списками динамических сетей провайдеров, так как именно из этих сетей и происходит использование продукта. Методы фильтрации в блогах Сразу хочу оговориться, что спам в блогах и форумах может преследовать разные цели - это прямая реклама или косвенное влияние на результаты выдачи поисковых машин. Таким образом, от этой "напасти" страдают не только сами авторы блогов и их читатели, но и пользователи поисковиков. Условно спам в блогах можно разделить на три вида: Первый - это спам, указывающий или рекламирующий какую-либо конкретную услугу или сайт, мы все хорошо с ним знакомы по нашим почтовым ящикам и месенджерам. Второй - так называемый "ссылочный спам". Дело в том, что большинство современных поисковых систем использует такой параметр, как "индекс цитирования". Если упростить, то "индекс цитирования" - это популярность ресурса, измеряемая в количестве ссылок на него со страниц других индексируемых сайтов. Соответственно, в чем большем количестве блогов спамер оставит комментарий со ссылкой на ресурс, тем больший индекс цитирования будет иметь рекламируемый сайт, и тем выше он будет стоять в поисковой выдаче. Третий тип спама - это так называемые "сплоги". Сплогами принято называть автоматически сгенерированные блоги, создаваемые лишь с одной целью: рекламировать связанные с ним ресурсы. Содержимое сплогов обычно копируется из дневников ничего не подозревающих пользователей или автоматически составляется из статей специализированных сайтов в случае необходимости создания "тематического сплога". Также существуют сплоги с полностью автоматически сгенерированным текстом с помощью алгоритма цепей Маркова или по результатам поисковой выдачи. Естественно каждый сплог "обильно приправлен" ссылками на сайты "рекламодателей" или объявления платных рекламных систем, оплачивающих хозяину сплога переходы пользователей с его ресурса. По различным оценкам в данный момент сплоги составляют от 10 до 30% всех регистрируемых блогов. Изначально со спамом в блогах и форумах боролись с помощью премодерации и ручной чистки всех сообщений, так же владельцы форумов и блогов вынуждены были вводить обязательную регистрацию или вообще запрещать размещать в сообщениях гиперссылки. Наиболее старое и проверенное автоматическое решение в борьбе с автоматическим добавлением спам-сообщений в блогах и форумах - это обратный тест Тьюринга. Наиболее популярной его реализацией является CAPTCHA (Completely Automated Public Turing Test to Tell Computers and Humans Apart - "полностью автоматизированный публичный тест Тьюринга для различия компьютеров и людей"). Суть теста Тьюринга заключается в том, что существуют задачи, которые легко может исполнить человек, но которые очень тяжело реализовать с помощью программных средств. К таким задачам относятся: распознавание образов, текста, человеческой речи, решение детских загадок и т.п. Изначально тест Тьюринга был предназначен для того, чтобы определить, является ли компьютер разумным в человеческом понимании этого слова. Обратный тест Тьюринга, применяемый для борьбы со спамом, позволяет компьютеру определить - компьютер перед ним или человек. Существует несколько видов обратного теста Тьюринга, применяемых в Интернете: это определение алфавитно-цифровой последовательности на картинке, прослушивание и ввод текста из голосовой звукозаписи и распознавание предмета на картинке или фотографии. Наиболее трудноразрешимой задачей для автоматизации на сегодня является распознавание голосовой записи, однако этот вид теста не получил большой популярности из-за того, что не все пользователи имеют возможность прослушивать звуковые записи на тех устройствах, с которых выходят в Интернет. Следующим по сложности автоматического распознавания является тест по определению цифр или букв на автоматически сгенерированных картинках. В данный момент он наиболее популярен и встречается на подавляющем большинстве блогов и форумов. К его плюсам можно отнести сравнительно простую реализацию и возможность отображения картинки на подавляющем количестве пользовательских устройств. Минусы этого метода заключаются в том, что за последние несколько лет в результате бурного развития алгоритмов распознавания текста многие варианты реализации этого метода, используемые в широко известных разработках форумов и блогов, распознаются компьютером с вероятностью до 98%, в результате чего у владельца блога создается чувство ложной защищенности в то время как комментарии к статьям наводняются спамом. Есть и другая отрицательная сторона: те владельцы блогов, которые в соответствии с развитием алгоритма постоянно усложняют методы генерации текста на картинке, зачастую приходят к тому, что текст становится труднораспознаваемым не только для компьютера, но и для человека, особенно имеющего проблемы со зрением. И самым слабозащищенным вариантом реализации обратного теста Тьюринга является распознавание предмета по заранее заготовленной базе картинок. Плюсы этого метода заключаются в том, что он наиболее легко и быстро распознается человеком, даже имеющим дефекты зрения. Минусы этого метода - ограниченное количество заранее проиндексированных изображений предметов, которые легко подвергаются перебору и составлению соответствия "картинка-значение" на стороне спамера. Еще один метод борьбы со спамом в блогах - это отключение индексации комментариев поисковыми машинами. Речь идет о специальных тэгах "No Follow" и "No index", которыми владельцы блогов смогут помечать области web-страницы, содержащие комментарии и вообще любые "не свои" записи и ссылки. Естественно, это средство подходит только для борьбы с тем видом спама, который направлен на повышение индекса цитирования сайтов в поисковиках. Против прямых ссылок на сайт спамера или его "рекламодателя" такая технология не будет эффективной, но в любом случае, тэг "No Follow" позволяет несколько снизить привлекательность спама в комментариях блогов. Также приносит свои плоды и отключение возможности комментировать старые записи в блогах. Статистика показывает, что 97% комментариев к записи пишется в первые несколько недель, последующие комментарии с большой вероятностью могут оказаться комментариями спамерского робота. Для защиты блогов от спама применяется также хорошо известный по многим почтовым антиспам-программам метод карантина. Суть его заключается в том, что, написав комментарий, вы получаете письмо с кодом или "секретной" ссылкой на зарегистрированный в системе e-mail, и лишь после того, как вы подтвердите факт оставления комментария, он будет реально размещен в блоге. Конечно, используются и черные списки, причем как IP-адресов, так и User-agent'ов, характерных для спамерских роботов. Многие антиспам-плагины для блогов анализируют формальные признаки: проверяется, предшествовала ли отправке комментария загрузка страницы, содержащей текст первоначальной записи, был ли активирован Javascript на странице блога (спамерские роботы не поддерживают Javascript), детектируются и разбираются тексты, написанные с помощью кодов символов в html. Также используются и статистические методы: анализируется текст комментария и за содержание большого количества ссылок начисляются отрицательные баллы; оцениваются баллы, полученные этим же автором за предыдущие комментарии; учитывается возраст записи, к которой оставляется комментарий. Понятно, что только по одному из таких параметров детектировать спам невозможно, но, добавляя отрицательные баллы за каждый не пройденный тест, в итоге можно получить довольно сбалансированную оценку каждого комментария. Широкое распространение получили и методы контроля дубликатов комментариев. Для Блогов@Mail.Ru мы протестировали простейший вариант контроля дубликатов, сделанный на основе видоизмененной технологии DCC (Distributed Checksum Clearing House), которую мы используем в почтовой фильтрации. Для каждого поста или комментария определялась контрольная сумма и отправлялась на центральный сервер, при сравнении контрольной суммы сервер мог понять, сколько раз подобный пост или комментарий уже был размещен на сервере, а при достижении определенного порога прием подобных комментариев блокировался. Однако, равно как и в почтовом спаме, спамеры довольно быстро научились модифицировать текст рекламного объявления, вставляя "шумы" (мусорный текст, благодаря которому сообщение становится уникальным для автоматической системы), в результате чего эффективность данного метода не была высокой. Решением этой проблемы, как и в случае с почтовым спамом, стало использование нечетких контрольных сумм. Суть метода заключается в том, что вместо построения одной суммы по всему тексту, их строится несколько по разным параметрам письма (как простейший пример: подсчет первой контрольной суммы по четным согласным буквам и отдельно второй по каждой шестой гласной, если хотя бы одна из сумм совпадает - письма считаются одинаковыми). В нашей реализации мы опирались на алгоритмы Бродера и действительно добились выявления похожих друг на друга комментариев и записей. В целом, в данный момент наибольшую популярность завоевали комплексные системы борьбы со спамом в блогах (одним из примеров таких систем является Aksimet - антиспам-плагин для wordpress). Они сочетают в себе многие из вышеперечисленных методов, но, к сожалению, подобные системы детектирования спама абсолютно беспомощны в случае, если спам распространяется вручную. Учитывая растущую долю фишинга, а именно такой вид спама чаще всего распространяется вручную, эта проблема носит очень серьезный характер. Методы фильтрации в месенджерах Запустив собственный instant messenger, мы не сразу столкнулись с проблемой спама. Однако с ростом популярности Mail.Ru Agent мы стали все чаще детектировать сначала маленькие ручейки фишинговых сообщений, рассылаемых вручную, а затем уже и более массированные потоки коммерческого спама. В данный момент доля детектированного спама в Mail.Ru Agent достигает 8%. Суточное распределение спама в меcсенджере соответствует почтовому, однако помесячная статистика прироста количества спама говорит о бурном, превышающем почтовый в 1,5 - 2 раза, росте объемов спама в Mail.ru Agent. Детектирование спама в месенджерах имеет довольно большую специфику. Заключается она, например, в том, что активные пользователи, общаясь с друзьями и коллегами, отправляют до нескольких тысяч сообщений в день, в то же время новички используют месенджер с частотой электронной почты, отправляя по 2-3 сообщения в день. Большое количество сообщений, отправляемых нормальными пользователями, не позволяет использовать rate-limit в мессенджерах, так как в большинстве случаев лимита в тысячу сообщений в день на одного пользователя хватит и спамеру. Также существует и нечеткое распределение суточной пользовательской активности: в то время как электронные письма люди пишут с примерно одинаковой (небольшой) частотой и в большинстве своем в рабочее время, общение по мессенджеру сильно зависит от того, находится ли ваш собеседник в Сети. Довольно эффективный при использовании в блогах обратный тест Тьюринга не может использоваться в мессенджерах, так как необходимость "расшифровки" нескольких сотен картинок в день делает продукт крайне непривлекательным для пользователя. При реализации антиспам-фильтра для Mail.Ru Agent низкую эффективность также показал анализ сообщения по формальным признакам, успешно зарекомендовавший себя в почте и блогах. Причин этому несколько, самая главная из них - небольшое количество клиентских программ и, как следствие, высокая стандартизация протокола обмена сообщениями. Дополнительно на этот факт влияет наличие единой системы авторизации и единой пользовательской базы, т.е. в отличие от электронного письма, принимая сообщение в Mail.Ru Agent, мы точно уверены в том, что отправитель зарегистрирован в системе. В то же время существуют и специфические для IM методы борьбы, а именно, возможность введения обязательной авторизации пользователя перед добавлением его в список контактов. Спамер не только не может указать в тексте запроса на авторизацию какие-либо ссылки, но и сама длина текста запроса сильно ограничена по количеству знаков. Эти ограничения, используемые большинством современных мессенджеров, делают спам с помощью запросов на авторизацию менее эффективным и привлекательным. По нашим исследованиям наибольшую эффективность в фильтрации спама в IM-системах дает контент-анализ текста сообщения. Схема работы данного метода следующая: по образцам спам-сообщений специалистом в области лингвистики строится база слов, характерных для рекламного текста, каждому слову присваивается определенный вес. За наличие каждого такого стоп-слова в тексте сообщению начисляется определенный балл; согласно его весу. В случае если сумма баллов в сообщении превышает установленный лимит, сообщение отвергается. Второй используемый нами метод - анализ дополнительной статистики: количества ответов, получаемых пользователем на его сообщения, количества занесений его в игнор-лист, количества безуспешных запросов на авторизацию и ряда других параметров. Подобный подход достаточно тяжело использовать в других областях по двум объективным причинам: с одной стороны, нам недоступна статистика ответов, приходящих на письма с другого домена; с другой характерное время ответа на письма составляет часы и дни вместо секунд и минут для Агента, и значимая статистика реакции будет получена уже после окончания рассылки. В Агенте этих проблем нет, и метод отлично работает. Еще одной особенностью разработки антиспам-системы для мессенджера является требовательность к времени обработки сообщения. Если задержка прихода письма на несколько секунд не является критичной, то в случае с IM максимальное комфортное для пользователя время составляет 200 миллисекунд. Уже сейчас в большом количестве IM существует кнопка "пожаловаться на спам". Подобное решение является не только и не столько инструментом борьбы со спамом, сколько ценным инструментом сбора статистики. Дело в том, что при отсутствии возможности однозначно определять количественные характеристики спама, жалобы пользователей являются важным индикатором положения дел в системе. Именно по изменению динамики пользовательских жалоб на спам целесообразно судить об эффективности того или иного метода борьбы с ним. Прогнозы на будущее Основная тенденция в области спама в блогах и мессенджерах - это, безусловно, продолжение роста спамерской активности. Наряду с неизбежным увеличением трафика, спамеры станут умнее. Поскольку сейчас многими крупными блог-хостингами и форумами практически не принимаются записи и комментарии с открытых proxy-серверов и из регионов, не характерных для пользователей сервиса, и такая политика становится все распространеннее, мы ожидаем постепенное перемещение спамеров в географически характерные для пользователей сервиса регионы. Уже сейчас доля спама, рассылаемого через IM вручную, довольно высока, в дальнейшем, по нашим прогнозам, доля "ручного" спама в общем потоке будет возрастать. Это произойдет сразу за счет двух факторов: с одной стороны, за счет растущей популярности фишинга, изначально ориентированного на рассылку методом "писем счастья", с другой - за счет вероятного начала использования этой технологии в рекламном спаме. Есть опасность, что спам станет более адресным. Интернет занимает все большее место в жизни каждого пользователя, и все больше информации о нем становится доступно. В результате, возможно, наступит тот день, когда спамерское сообщение, в ходе массовой рассылки отправленное на alex@mail.ru, будет начинаться уже не с "Дорогой alex", а будет указывать реальное имя-отчество пользователя. Особенно легко это достигается в IM - анкета пользователя всегда доступна в результатах поиска. В целом, мы надеемся, что успешный опыт борьбы со спамом в почте позволит разработчикам эффективно справиться с проблемой спама в мессенджерах и блогах уже в ближайшем будущем, или, по крайней мере, достичь почтовых показателей детектирования спама. Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) "Лаборатория Касперского", 1997 - 2005