Электронный журнал "Спамтест" No. 139 в этом номере: Новости Спам - статистика за период 13 - 19 марта 2006 г. Фильтрация спама на Mail.Ru в 2005 году. Владимир Габриэлян, Mail.Ru Новости Новое поколение систем фильтрации спама - на финальном этапе разработки "Лаборатория Касперского", ведущий российский разработчик систем защиты от вирусов, хакерских атак и спама, сообщает о начале открытого бета-тестирования нового поколения системы фильтрации нежелательной корреспонденции - Kaspersky Anti-Spam 3.0. Являясь уникальным для российских условий программным комплексом, предназначенным для защиты корпоративных и провайдерских сетей от незапрошенных массовых рассылок, Kaspersky Anti-Spam3.0 сохранил все преимущества предыдущей версии продукта, а также включает в себя множество изменений технологического, архитектурного и функционального характера, значительно повышающих эффективность системы фильтрации и удобство работы с ней. Kaspersky Anti-Spam - это мощное средство противодействия спаму на основе многоуровневой системы фильтрации электронной почты. Не имеющая аналогов технология лингвистического анализа электронных писем позволяет системе самостоятельно анализировать текст письма и отсеять нежелательную корреспонденцию. Помимо этого, Kaspersky Anti-Spam является единственной системой, учитывающей лингвистику русскоязычного спама. Наиболее ярким отличием Kaspersky Anti-Spam3.0 от предшествующей версии продукта является внедрение модернизированного фильтрующего ядра Спамтест™, обеспечивающего значительное повышение производительности и устойчивости системы при низких требованиях к объему оперативной памяти и малой нагрузкой на интернет-трафик за счет сокращения объема обновлений баз контентной фильтрации, содержащих новые образцы спама и правила его анализа. При этом используется новая система доставки обновлений баз контентной фильтрации. Kaspersky Anti-Spam 3.0 характеризуется значительным повышением эффективности фильтрации, достигнутым посредством значительного улучшения всех методов анализа корреспонденции. В частности, модернизации подверглись алгоритмы исследования HTML-объектов почтовых сообщений, что увеличило эффективность борьбы с различными уловками спамеров, направленными на обход систем фильтрации. Помимо этого, усовершенствование системы анализа графических вложений вывело программный комплекс на новый качественный уровень распознавания спама, содержащего сложные графические элементы. При помощи этой технологии система защиты от спама способна распознавать и отсеивать даже незначительно различающиеся по графическому исполнению нежелательные сообщения, отличающиеся цветом, добавлением точек, тоном бордюра и т.д. Также качественный уровень фильтрации спама повысился благодаря расширению и улучшению механизма анализа заголовков почтовых сообщений, а также добавлению в список используемых для исследования электронной корреспонденции технологий сервисов Sender Policy Framework (SPF) и Spam URL Realtime Blocklists (SURBL), реализующих индивидуальную политику обработки почтовой корреспонденции и обновляемый в режиме реального времени список адресов, с которых производится рассылка спама. IT-специалисты по достоинству оценят принципиально новый пользовательский интерфейс, в котором все функции управления системой фильтрации реализуются посредством удобного и эргономичного веб-интерфейса - центра управления, разработанного специально с учетом мнений и рекомендаций пользователей предыдущих версий Kaspersky Anti-Spam. Он позволяет системному администратору быстро и удобно выполнить настройку программного комплекса, управлять лицензиями на использование продукта, а также производить мониторинг работы продукта и просматривать статистические данные о характере потоков спама в общем трафике. При этом настройка политик фильтрации, определяющих процедуры обработки исследуемой корреспонденции, также осуществляется в рамках интерфейса центра управления. Удобный интерфейс предлагает минимальный набор инструментов, необходимых для администрирования системы, предоставляя при этом широкие возможности для адаптации системы под конкретные условия эксплуатации, тем самым обеспечивая простоту администрирования и широкие возможности индивидуальной настройки. Более того, центр управления предоставляет IT-специалисту возможность независимо включить/отключить использование определенных методов проверки, а также определить действия, выполняемые над сообщениями для каждой группы пользователей, включенных в корпоративную сеть, удовлетворяя специфические нужды различных подразделений или филиалов бизнес-заказчика. Также значительное упрощение настройки и администрирования системы достигается за счет объединения всех настроек программы в единый конфигурационный файл, позволяя администратору оперативно и точно получить информацию о конфигурации любого функционального элемента программного комплекса. Наконец, Kaspersky Anti-Spam3.0 отличается значительным улучшением средств интеграции и инфраструктуры программы, полученным путем переработки и улучшения модулей взаимодействия с наиболее популярными в среде корпоративных пользователей почтовыми системами Sendmail и Communigate Pro. Ознакомиться с условиями и процедурой участия в программе бета-тестирования можно в специальном разделе сайта "Лаборатории Касперского". Источник: "Лаборатория Касперского" Фишинг-атаки против американцев идут с китайского банковского сервера 17.03.2006 Веб-сервер китайского государственного банка предоставляет хостинг фишинг-сайтам, предназначенным для банков и других финансовых учреждений США. Фишинг-страницы размещаются в скрытых директориях, в то время как главная страница сервера выдает сообщение об ошибке конфигурации. 11 марта клиенты американского Chase Bank и онлайнового аукциона eBay получили фишинг-рассылку. Авторы писем призывали клиентов обратиться к сайтам, размещенным на IP-адресах шанхайского отделения Строительного банка Китая (CCB). В тексте фишинг-письма для клиентов Chase Bank содержится предложение заработать 20 долларов. Для этого клиенту будто бы достаточно принять участие в онлайн-опросе, посвященном удобству интерфейса банковского сайта. В числе необходимых для заполнения полей фишеры указали ID пользователя и пароль - чтобы "перевести" упомянутые 20 долларов. Кроме того, обязательными к заполнению названы поля: номер банковской карты, PIN-код, номер верификации карты, девичья фамилия матери и номер в системе социального страхования. Все указанные данные затем направлялись на процессинговый сервер в Индии. В URL, приведенном в письме фишером, указан IP-адрес, а не домен. Это традиционно верный признак того, что пользователю предлагается фишинг-сайт. Фальшивый ресурс использует графическое оформление, схожее с chaseonline.chase.com. Тот же IP-адрес использовался в минувшую субботу для хостинга фишинг-сайта eBay. Строительный банк Китая имеет более 14 тысяч филиалов по всей стране. В октябре прошлого года банк стал первым из "большой китайской четверки" государственных банков, представленных на Гонконгской бирже. Источник: Netcraft.com Microsoft начинает охоту на европейских, африканских и ближневосточных фишеров 21.03.2006 Компания Microsoft совместно с Интерполом начинает преследование деятельности 100 фишинг-групп из Европы, стран Африки и Ближнего Востока. До конца марта американские разработчики программного обеспечения намерены инициировать 53 судебных процесса, а к концу июня довести их число до 100. 7 преступных групп, из числа попавших в поле зрения Microsoft, действуют в Великобритании. "Это специальная операция против людей, которых мы идентифицировали как владельцев фишинг-сайтов", - заявил представитель британского отделения Microsoft Джерри Фишенден (Jerry Fishenden). По словам Фишендена, за последние два года активность фишеров значительно выросла. К концу 2005 года в Сети было зафиксировано более 7000 фишинг-сайтов. Впрочем, это не означает, что за каждым сайтом стояла отдельная преступная группа. Значительная часть вредоносных ресурсов была сделана одними и теми же людьми. Многие отправители фишинг-писем входили в состав организованных преступных групп, которые рассылали свои послания в течение нескольких дней. Затем фальшивые сайты сворачивались еще до того, как их успевали закрыть правоохранительные органы. Фишеры добывают деньги разными способами, заявил Фишенден. Некоторые из них используют украденные идентификационные данные для опустошения банковских счетов, а некоторые продают эти данные тем, кто использует их на свое усмотрение. Росту числа фишинг-сайтов способствовало распространение специальных утилит. С их помощью приобщиться к компьютерным преступлениям мог любой желающий. Пару лет назад фишинг-письма было легко заметить, потому что они изобиловали грамматическими ошибками, а фальшивые сайты не были похожи на настоящие. Сейчас ситуация значительно изменилась, фишеры стали старательнее, и обычному пользователю значительно сложнее не попасться на их удочку. Акция Microsoft в Европе, Африке и на Ближнем Востоке - продолжение аналогичной кампании в США, в рамках которой было инициировано 117 дел и было закрыто более 4700 фишинг-сайтов. Источник: BBC News Большая ошибка "Манго Телеком" 21.03.2006 "Манго Телеком", довольно крупный игрок на рынке фиксированной связи, был уличен в рассылке спама по электронной почте. Остальные участники рынка считают, что компания совершила большую ошибку. В своем письме "Манго Телеком" продвигает услугу многоканальных телефонных линий с переадресацией звонков на номера заказчика. В качестве контактных телефонов указаны номера, не публикуемые в "честной" рекламе, однако принадлежат они также "Манго Телекому". Сотрудница компании рассказала корреспонденту "Делового Петербурга", позвонившему в "Манго" под видом заинтересованного клиента, что компания купила готовую спамерскую базу электронных адресов и рассылку проводит самостоятельно. В "Манго Телеком" считают метод спам-рекламы эффективным. Однако, как пишет Dp.ru, остальные участники рынка уверены, что "Манго" совершило большую ошибку и фактически поставило крест на своей деловой репутации - ни один серьезный клиент не будет работать со спамерами. Таким образом, потенциальными клиентами "Манго Телеком" смогут стать разве что совсем захудалые фирмы, чье руководство еще не устало от спама ввиду того, что электронной почтой оно пользуется очень недавно. По словам Екатерины Панкратовой, генерального директора компании "Телфин", "спам - это очень опасный вид рекламы, прежде всего потому, что он всех достал". Кроме того, Панкратова считает спам-рекламу неэффективной, поскольку спам теперь очень хорошо отфильтровывается, а большинство пользователей удаляет спамовые письма, не открывая их. Источник: dp.ru "Троянская утка" об убийстве Милошевича 22.03.2006 О спам-рассылке сообщений, которые якобы содержат фотографии, подтверждающие убийство Милошевича, сообщает компания Sophos. Любопытным грозит заражение компьютера трояном. Использование интереса пользователей к "горячим" новостям - один из излюбленных приемов спамеров. Стихийные бедствия и теракты, война в Ираке, смерть принцессы Дианы и Иоанна Павла II - все эти события не остались без их внимания. На большой резонанс в СМИ, который вызвала смерть Слободана Милошевича, быстро среагировали злоумышленники, рассылающие в спаме вредоносные программы. "Слободана Милошевича убили" - гласит тема спамового письма, в которое якобы вложены фотографии, фиксирующие, как умер Милошевич. На самом деле в письме содержится Троян Dropper-FB. По данным Sophos, такое письмо, как правило, снабжено темой "Slobodan Milosevic was killed", коротким текстом в теле сообщения "The real evidence in attached photo" и вложенным файлом picture.scr. Чтобы снизить бдительность получателей и спровоцировать открытие вложенного файла, злоумышленниками добавлена информация якобы об отсутствии в нем вредоносной программы: "Scanned by Kaspercky Antivirus Status: clean". Источник: CNews.ru Крым: спам как средство предупреждения избирателей 22.03.206 Крымская общественная организация "Крымчане за честные выборы" в ходе предвыборной борьбы использовала спам. О рассылке спамовых писем на десятки тысяч электронных адресов крымских пользователей сообщила: пресс-служба организации. Согласно заявлению пресс-службы, цель акции состояла в том, чтобы предупредить избирателей об истинном характере и целях ряда крымских движений. Спамовое письмо содержало ссылки на статьи, появившиеся на прошлой неделе на популярном сайте Vlasti.net. Само по себе использование спама как средства пропаганды в предвыборных баталиях - не новость. Многие пользователи Рунета хорошо помнят политический спам периода "оранжевой революции". Как сообщает корреспондент "Нового Региона", в Крыму это первый случай использования спама в ходе нынешней избирательной кампании. Любопытно, что общественная организация "Крымчане за честные выборы" не посчитала столь радикальный способ воздействия на избирателей зазорным и сделала официальное заявление о спам-рассылке. Источник: Новый Регион Спам - статистика за период 13 - 19 марта 2006 г. "Лаборатория Касперского" Объем спама и тематические особенности Средняя доля спама 13 - 19 марта составила около 75,8% от общего объема почтового трафика. Тематическое распределение спама за прошедшую неделю претерпело некоторые изменения по cравнению с предыдущей. Вот уже месяц стабильно растет количество рассылок, посвященных образованию и медикаментам, и падает количество рассылок о компьютерах и Интернете. Зато по-прежнему низким остается показатель спама тематики "Для взрослых", почти не изменилось количество спама категории "Отдых и путешествия". На прошлой неделе в Рунете было зафиксировано появление русскоязычного спама, касающегося информации по акциям (тематика "Личные финансы"). В начале недели прошла спам-рассылка, рекламирующая компанию СеверCталь. По стилистике сообщения спам был замаскирован под личную переписку, которая якобы случайно попала не к тому адресату: "Похоже СеверСталь не зря росла на падающем рынке. Есть инсайд что рост и дальше будет". К этому утверждению в каждом письме был приложен вариативный текст, имитирующий газетную новость. В качестве источника было указано издание "Коммерсантъ". Спам подобной тематики нетипичен для Рунета. Обычно такой спам приходит на английском языке и является попыткой промоушена акций западных компаний. Снова появились предложения научить всему, что нужно для соблазнения девушек. На сей раз ассортимент расширился - всем желающим предлагают приобрести "30 Гигабайт ВИДЕО И АУДИО ЗАПИСЕЙ тренингов, семинаров, курсов". Кроме того, в наши потоки попало письмо, которое не является спамом, но которое мы не може не упомянуть в нашем еженедельном отчете. Это письмо - автоответ, адресованный спамерам. "Уважаемый спамер! Вы прислали мне письмо... Я в благодарность за это хочу поделиться с вами несколькими мудрыми советами 1. Давайте людям больше, чем они ожидают, и делайте это радостно. 2. Вспоминайте ваше любимое стихотворение. 3. Не верьте всему, что Вы слышите, тратьте все, что имеете, спите, сколько хотите..." И так далее, еще 42 пункта. Заканчивается письмо так: "46. Никогда не шлите спам! Пошлите это по меньшей мере пяти людям, и Ваша жизнь улучшится..." Популярные тематики No Тематика Описание Доля тематики Изменения за неделю 1 Медикаменты; товары/услуги для здоровья Предложения сбросить лишний вес, улучшить состояние кожи, волос; приобрести правильную осанку, купить биологические добавки и т.п. Предложения приобрести лекарства в online 25,5% +8,0% 2 Образование Реклама семинаров, тренингов, курсов 23,1% +4,7% 3 Товары и услуги Предложения других товаров и услуг 13,7% -0,4% 4 Компьютерное мошенничество Фишинг, "нигерийские" письма, поддельные извещения о выигрыше в лотерею и пр. попытки мошенничества 9,3% -5,8% 5 Остальной спам   8,2% +1,7% 6 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий. 7,7% +0,1% 7 Компьютеры и Интернет Предложения приобрести ПО, компьютерную технику, расходные материалы; также предложения для владельцев сайтов (хостинг, обмен баннерами и т.п.) 6,6% -1,5% 8 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма. 2,7% -2,7% 9 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. Менее 2% -3,9% 10 "Для взрослых" Средства для повышения потенции (виагра и пр.), а также для улучшения физических возможностей при занятих сексом Менее 2% Без изменений Самый массовый спам, а также образец оригинального способа поиска будущей супруге вы найдете на сайте Спамтест. Фильтрация спама на Mail.Ru в 2005 году Владимир Габриелян Технический директор Почтовой Службы Mail.ru Полный текст с татьи с диаграммами - на сайте Спамтест. Технические итоги 2003-2004 года Активная борьба с незапрошенной корреспонденцией началась в российском Интернете в начале 2003 года. В середине 2003 года была сформирована Национальная Антиспам-коалиция; рабочие группы различных российских компаний начали анализировать и пытаться решить проблему спама, захлестывающего почтовые ящики пользователей. На Mail.Ru помимо уже используемых черных списков "неблагонадежных" IP-адресов, формируемых собственными силами, была внедрена система контентной фильтрации. К концу 2003 года мы подошли с весьма обнадеживающими результатами: победа определенно была на стороне "антиспамеров": поток спама в почтовых ящиках объективно сократился; к тому же на горизонте замаячили новые протоколы аутентификации, которые, по мнению многих профессионалов, в том числе и выступавших на эту тему на прошлых конференциях, должны были сильно осложнить жизнь спамерам. С другой стороны, многие технические специалисты, видя огромный потенциал и оперативность, с которой спамеры реагировали на все последние технические новшества, понимали, что это только начало большого и трудного пути. С учетом того объема средств, который крутится в спам-индустрии, ни одно решение никогда не будет окончательной победой, количество элементов в антиспам-системах обязано расти из года в год. Общие результаты 2005 года В начале текущего года стал ясен абсолютный провал технологий SPF и Sender ID. Антиспам-сообщество так и не смогло сформировать единый, удовлетворяющий всем потребностям алгоритм аутентификации. Рабочая группа, разрабатывающая Sender ID, была расформирована, предложение стандарта отклонено. Алгоритмы аутентификации, которые в тестовом режиме были внедрены в почтовых службах, едва ли не мешали работать антиспам-системам. В частности, так вышло при внедрении SPF в антиспам-систему Mail.Ru. В многоступенчатых системах борьбы со спамом, где каждый уровень проверки дает письму положительный или отрицательный балл, использование SPF часто играет на руку спамерам, отправляющим письма через релей провайдера с помощью зомби-машин. Другая беда пришла, откуда не ждали. Основной проблемой, которая виделась нам при внедрении SPF, было то, что спамер, зарегистрировав свой домен и прописав там валидную SPF-запись, мог безнаказанно производить рассылку до принятия решения о блокировке домена. Однако SPF оказался бесполезен по другой, более "человеческой" причине. Системные администраторы и технические специалисты, ответственные за почтовые сервера своих компаний, не спешили внедрять SPF, а те, кто решался на такой шаг, внедряли SPF с чрезвычайно мягкими политиками, не позволяющими отвергать практически никакие письма с этого домена. Проблема пересылок, о которой так много говорилось при обсуждении SPF, на этом фоне оказалась абсолютно незначимой. Кроме того, мы дали возможность пользователю завести собственный белый список тех адресов, письма с которых он не считает спамом (кнопка "Это не спам" в папке Сомнительные). Однако эта мера также не позволила нам значительно увеличить эффективность уже существующей антиспам-системы: пользователи используют возможность крайне неохотно, количество кликов по ссылке измеряется десятками штук в сутки (что, кстати, свидетельствует о том, что основная система работает практически без ложных срабатываний). Еще один фактор, появившийся в 2005 году, носит скорее социальный, чем технический характер. За последнее время многие службы начали заявлять чуть ли не о 100%-ной (или, по крайней мере, 99,9%-ной) победе над спамом, смущая пользователей и вызывая более резкую реакцию даже на единичные прорвавшиеся непрошеные письма. Мы абсолютно уверены, что в массовых системах 100%-ная эффективность невозможна (если, конечно, она не сопровождается очень высоким уровнем False Positives). В получаемых нами жалобах на спам порядка 4% составляют жалобы на совершенно нормальные письма, которые никогда не будут отрезаться автоматическим антиспамом. Уже этот принципиально непреодолимый фактор никогда не подпустит нас к заветным 99,9 процентам. Кроме того, естественно, что для любой разумной антиспам-системы опасность False Positives имеет приоритет перед опасностью прохождения спама, тут действует принцип "семь раз отмерь - один отрежь". Стоимость одного потерянного делового письма во много раз превосходит стоимость времени, уходящего на уничтожение мусора, и в спорных случаях обязана действовать презумпция невиновности. Точно подсчитать количество доходящего до пользователя Mail.Ru спама очень сложно. По косвенным данным мы оцениваем Detection Rate в почте Mail.Ru на уровне 95-97% и с очень большим сомнением относимся к заявлениям о принципиально лучшей эффективности любой массовой системы. Сами спамеры весь год так же не стояли на месте - они приобретают опыт и наращивают свои ресурсы. Во-первых, естественно, изменились количественные характеристики спама. Увеличилось количество спама, рассылаемого в выходные дни, когда время реакции технического персонала на спам-рассылку потенциально больше. Изменилось и среднесуточное распределение отправляемого спама, опять же в сторону увеличения количества спама в нерабочие часы. И самое удивительное спамерское нововведение - это спам, рассылаемый вручную. Как это ни странно, все большее количество спама, приходящего на сервера Mail.Ru, - это спам, отправляемый вручную или почти вручную. Со спамом, отправленным таким образом, бороться гораздо сложнее, чем с обычным: рассылка становится более распределенной по времени (то есть менее массовой в конкретный момент), а IP-адреса и заголовки писем отправителей оказываются идеально правильными. В результате, автоматически оказываются бесполезными сразу три части антиспам-комплекса: черные списки (рассылка происходит с честных провайдерских почтовых серверов); формальные признаки (настоящий почтовый клиент формирует вполне честные заголовки); DCC (рассылка одного типа письма немногочисленна, а вся тяжесть борьбы падает на плечи контент-фильтрации). К счастью, на данный момент таким образом распространяются по большей части фишинговые письма, письма нигерийских банкиров и так называемые "письма счастья". Однако мы уверены, что не за горами и массовая рассылка рекламного спама вручную, организованная наподобие популярных в свое время "клик-клубов". На этом фоне очень оптимистично смотрится статистика вирусной активности. Несмотря на общий рост Рунета, повсеместная установка антивирусных фильтров и развитие безопасности Windows XP привели даже к уменьшению количества вирусов. За весь 2005 год не было ни одной эпидемии, сродни тем, что мы видели в 2003 или 2004 году. Обзор методов борьбы со спамом "Умные RBL" Как видно из графиков, количество спама с осени 2004 года выросло почти в два раза, в связи с этим возникла и другая задача - необходимость снижения нагрузки на почтовые сервера. Для решения этой проблемы нами были опробованы так называемые "умные RBL". Так уж получилось, что RBL до сих пор являются одним из самых "cost-effective" способов борьбы со спамом. Для того чтобы начать использовать RBL любой компании, по сути, не требуется никаких финансовых вложений в аппаратную часть. Достаточно лишь настроить почтовый сервер таким образом, чтобы он опрашивал один или несколько RBL-серверов на предмет наличия в их зонах тех или иных IP-адресов. При этом пользователь получает довольно приличную эффективность в плане Detection rate по сути при нулевых затратах, минусом же этой технологии является огромное, в большинстве случаев неприемлемое, количество false positive. Причин высокого уровня false positive при использовании RBL несколько: Во-первых, это отсутствие локализации RBL. Например, практически невозможно, находясь в России, составить адекватный RBL для Китая. И дело не только в языковых барьерах. При составлении RBL крайне важно наличие у составителя информации о крупных почтовых релеях национальных провайдеров интернет-доступа, распределении пользователей между локальными провайдерами, о GPRS-выходах локальных операторов связи и другой локальной специфике. Естественно, что обычно эта информация в достаточно полном объеме есть только по собственной стране и ближайшим соседям (той же Украине для нас). Но при этом 90% спама в Россию приходит из-за границы (доля того же Китая достаточно велика). То есть получается парадокс: российский составитель RBL вынужден обрабатывать китайские IP, но не имеет достаточной для безошибочной работы информации. В итоге с учетом крайне малого объема российско-китайской переписки, такой RBL вполне приемлем для использования у нас, но попытка использовать его в Китае может обернуться катастрофой. Симметрично и мы не можем безоглядно доверять любому иностранному черному списку. Во-вторых, политика составления публичных RBL зачастую не подходит для его использования в какой-либо коммерческой организации. Под политикой составления в первую очередь понимается набор условий, которые должны выполняться для того, чтобы IP-адрес попал в RBL, и набор условий, которые нужно выполнить для того, чтобы "выйти" из RBL. В качестве примера "плохого" RBL может служить sorbs.net: чтобы в него попасть, достаточно, чтобы составитель черного списка заподозрил ваш ресурс в "связи со спамерами", а для того чтобы быть исключенным из этого списка, нужно всего лишь заплатить $50. В свою очередь, для того чтобы составитель заподозрил вас в связи со спамерами, достаточно, чтобы какие-нибудь "доброжелатели" разослали "фишинговое" письмо, в котором будет содержаться просьба от вашей компании выслать пароли доступа к банковским счетам, почтовым и любым другим аккаунтам, или же чтобы вы просто были популярной почтовой службой в своем регионе - количество спама с вашими обратными адресами, проходящее даже не через ваши релеи, несомненно, натолкнет составителя на мысль о вашей причастности. В-третьих, бывают просто редкообновляемые и малочисленные RBL. Причем если в случае небольшого количества записей в RBL мы просто не получим никакого результата, то в случае применения редкообновляемого RBL мы будем блокировать хосты, которые уже давно решили свои проблемы с безопасностью. Более того, для RBL довольно важен такой показатель, как "популярность". Довольно часто возникает ситуация, когда администратор занесенной в черный список сети начинает предпринимать активные действия только после попадания сети в какой-либо крупный RBL, что сразу же сказывается на связности его сети с большим числом других почтовых систем. В-четвертых, никогда нельзя забывать, что составляют публичные RBL посторонние люди, часто простые энтузиасты, и эти люди никому ничего не должны. Все мы помним, как некогда популярные RBL закрывались, а перед закрытием заносили в черный список весь Интернет, объясняя это необходимостью побыстрее сделать невозможным свое использование. И венчает это обилие проблем RBL то, что далеко не каждый технический специалист является специалистом в области борьбы со спамом. Соответственно, он никогда не сможет оценить, удовлетворяет ли используемый им черный список необходимым требованиям адекватности, актуальности, локализованности или нет. Выход из этой ситуации хотя и сложен, но его все же можно найти. Во-первых, крупные провайдеры и почтовые службы вполне могут позволить себе ведение своих собственных RBL, здесь в полной мере работает правило "если хочешь, чтобы что-то было сделано хорошо, - сделай это сам". Следующим этапом в борьбе за адекватность RBL является построение "голосующих" систем. Идея далеко не нова и довольно проста в реализации: IP-адрес отправителя проверяется не в одном, а сразу в нескольких RBL, за наличие его в том или ином RBL начисляются баллы, причем вы сами можете определить степень доверия к тому или иному RBL, начисляя разное количество баллов за попадание в тот или иной черный список. По достижении "отсекающего веса" письмо отвергается, так же можно установить границы "серой зоны" и класть письма с весом, не позволяющим отвергнуть такое письмо, в папку "сомнительные". Тем не менее первоначальная настройка подобной системы и поддержание ее в эффективном состоянии требует высокой квалификации и постоянных затрат времени специалиста по борьбе со спамом. Мы не рекомендуем пытаться использовать RBL в небольших почтовых системах, где таких специалистов нет. Крупные провайдеры могут как создавать свои черные списки, так и использовать набор внешних RBL (или делать то и другое одновременно); выбор наилучшей схемы зависит, в основном, от экономических факторов. В данный момент распределение по хостам-отправителям спама примерно такое: Открытые релеи - 0,65% Зомби-машины - 61,75% Почтовые релеи провайдеров - 28,3% Спам, рассылаемый вручную - 9,3% Из приведенных данных следует, что большая часть спама доставляется с помощью зомби-машин, имеющих относительно широкие каналы. В первую очередь, это клиенты провайдеров широкополосного доступа. К счастью, большинство из них имеет динамические адреса, раздаваемые из специально выделенного динамического пула провайдера. Запретив прием почты из динамических DSL сетей, мы получим до 60% отсекаемого спама, в зависимости от полноты списка. DCC Наравне с провальной аутентификацией 2004-2005 годы принесли нам и вполне успешные технологии борьбы со спамом, например Distributed Checksum Clearing House (DCC). В данной статье под DCC понимается любая система подсчета количества писем, объединенных каким-либо единым признаком. Изначально мы тестировали DCC в стандартном исполнении. Для каждого входящего сообщения определялась контрольная сумма и отправлялась на DCC-сервер, при сравнении контрольной суммы сервер мог понять, сколько раз подобное письмо уже приходило в систему, и по достижении определенного порога прием подобных писем блокировался. Однако такая система была неэффективной по причине того, что спамеры начали модифицировать письма, вставлять мусорный текст, менять местами предложения и абзацы. Решение этой проблемы возможно при использовании нечетких алгоритмов построения контрольных сумм письма. Суть построения нечетких контрольных сумм заключается в том, что учитывается не весь текст письма, а лишь выбранные по определенному алгоритму части (например, подсчет контрольной суммы по четным согласным буквам). Таким образом, становится возможным определение похожих друг на друга писем. По результатам работы DCC-сервера, основанного на нечетких контрольных суммах, становится возможным построение RBL спам-писем. То есть в новой системе мы можем блокировать не только IP-адреса, отправляющие спам-письма, но и собственно "письма, похожие на спам". Естественно, что в первую очередь DCC ловит легальные рассылки (от content.mail.ru и подобных сервисов), поэтому использование его требует составления и поддержания в том или ином виде белого списка допустимых рассылок, и опять-таки небольшие почтовые системы оказываются в невыгодном положении, в них этой работой заниматься просто некому. В 2005 году окончательно ушла в прошлое проблема открытых релеев. Количество спама через них уже не превышает статистической погрешности, похоже, что серьезные спамеры окончательно прекратили их поиск и использование. Тем не менее, мы пока не отключаем соответствующую проверку ввиду ее абсолютной безвредности и дешевизны. Спам в Mail.Ru Agent Помимо борьбы со спамом в почте, в компании Mail.Ru был открыт второй фронт, а именно борьба со спамом в программе для обмена мгновенными сообщениями - Mail.Ru Agent. При кажущемся большом количестве общих методик, у борьбы со спамом в мессенджерах и борьбы со спамом в электронной почте есть различия, которые не позволяют использовать большинство технических методов борьбы, применяемых в почте. Основная проблема заключается в объеме сообщения, так как сообщения через мессенджеры содержат, как правило, мало текста, и это крайне затрудняет автоматический анализ. При применении "в лоб" почтовых алгоритмов определения спама на первой строчке хит-парада "спамерских" сообщений стоит сообщение "Привет!", следующим по популярности следуют "Как дела?" и одиночный смайлик. Rate-limit'ы в мессенджерах тоже не эффективны, так как если электронные письма люди пишут с примерно одинаковой и небольшой частотой, то общение по месcенджеру сильно зависит от количества свободного времени, болтливости человека и погоды за окном. При сочетании удачных факторов общительный человек может отправить несколько тысяч сообщений в сутки, разговаривая только с друзьями или по работе. Также не подходит для инстант-мессенджинга и анализ сообщения по формальным признакам: из-за небольшого числа доступных клиентских программ, единой системы авторизации и высокой стандартизации инстант-мессенджинга формальные признаки практически отсутствуют. Третья проблема заключается в том, что на этом фронте мы бьемся практически в одиночку. Если почтовый спам признали опасностью практически все, с попытками спама своих клиентов борются (или хотя бы делают вид, что борются) и ISP, и хостинговые компании, то жалобу на спам в Mail.Ru Agent abuse@ чаще всего просто проигнорирует. Наибольшую эффективность в фильтрции спама в IM-системах дает контент-анализ письма. Схема работы данного метода следующая: по образцам спам-сообщений специалистом строится база слов, характерная для рекламного текста, каждому слову присваивается определенный вес. За наличие каждого такого стоп-слова в тексте сообщению начисляется определенный балл; согласно его весу - в случае если сумма баллов в сообщении превышает установленный лимит - сообщение отвергается. Второй используемый нами метод - анализ дополнительной статистики: количество ответов, получаемых пользователем на его сообщения, количество занесений его в игнор-лист, количество безуспешных запросов на авторизацию, других параметров. Подобный подход практически невозможно использовать в почте по двум объективным причинам: с одной стороны, нам недоступна статистика ответов, приходящих на письма с другого домена; с другой - характерное время ответа на письма составляет часы и дни вместо секунд и минут для Агента, и значимая статистика реакции будет получена уже после окончания рассылки. В Агенте этих проблем нет, и метод отлично работает. Прогнозы на будущее Основные факторы, которые, на наш взгляд, будут определять ситуацию со спамом в 2006 году, это, во-первых, продолжение роста спамерской активности. Наряду с неизбежным увеличением трафика, спамеры станут умнее. Раз сейчас практически не принимается почта с динамических пулов адресов, и такая политика становится все распространеннее, то мы ожидаем постепенный отказ от рассылок спама с зомби-машин напрямую на сервера получателя и использование вместо этого smtp-серверов провайдеров. Ожидается и увеличение в общем потоке доли ручного спама, причем сразу за счет двух факторов: с одной стороны, за счет растущей популярности фишинга, изначально ориентированного на рассылку методом "писем счастья", с другой - за счет вероятного начала использования этой технологии в рекламном спаме. Есть опасность того, что спам станет более адресным. Интернет занимает все большее место в жизни каждого пользователя, и все больше информации о нем становится доступно. В результате, возможно, наступит тот день, когда спамерское письмо, отправленное на alex@mail.ru, будет начинаться уже не с "Дорогой alex", а будет указывать реальное имя-отчество пользователя. Хотя вряд ли такой спам станет массовым уже в будущем году, скорее всего, это дело более отдаленного будущего. Со стороны антиспамеров неприем почты с DSL-блоков станет абсолютно общим местом (как в свое время произошло с открытыми релеями), технология блокирования их достигнет совершенства, после чего окажется практически бесполезной - эпоха такого спама в 2006 (максимум в 2007) году неизбежно закончится. Использование спамерами smtp-релеев скорее всего приведет и к изменению политики самих ISP. Если раньше DSL-провайдер часто достаточно легкомысленно относился к спаму своего клиента (ну шлет и шлет, мне от этого никаких убытков, только трафик дополнительный оплачивает), то теперь он будет тратить на рассылку спама собственные серверные мощности и рисковать попасть в RBL'ы своими релеями, что будет вызывать естественное недовольство клиентов. Можно ожидать повсеместного установления провайдерами систем контентной фильтрации и ограничения количества отправляемых писем в единицу времени. Любопытно, что сейчас заголовки Received практически не анализируются по причине постоянной их подделки, но многое говорит о том, что доля честных Received будет расти, и уже их содержимое можно будет проверять на нахождение в каких-то черных списках. Другим следствием растущей неэффективности RBL будет дальнейшее увеличение популярности коробочных антиспам-решений. Если для того чтобы прикрутить к своей почтовой системе внешний черный список, требуется исправление буквально нескольких строк конфигурационных файлов, то контентную фильтрацию "на коленках" организовать практически невозможно, и готовые решения придется покупать. С ростом доли инстант-мессенжинга в общем объеме коммуникаций неизбежно будет расти и доля спама в нем. Борьба с ним будет одной из приоритетных задач Mail.Ru в 2006 году. В целом же благодаря опережающему развитию антиспам-технологий количество беспокоящих пользователя сообщений в Рунете в 2006 году скорее всего уменьшится. Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) "Лаборатория Касперского", 1997 - 2005