Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 62 в этом номере: Новости Спам - статистика за неделю 2 - 8 августа 2004 г. Технология SPF - за и против. Комментарий читателя The Bat! против спама. Часть 1: ByesIt! Игорь Гордиенко Новости Служба DNS может стать оружием хакеров 03.08.2004 На проходившей в Лас-Вегасе конференции Defcon 2004 был прочитан доклад о том, как служба DNS может быть использована для передачи информации в обход систем защиты. Ден Камински, известный специалист по сетевой безопасности и автор нескольких книг по этой тематике, рассказал, что особым образом сформировав DNS-запрос, можно переслать данные из защищенной сети. Дело в том, что если локальный DNS-сервер не находит соответствующей записи в своей базе данных, то он передает запрос дальше, пока не будет достигнут сервер, хранящий нужную информацию. Поскольку запросы DNS пропускаются большинством систем защиты без проверки, этот путь может быть применен для отправки любых данных. Источник: Компьюлента AOL покупает компанию Mailblocks и ее антиспамовые технологии 04.08.2004 Крупнейший интернет-провайдер США America Online заявил о покупке антиспамовой почтовой службы Mailblocks. Компания AOL в борьбе со спамом намерена использовать разработанную и запатентованную Mailblocks технологию "запрос/ответ" (challenge/response), которая дополнит протокол SPF. Технология challenge/response блокирует письма, рассылаемые автоматически, и предложена как один из способов борьбы с массовыми спамерскими рассылками. Письмо от незнакомого отправителя задерживается, а отправителю автоматически отсылается запрос, требующий ручного ввода семизначного кода, который человек видит на экране. После ввода кода письмо попадает к получателю. Подлинность данного отправителя в дальнейшем не требует подтверждения - в результате генерируется список проверенных отправителей. Специалисты AOL считают, что технология challenge/response прекрасно вписывается в антиспамовую стратегию компании и удачно дополнит технологию SPF (Sender Policy Framework направлена на выявление писем с фальшивыми адресами), тестирование которой AOL начала в январе. AOL планирует интегрировать технологию challenge/response в свой софт и сделать ее доступной в качестве одной из опций сервиса для тех клиентов, которые захотят ею воспользоваться. Представители AOL заявили, что эта услуга будет предоставляться пользователям бесплатно. Несмотря на свою эффективность, технология challenge/response распространяется медленнее, чем полагали некоторые эксперты. Компания EarthLink предложила своим клиентам аналогичную систему еще летом прошлого года. В настоящее время ею пользуются 673 тыс. из 5 млн. клиентов EarthLink. AOL намерена также использовать некоторые элементы пользовательского интерфейса Mailblocks. Mailblocks - небольшая частная компания, основанная в 2002 году, - за недолгое время своего существования хорошо зарекомендовала себя как антиспамовая компания. Почтовый сервис Mailblocks ориентирован на домашних пользователей и компании малого бизнеса. Финансовые условия сделки не разглашаются. Источник: pcworld Производитель Viagra против спамеров и распространителей v.!.@.g.r.a 05.08.2004 Фармацевтический гигант Pfizer начал кампанию поротив спамеров и онлайн-продаж поддельной виагры. Цель кампании - выявить домены, которые продают поддельные таблетки, и остановить спамеров, распространяющих их рекламу. Pfizer начал кампанию после проведенного исследования, в ходе которого выяснилось, что 25% опрошенных считают именно компанию-производителя источником спама, рекламирующего виагру. Еще одно направление деятельности Pfizer - предупреждение потребителей относительно опасности для здоровья, которую представляют поддельные препараты. Реклама виагры и ее производных занимает одно из ведущих мест среди тематик спамерских рассылок. В результате название таблеток настолько ассоциируется со спамом, что спамерам, рассылающим рекламу препарата приходится всячески искажать его название, чтобы проскочить антиспамовые фильтры. Pfizer подает 5 исков против организаций и частных лиц и 24 иска против сайтов, продающих фальшивые таблетки, и намерен добиться прекращения продаж не запатентованных "тезок". Кроме того, Pfizer разыскивает спамеров, рассылающих миллионы писем, предлагающих лекарство. Намерения Pfizer весьма серьезны. Чтобы выследить и привлечь к ответственности продавцов поддельной виагры, ведется работа с Министерством юстиции США, таможенными и пограничными службами, ФБР и Управлением по контролю за продуктами и лекарствами США. Источник: BBC Вирусы + спам = угроза 05.08.2004 По данным компании Sophos в июле было идентифицировано 1157 новых вирусов - своеобразный максимум за последние три года. При этом MessageLabs бьет тревогу: вирусописатели и спамеры объединяются, грань между вирусами и спамом стирается, и это представляет серьезную угрозу. Почти все вирусы, которые MessageLabs перехватила в 2004 году, потенциально могли быть использованы для рассылки спама с зараженных компьютеров. В качестве примера можно привести MSBlaster, Agobot, Fizzer, Bugbear, Mydoom и Sobig, которые специально были созданы с целью превращения домашних компьютеров в "зомби". Специалисты Sandvine считают, что около 1% активных хостов Сети могут быть заражены, а это означает, что миллионы компьютеров ожидают приказа от скрытых хозяев и потенциально готовы рассылать спам. По результатам исследования Sandvine, в широкополосных сетях спам составляет 85% отсылаемой почты. Это уже не тенденция, а факт: вирусные и хакерские технологии объединяются, вирусы стали более опасными и включили спам в число предоставляемых коммерческих услуг. В настоящее время сеть зомбированных машин можно нанять на определенное время (например, на час) для рассылки спама или других целей. Источник: uk.news Источник: BBC FCC утвердила правила, запрещающие "мобильный" спам 05.08.2004 Федеральная Комиссия связи США (FCC) проголосовала за запрет рассылки спама на мобильные телефоны и пейджеры. Теперь любая незапрошенная рассылка на беспроводные средства связи грозит спамерам штрафами и даже тюремным заключением. Правила, принятые FCC относительно рассылки спама на беспроводные средства связи, более жесткие, чем те, которые действуют в отношении спама, рассылаемого на компьютеры по электронной почте. Согласно принятому антиспамерскому закону Can Spam Act, рассылка спама по электронной почте признается незаконной лишь после того, как пользователь от нее отказывается. В случае "мобильного" спама правонарушением считается любая коммерческая рассылка без предварительного согласия получателя. Члены Комиссии мотивируют это тем, что спам, приходящий на мобильные телефоны, обходится получателям много дороже. Чтобы помочь отправителям легальных коммерческих сообщений на мобильные телефоны и пейджеры идентифицировать подписчиков их сервисов, FCC предложила провайдерам представить на утверждение Комиссии имена доменов, которые будут внесены в список и опубликованы. Индивидуальные адреса подписчиков в списке фигурировать не будут. Разработчики новых правил уверены, что их поддержат все пользователи мобильных телефонов. Источник: www.computerweekly.com SpamPal 1.634 06.08.2004 Появилось новое обновление антиспамового фильтра SpamPal, который работает с почтовыми программами Outlook Express, Outlook, The Bat!, Eudora. В новой версии улучшена работа с POP3 протоколом, улучшена работа с командной строкой, оптимизирована функция записи log-файла, исправлены ошибки, внесены некоторые другие изменения. SpamPal фильтрует входящую электронную корреспонденцию. Письма, распознанные программой как спам, не удаляются, а помечаются специальной отметкой и помещаются в отдельную папку. Тем самым электронный мусор не мешает работе с другими письмами. Процесс работы программы построен на DNSBL списках (DNS Black Lists - черные списки доменных имен интернета). Эти списки содержат базу адресов Интернета, наиболее используемую спамерами. В SpamPal предусмотрена функция обновления DNSBL базы через Интернет. Для правильной настройки программы необходимо ознакомиться со справочным руководством. Источник: IZone Domino Спам - статистика за неделю 2 - 8 августа 2004 г. Ашманов и Партнеры Объем спама Объем спама в начале недели сохранялся на уровне 70%, к концу недели был зафиксирован рост до 75-80%. Популярные тематики В течение прошедшей недели наиболее значительно возросла доля предложений тематики "Здоровый образ жизни" и "Медикаменты". No Тематика Описание %% от общего объема Изменение за неделю 1 "Здоровый образ жизни" и "Медикаменты" Предложения сбросить лишний вес, улучшить состояние кожи, волос; приобрести правильную осанку, купить биологические добавки и т.п. Предложения приобрести лекарства в online 16% +8% 2 Личные финансы Предложения по страхованию, уменьшению кредитной задолженности, выгодным условиям займов и т.п. В подавляющем большинстве англоязычные письма. 12% +3% 3 Для взрослых Средства для повышения потенции (виагра и пр.), а также для улучшения физических возможностей при занятих сексом 10% -7% 4 Образование Реклама семинаров, тренингов, курсов 6% -6% 5 Компьютеры и Интернет Предложения приобрести ПО, компьютерную технику, расходные материалы; также предложения для владельцев сайтов (хостинг, обмен баннерами и т.п.) 5% -4% 6 Услуги по электронной рекламе Предложения организовать спамерскую рассылку, программы для рассылок, базы электронных адресов и т.п. 5% +3% 7 Отдых и путешествия Предложения туристических поездок, а также организации и проведения различных развлекательных мероприятий. 4% -2% Письма недели "Олимпийские Игры - удовольствие для глаз и польза для кошелька!" Главное событие середины августа - это, конечно же, Олимпийские игры в Афинах. Спамеры отреагировали оперативно и решили сыграть одновременно на интересе, вызванном играми, и на жадности. В письме некто обещает открыть страшный секрет, как можно "обобрать до нитки все букмекерские конторы мира, или в крайнем случае хотя бы часть из них". Разумеется, чтобы этот секрет узнать, надо выполнить ряд процедур. Еще одно письмо с устрашающей темой: "Услуги киллеров" Неискушенный получатель может и в милицию позвонить, однако, название и текст письма - это своеобразный "черный" юмор, эффектный прием, позволяющий привлечь внимание пользователей. На сайте спамеров речь идет о компьютерных товарах/услугах. Эти письма, а также толерантное письмо, рекламирующее магазин для левшей, вы найдете на сайте Спамтест. Технология SPF - за и против В прошлых номерах Спамтест была опубликована статья Алексея Тутубалина "Технология SPF - за и против". Предлагаем вашему вниманию один из комментариев, полученных после публикации статьи. Комментарий читателя Добрый день! Есть еще один часто встречающийся случай, при котором письма отправляются не напрямую. Речь идет о пользователях, которые подключаются к разным провайдерам. При грамотно настроенном ПО провайдера (простейший случай, когда не используется авторизация smtp) нет возможности отправить почту, скажем, через ips1.ru:25, будучи подключенным к isp2 и наоборот. Про open relays речь не идет. Если провайдеров несколько, каждый раз перенастраивать адрес smtp-сервера может быть затруднительным. Другой вариант - почта, которая пишется из локальной сети наружу в условиях, когда применяется система прокси-серверов, а NAT отсутствует. Решение давно известно - локальные smtp-серверы. Т.е. почта отправляется на localost или другой адрес из диапазона внутренних подсетей, а далее уже smtp-сервер подключается к серверам получателей и раскладывает почту. Плюсы и минусы такого решения очевидны и давно известны. Собственно, далее в статье на это есть косвенный намек там, где речь идет о механизме exists и приводится пример с адресом отправителя localhost. Реализация spf-политики, как я понимаю, поставит на этом крест, поскольку почта будет гарантированно отправляться не с адресов описанной в политике dns-зоны, иначе в таком решении нет смысла. Если же проверять не адрес smtp-сервера, а адрес отправителя в момент отправки письма (при этом мы хотим разрешить локальным серверам отправлять почту), то мы автоматически ставим крест на всей антиспамерской защите. Best regards, Alexey Ответ автора статьи Спасибо за Ваш комментарий. На мой взгляд, какой-либо отдельной проблемы для SPF от использования дополнительного ISP не появляется. Даже если ISP у нас один, все равно бывают ситуации, когда через него посылается почта от "чужого" домена (скажем, диалап-провайдер isp1, а пользователь имеет адрес @mail.ru). Соответственно, появляются такие варианты: Пользователь использует собственный домен (которым сам управляет). Тогда в SPF-записях он может написать +ip:диапазон-ip-провайдера. Пользователь не управляет используемым доменом. Тогда в SPF-записях используемого домена должно быть что-то в духе ?all или ~all (или +all). Появление второго ISP в схеме отсылки почты проблему никаким образом не меняет - пользователь или может описать и его тоже (собственный домен), или не может (чужой домен). Вообще, схема внедрения SPF предполагает, что все "мобильные" (т.е. пользующиеся ISP-посредниками) пользователи будут переведены на SMTP с авторизацией. Т.е. user@company.ru, работая из дома через isp1, будет посылать свою почту не через SMTP провайдера, а через сервер компании (авторизуясь на нем). Естественно, для провайдеров бесплатной почты схема не сработает - и они будут исключениями из общей схемы. Алексей Тутубалин The Bat! против спама. Часть 1: ByesIt! Игорь Гордиенко The Bat! является одной из самых популярных программ - клиентов электронной почты. Это обусловлено ее универсальностью и полной русификацией всех интерфейсов. Кроме того, эта система обеспечивает высокую степень защиты от спама. С The Bat! могут работать разные программы фильтрации. Первая часть статьи посвящена установке и настройке ByesIt!. Возможность подключать к пакету The Bat! внешние антиспамерские фильтры появилась в версии 1.63, но поначалу эти решения были весьма ограниченными функционально. С The Bat! могут работать разные программы фильтрации, например, ByesIt! или SpamPal, рекомендованные на сайте Ritlabs - компании-разработчика почтового клиента. Только с выходом версии 2.00 стало возможным выполнять фильтрацию прямо в The Bat!, не привлекая внешних приложений. В версии 2.12 все стало еще удобнее, особенно с учетом того, что теперь Ritlabs параллельно выпускает полностью русифицированный вариант клиента. До этого приходилось пользоваться специальным международным пакетом, для антиспамового решения - отдельным языковым модулем. Надо заметить, что подходы, принятые в указанных фильтрах, существенно различаются. А потому мы будем рассматривать их раздельно. В данном случае это будет ByesIt!. Знакомьтесь: ByesIt! ByesIt! - весьма обширная программа, имеющая массу нюансов использования, собственные макросы и многое другое. ByesIt! - встроенный компонент The Bat!, который работает с полученной почтой. Фильтрация спама осуществляется на основе байесовской модели анализа статистических данных. Система ByesIt! является самообучающейся: начиная с некоторого количества факторизаций спамовых сообщений, она сама эффективно обращается с последующими явлениями такого рода. Предлагаемое первичное, то есть ручное, накопление спамовых сообщений составляет несколько десятков - до сотни. Система не ликвидирует спамовые сообщения, а помещает их в отдельную папку. Это позволяет не терять сообщения в случаях ложных срабатываний и при необходимости перенастраивать систему - например, в тех случаях, когда пользователю понадобится некая категория рекламных сообщений. По мнению разработчиков, эффективность фильтрации спама может достигать 98-99 процентов. Этот метод фильтрации (как и всякий иной) является подспорьем для пользователя электронной почты. Содержательная составляющая является основой его интересов, а потому конечное решение о том, какие категории писем относятся к спаму, остается за человеком. Как включить и настроить антиспамовые функции ByesIt! Процедура включения и настройки антиспамовых функций ByesIt! выполняется с помощью встроенной в The Bat! подсистемы, разработанной Алексеем Виноградовым и стандартно присутствующей в последних версиях. О том, как все это проделать, очень подробно рассказывается на странице http://www.ritlabs.com/ru/solutions/BayesIt.php. Так что в тонкостях описывать все действия в данной статье необходимости нет. Использовалась версия The Bat! 2.12. С ней все просто, поскольку нужные файлы входят в состав пакета, а русификация проведена полная для всех компонентов. Для более ранних версий следует обратиться на вышеуказанный сайт и прочитать документ на приведенной ссылке. Вот пошаговая процедура, которую нужно знать для начала, открыв The Bat!. Идем в "Свойства", а там выбираем "Настройка". См. рисунок 1. В левой части экрана выбираем ветвь "Предупреждения", которая включает опцию "Защита от спама". См. рисунок 2. В открывшемся окне можно обнаружить ByesIt! среди модулей антиспама (в версии 2.12 это происходит автоматически). Если такого нет, его нужно добавить из подкаталога ByesIt!, который "сидит" в каталоге The Bat!. Имя файла byesit.tbp. См. рисунок 3. Если теперь выделить этот модуль и нажать "Настроить", то попадем в дополнительные настройки. Однако, вряд ли есть необходимость сразу же использовать эту опцию: при установке модуля он уже настроен разумным образом, и что-либо менять на первых порах даже не рекомендуется. Все, дело сделано. Теперь можно классифицировать почту - что относится к категории "спам", а что к "НЕ спам". Делается это очень просто. Выделяем сообщение и идем в основном меню в "Специальное" и находим там функции "Пометить как спам" и "Пометить как НЕ спам". При первом отнесении сообщения к спаму на используемой учетной записи появится новая папка "Спам". Набирайте побольше спамовой почты и не ленитесь относить ее в эту папку - ByesIt! начинает тренироваться. Как это происходит - чуть ниже. Несколько слов о том, сколько же спамовых писем надо набрать, чтобы ByesIt! дошел до обещанных и желанных 98-99 процентов эффективности. Создатель инструмента говорит, что сотни сообщений будет в самый раз, но рассказывает он и о случаях, когда процесс самообучения системы начался на тройке вручную введенных спамовых писем. В другом источнике я встретил рекомендацию: хорошо ввести таких писем несколько десятков, еще лучше - до сотни. А вот тысяча - явный перебор, там наблюдается насыщение по показателю результирующей эффективности, притом, что компьютер будет "тренироваться" сутками. Принципиальной особенностью ByesIt! является то, что формализованных "белых" и "черных" списков там нет. По приходу сообщения его можно отнести к категории "спам" или "НЕ спам". Дальше - думайте сами, решайте сами - сообщения остаются доступными. Что касается практических интересов пользователя в отношении конкретных предметов, например, недвижимости, автомобилей или компьютеров, то коль он не будет выбрасывать в спам сообщения об этих вещах, система перестанет относить их в папку спама. Тут все очень просто - заявите интерес. Конструктивной особенностью ByesIt! является то, что он вообще не взаимодействует с внешним сервером, а работает с уже полученной почтой - без спама, поступающего на клиентский компьютер, ByesIt! не смог бы обучаться. Тут, как всегда, свои плюсы и минусы. Плюс - независимость от связи с сервером и с транспортом. Это означает, что фильтру совершенно безразлично, какие почтовые протоколы используются - POP3 или IMAP. А минус в том, что спам все-таки переносится в компьютер, а это потребляет и канальные, и собственно компьютерные ресурсы и к тому же ослабляет общую безопасность. Кстати, как выяснилось после небольшого эксперимента, весьма нежелательно использовать одновременно несколько антиспамовых программ. Я умышленно пошел на риск (уж очень было интересно, что получится) и поплатился - пришлось лечить систему Windows XP. Хотя, мой опыт может оказаться локальной значимости. Немного теории В обсуждаемом предмете фильтрации потока сообщений проверяется общая вероятность того, что сообщение является спамом, на основании ключевых слов в сообщении, включая заголовки и прочие включения. Вся схема ByesIt! построена на байесовской модели анализа статистических данных. Эта модель была предложена еще в 18 веке Томасом Байесом, вовсе не математиком, а пресвитерианским проповедником. При жизни автора эта его работа не публиковалась, ее случайно нашел приятель покойного в завещанном сундуке. Модель основана на комбинировании вероятностей. Например: идет "юноша бледный с взором горящим" и безотрывно читает, скажем, Chip. Вероятность того, что это практикующий компьютерщик составляет 60% (a). Но когда мы замечаем у него в пакете коробочку с картой Ethernet, вероятность возрастает до 80% (b). Согласно правилу комбинации вероятностей по Байесу получаем такую формулу общей вероятности: s = ab/ [ab + (1 -a)(1 - b)] Для случая с увлеченным компьютерщиком s будет равно чуть более 98%, то есть, наша догадка для нас становится почти истиной. Важной особенностью фильтрации на основе подхода Байеса является то, что в учет идут и положительные, и отрицательные индикаторы спама. Отдельные слова, встречающиеся с высокой вероятностью в спаме, повышают вероятность принадлежности к спаму всего сообщения. И наоборот, слова, нетипичные для спама, снижают вероятность принадлежности сообщения к спаму. У фильтрации на основе принципа Байеса признаются три преимущества по сравнению с традиционными методами фильтрации по содержательным единицам: анализ проводится с использованием двух типов разных индикаторов: тех, которые говорят о принадлежности к спаму, и тех, которые говорят о принадлежности к востребованным или санкционированным сообщениям; применение принципа Байеса независимо от используемого языка сообщений; отсутствие необходимости постоянно корректировать и пополнять списки фильтрации. Сам по себе метод Байеса является теоретической идеей. Потому для практического применения этой идеи приходится искать решений ряда проблем. Одной из таких проблем является анализ слов и знаков в сообщениях посредством использования частотности и статистики их употребления. В специальных базах данных хранятся все слова и все буквенные последовательности (знаки или токены - последний термин принят в среде антиспамеров), и с их помощью можно подсчитать и оценить частоту их употребления в спаме или же в легитимных посланиях. Если в каком-нибудь послании обнаруживается 15 токенов, обладающих известной спецификой, то вероятность, что это спам, составит не менее 50%. Это не эвристика и не "ползучий эмпиризм", это анализ текстовых структур. Комбинируя принципы Байеса с идентификацией токенов, можно вывести вероятность спама или, напротив, легитимности всего сообщения. Кстати, если посмотреть в настройки модуля ByesIt!, то обнаруживается, что там в опциях фильтрования по умолчанию установлены эти самые 15 токенов. При всех этих премудростях выбор того, что спам, а что - нет, остается за вами.   Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003-2004