БОРЬБА СО СПАМОМ
техническими средствами
	Спам - это несанкционированная массовая анонимная рассылка электронных писем. За последние полтора-два года спам стал острой проблемой, актуальность которой постоянно возрастает. По осторожным оценкам, в России сегодня рассылается примерно 15-30 млн. спамовых сообщений в день, а во всем мире - от 5 до 10 млрд. нежелательных рекламных сообщений в день. Причем, по прогнозам экспертов, в ближайшие два года объем спама, как минимум, удвоится.

Рынок спамерских услуг - это действительно профессиональный рынок с довольно зрелой инфраструктурой и определенной системой разделения труда. Здесь можно выделить несколько слоев: рассыльные службы, собиратели баз адресов, производители ПО. Есть также компании, объединяющие в своем лице несколько функций. Среди спамеров есть и "непрофессионалы", которые, как правило, пытаются рекламировать собственную компанию, а не внешних заказчиков. Конечно же, основную угрозу представляют профессиональные компании, которые, имея весьма прибыльный бизнес, в состоянии использовать квалифицированных специалистов и обеспечивать отличное техническое оснащение и юридическую поддержку своей деятельности.

Основные методы борьбы со спамом

Способы противодействия спаму можно условно разделить на несколько категорий.

Юридические и социальные способы. Имеются в виду, например, такие акции: принять закон о спаме и наказывать спамеров; создать службы для выявления и преследования спамеров; дать провайдерам полномочия для фильтрации почты и т. д.
Процедурные способы подразумевают повышение защищенности электронной почты: введение платных электронных марок, подтверждение отправки и т. п. Такие меры должны сделать спам процедурно невозможным или Экономически невыгодным.
Технические способы предполагают фильтрацию спама с помощью технических средств.
Пропаганда: разъяснение незаконности и аморальности спама. Демонстрация альтернативных эффективных и законных - методов рекламы в Интернете.
Анализируя методы борьбы, следует понять, какие именно аспекты проблемы можно разрешить с их помощью. Пропаганда должна предотвратить приток новых спамеров, причем в основном из категории "любителей". Юридические методы направлены против самих спамеров, но не против спама как такового. К тому же нужно иметь в виду, что эти методы необходимы, но явно недостаточны: об этом говорит хотя бы накопленный опыт борьбы с компьютерными вирусами.
Процедурные методы могут дать некоторый эффект, но в любом случае их применение требует определенной коррекции работы самого Интернета, что в любом случае не удастся реализовать быстро.
Таким образом, на ближайшее время (год-два), на наш взгляд, остается только один более или менее перспективный путь фильтрация спама теми или иными техническими средствами.

Кто борется со спамом

Состояние отрасли средств борьбы со спамом в целом можно охарактеризовать как еще незрелое. Каждый месяц появляется множество новых продуктов для фильтрации спама и предложений по реорганизации Интернета и электронной почты. Однако пока в компьютерном сообществе не выработано понимание того, что именно должны делать эти средства, какими функциями они должны обладать, каков допустимый процент распознавания спама и ложных тревог, как тестировать программы фильтрации, на каких массивах писем и т. д.
Сегодня ряд организаций просто вынужден устанавливать антиспамерские средства - это владельцы почтовых служб и провайдеры. Б первую очередь мишенью спамеров становятся бесплатные почтовые сервисы (Mail.ru, Hotmail.com, почта Yahoo, Rambler, Япс1ех, Hotbox.ru и т. п.), потому что они насчитывают миллионы пользователей и в силу своего публичного положения очень уязвимы для спамерских атак. Доля спама здесь достигает 75%. Для борьбы с ним применяются различные методы фильтрации. Западные публичные почты - Yahoo, Hotmail, MSN, AOL, no словам их представителей, практически все без исключения используют те или иные фильтры, однако спама в них по-прежнему много, что, возможно, объясняется невысоким уровнем интеллектуальности используемых фильтров.
Провайдеры доступа в Интернет используют в основном черные списки (публичные и собственные внутренние), позволяющие сразу отказаться от получения письма на основании IP-адреса отправителя.
По нашим оценкам, прошедшим летом уже до половины спама приходилось на долю личных и корпоративных почтовых ящиков. Однако в настоящее время основную долю пользователей антиспамерских средств в этом сегменте (частные лица и системные администраторы организаций) составляют так называемые пионеры, т, е. те, кто постоянно пробует технические новинки, готов их устанавливать и настраивать самостоятельно, даже при отсутствии документации или технической поддержки. Именно ориентируясь на эту категорию людей, мы расскажем ниже о технических методах борьбы со спамом.

О тестировании

Мы не приводим никаких собственных данных по тестированию антиспамерского ПО - фактически сейчас нет достоверных данных на этот счет, систематического тестирования антиспамерских методов и программ не проводится. Тому есть две основные причины: во-первых, еще не выработано общепризнанных методик тестирования (в первую очередь из-за отсутствия эталонных массивов почты и чрезвычайно сильной изменчивости потока спама во времени), и, во-вторых, большая часть фильтров дает пока очень плохие результаты - т. е. фактически тестировать в них нечего.

Процедурные методы борьбы со спамом

Существует определенное количество методов и программ, эксплуатирующих идею верификации отправителя.
Карантин. Присланное письмо пропускается, если отправитель известен (находится в "белом списке"); в противном случае оно помещается в карантин. Далее пользователь может вручную проверить задержанные письма и добавить адреса в белый список.
Проверка существования отправителя. Любое письмо от неизвестного корреспондента задерживается в карантине, а отправителю отправляется письмо с просьбой подтвердить посылку. Часто, чтобы отсеять возможный ответ от спамерского робота, отправителю предлагается ответить на простой вопрос или ввести число, показанное в виде графического образа. Из наиболее известных в нашей стране программ фильтрации спама, построенных на верификации отправителя, можно назвать WinAntiSPAM (http: //www.antispam.com/).
Электронные марки и сертификаты. В настоящее время во многих антиспамерских ассоциациях и в сетевом сообществе активно обсуждается идея создать систему аутентификации отправителей на основе электронной подписи письма, сертификата отправителя и т, д. Технически здесь все кажется весьма простым - нужно снабдить каждое письмо той или иной "электронной маркой", а каждый почтовый сервер - средствами верификации таких марок, и не принимать никакой другой почты. Но вот социальные аспекты данной идеи, на взгляд автора, и станут камнем преткновения.

Методы распознавания спама

ФОРМАЛЬНЫЕ МЕТОДЫ

"Черные" и "белые" списки.

ЛИНГВИСТИЧЕСКИЕ МЕТОДЫ

Сигнатуры.

Персональные средства фильтрации

Для борьбы со спамом можно применять встроенные средства почтовых программ. Кроме того, существует уже довольно м ного персональных продуктов. Заметим, что большая часть программ для борьбы со спамом использует одновременно различные методы детектирования спама.

ВСТРОЕННЫЕ СРЕДСТВА ПОЧТОВЫХ ПРОГРАММ

В почтовых программах для пользователя есть средства фильтрации, построенные в виде "пустой рамки" для правил, которые пользователь должен задавать сам.
В частности, именно так устроены правила фильтрации Outlook (называемые Rules Wizard). Для Microsoft Outiook поставляется начальный набор правил распознавания спама (junk mail), состоящий из нескольких десятков терминов. Весьма распространенный в нашей стране почтовый клиент The Bat! также имеет мощные средства создания правил фильтрации, однако опять-таки представляет собой пустую рамку, которую пользователю предлагается заполнять самому. Увы, этот подход не работает. Пользователь, как правило, сам ничего не настраивает, а правила от Microsoft лишь изредка распознают небольшой процент старомодных спамерских писем. Скачать же новые базы негде - вторичного рынка правил для Outlook не возникло.
Впрочем, компания Microsoft обещает, что в ее новом Outlook 2003 будут более развитые средства фильтрации и 'разъемы" для подключения фильтров от третьих сторон.

ОТДЕЛЬНЫЕ ПЕРСОНАЛЬНЫЕ ФИЛЬТРЫ

Вот краткий обзор наиболее известных и эффективных программ этого класса.

SpamKiller

Продукт компании McAfee (http://www.mcafee.com/), куплен у NovaSoft. В настоящий момент интегрируется с также купленным SpamAssassin Pro. Независимый почтовый клиент; проверяет почту до попадания ее в почтовый клиент пользователя (Outlook, Bat! и т. п.). Развитый, зрелый продукт, использует синтетический метод (содержит правила для заголовков, ключевые слова, белые списки и т. д.).

Norton Spam Alert

Составная часть пакета Norton Internet Security компании Symantec (http://www.symantec.com/). Отдельная программа, в Outlook не встраивается. Анализирует текст сообщения "на основе обученной нейронной сети", фактически представляет собой эвристический фильтр (обучаемый не пользователем, а разработчиками). Позволяет заводить черные и белые списки.

SpamCatcher

Разрабатывается компанией Mailshell (http://www.mailshen.com/). Встраивается в Outlook 2000/2002, поддерживает большинство известных почтовых серверов, включая скачивание почты с Hotmail. Основной принцип обнаружения построен на сигнатурах и детекции массовых рассылок в собственной почтовой сети. Имеются правила, присваивающие письму вероятность оказаться спамом, поддерживаются также белые пользовательские списки (в том числе закачка в них всей адресной книги).

SpamNet

Производится компанией Cloudmark (http://www.cloudmark.com/), фактически представляет собой коммерческую версию Vipul's Razor. Распознавание спама построено на сигнатурах, присылаемых пользователями (принцип голосования). Черных списков и формальных правил не использует.

IHateSpam

Продукт компании Sunbelt Software (http://www.sunbeltsoftware.com/). Принципы работы не раскрываются. Скриншоты на сайте содержат только способы создания белых и черных списков.

Popfile

Бесплатная программа, разрабатывается на основе открытого исходного кода (http://sourceforge.net/projects/popfile). Построена на самообучении программы на эталонных массивах (байесовский метод).

Нужно сказать, что в отношении всех западных программ фильтрации есть одно туманное обстоятельство - заранее никогда не известно, как они будут работать с русскоязычным спамом. Наши отечественные спамеры гораздо изобретательнее, тем более что русский язык значительно сложнее, да и содержание отечественного спама сильно отличается от западного (в основном реклама мелкого бизнеса вместо рекламы порносайтов).

Есть и отечественные программы" фильтрации спама.

WinAntiSPAM

Разрабатывается компанией OfficeTune. Принцип действия - белый список и карантин писем от неизвестных отправителей с посылкой запроса отправителю (http: //www.winantispam.com/ru).

Bayeslt!

Статистический антиспамерский фильтр Байеса для The Bat!. Принцип работы - статистический байесовский алгоритм. Разработчик - Алексей Виноградов (http://klirik.narod.ru/usefuls/bayesit.htm). По словам автора, алгоритм учитывает особенности российского спама.

Kaspersky Personal Antispam

Разрабатывается "Лабораторией Касперского" (http://www.kaspersky.ru/), использует технологию корпоративного спам-фильтра "Антиспам Касперского" (сигнатуры, эвристики, списки, формальные правила). Выход продукта ожидается в начале следующего года.

КОРПОРАТИВНЫЕ ФИЛЬТРЫ СПАМА

Фильтры для корпораций представляют собой серверные решения, устанавливаемые "на входе" в корпорацию. Основное отличие их от персональных средств фильтрации - развитая бизнес-логика, т. е. средства настройки для администратора, позволяющие определить, что делать с распознанным спамерским письмом - удалить, отложить, переслать и т. д, Кроме того, для корпоративного сервера фильтрации важна высокая производительность.

Среди корпоративных фильтров спама стоит упомянуть Bnghtmail Antispam Enterprise Ed., SurfControl E-MAIL Filter, MessageLabs SkyScan AS, Postini Perimeter Manager, Kaspersky Antispam.

Будущее борьбы со спамом

Сформулируем основной вывод: в борьбе со спамом будущее за профессиональными программными продуктами для фильтрации. Мы считаем, что в ближайшие год-два сформируется рынок таких продуктов.

Источник: http://www.bytemag.ru/