Мягкая защита от электронного мусора

Автор: Надежда Баловсяк
Источник: infomix.ru

С проблемой спама рано или поздно сталкивается каждый владелец электронного адреса — независимо от того, «светил» он где-то свое «мыло» или нет. Несмотря на этот прискорбный факт, являющийся неотъемлемым спутником пребывания в Интернете, достаточно эффективных способов борьбы с нежелательными письмами ни разработчики почтовых клиентов, ни создатели веб-сервисов бесплатной почты пока еще не предложили. Поэтому пользователям приходится прибегать к помощи стороннего софта.

В приведенном материале рассмотрены только внешние самостоятельные приложения, которые могут работать отдельно, либо совместно с почтовыми клиентами. Мы сознательно не рассматриваем встроенные средства файерволлов или решениий класса Internet Security.

Существует несколько типов программ, предназначенных для борьбы со спамом. Одни в своей работе используют эвристический и лингвистический анализ содержимого электронных писем, а во время работы сравнивают содержимое словаря с текстом сообщения. В процессе работы словарь пополняется, и уровень отсева электронного мусора улучшается.

Программы второго типа используют заранее созданные фильтры для определения спама. Впрочем, большинство из них поддерживают возможность самостоятельного создания фильтров. К третьему типу относятся накопители адресов и программы, работающие на основе черного и белого списков. Сообщения из черного списка удаляются, сообщения от адресатов из белого списка пропускаются.

Заметим, что изощренность современных отправителей нежелательных писем привела к тому, что разработчики антиспам-софта часто используют в своих программах несколько способов определения нежелательных писем, а развитие статистических методов борьбы с незапрашиваемыми письмами, в частности, байесового фильтра, значительно улучшило работу антиспам-фильтров. Правда, для корректной работы такой программы необходимо провести ее обучение, которое основывается на базе данных уже готовых ненужных сообщений.

Тестирование программ, представленных в обзоре, осуществлялось следующим образом — программа отслеживала содержимое «засвеченного» почтового ящика, в котором обычно спам составляет около 85-90% всей электронной корреспонденции. При этом ненужные письма, которые отправлялись на этот ящик, были как текстовыми, так и содержали графический спам, спам, зашифрованный под коммерческие предложения, содержащий фрагменты литературных произведений и многое другие. Эффективность работы программы определялась как на основе следующих общих параметров работы: настройка, удобство интерфейса, так и главный результат — количество сообщений, верно обнаруженных и помеченных как нежелательные. Заметим, что еще одним критерием работы антиспам-фильтра является также процент ложных срабатываний. Заметим, что ложные срабатывания бывают двух видов — программа может определять как спам нужные сообщения, и наоборот, пропускать ненужные письма, воспринимая их как обычные электронные письма.

Spam Blocker

Поддержка: Windows 2000 / XP /2003 / VISTA
Сайт программы (spam-blocker.adscleaner.com)
Русский интерфейс: да
Размер дистрибутива: 1,66 Мб
Условия распространения: shareware
 

После первого запуска приложения необходимо указать почтовые ящики, с которыми будет работать программа. Это можно сделать, вручную прописав все необходимые параметры, или же воспользовавшись средствами импорта информации о ящиках. Также можно провести импорт почтовых адресов в белый список — при этом доступен импорт адресных книг Outlook, Outlook Express, а также адресов в текстовом формате.

Программа работает на основе созданных правил и списков. Списки, доступные в программе, содержат спам-слова, черный список адресатов, белый список адресатов и отправителей рекламы. Каждый из этих списков пользователь может обновить через Интернет — в результате с сайта программы будут скачаны последние версии.

После подключения к почтовому серверу, программа скачивает все заголовки сообщений, сохраненных на сервере, и начинает их обработку в соответствии с существующими правилами и списками. В результате обработки письма, которые будут определены как спам, будут удалены полностью, то есть ни в папке с входящими сообщениями, ни в корзине таких писем не будет. Такое категоричное решение нельзя отнести к преимуществам программы, в первую очередь, потому, что при ложных срабатываниях, то есть в случае ошибочного определения нужных писем как мусора, такие письма нельзя будет восстановить.

Программа ведет подробный отчет о проделанной работе, который можно просмотреть в специальном разделе. Здесь красным цветом выделены письма, которые программа определила как незапрашиваемые. Кроме этого, можно просмотреть, на основе какого правила осуществлялась обработка письма и его отбраковка в качестве спама (по словам, по отправителю, по адресу в DNS-списках). Правда, заметим, что качество определения «плохой почты» на основе параметров, установленных по умолчанию, оставляет желать лучшего — очень много писем программа поначалу пропускает.

Программа предназначена для формирования правил определения несанкционированных электронных писем. Созданные правила можно экспортировать в отдельные файлы, а потом использовать, например, в почтовых клиентах. Кроме этого, в разделе с содержимым почтового ящика можно просмотреть, какие письма были помечены как спам, а какие определены как нужные.

После того, как письма обработаны, в разделе «Лог почты» можно создать правило на основе любого из писем, которое не было определено как спам. При этом Spam Blocker позволяет использовать различные параметры для отбраковки ненужных писем — можно добавить спам по адресату, по теме, по имени отправителя, по размеру.

Главным преимуществом программы являются ее обучаемость и гибкая настройка, благодаря чему достигается высокая эффективность в определении и отсеивании электронного мусора.

К недостаткам этого антиспам-фильтра можно отнести тот факт, что здесь нельзя приостановить или отменить процесс проверки писем, расположенных на сервере — если у вас раньше накопился большой объем электронной корреспонденции, вам придется долго ждать, пока все их заголовки будут обработаны программой.

В процессе тестирования программа показала достаточно высокий уровень определения ненужных писем, причем как HTML-сообщений, так и коммерческих предложений в виде текстовых писем, хотя здесь некоторые сообщения пропускались. Графический спам оказался неподвластен программе, а вот сообщения с вложениями отбраковывались без проблем.

Технология работы байесовых фильтров состоит в следующем. Каждому слову, встречающемуся в электронном письме, присваивается два значения: вероятность его наличия в незапрашиваемых сообщениях и вероятность его присутствия в обычных электронных письмах, не являющихся спамом. Соотношение между этими двумя значениями и определяет общую вероятность того, что письмо, в котором встретились данные слова, является незапрашиваемым.

Вычисление вероятности принадлежности каждого письма к разрешенным письмам или к ненужным, происходит с помощью формулы Байеса: строится оценка для каждого слова нового письма, а оценка всего письма определяется как среднее оценок всех слов, вошедших в него. Сразу после обучения байесовы фильтры отсеивают спам на 97-98%, а при последующей их работе фильтр необходимо обучать повторно, особенно в тех случаях, когда фильтр сработал неверно.

Байесовы фильтры используются, в основном, во встроенных клиентах почтовых программ, в частности — в Mozilla Thunderbird и TheBat!.

Spamihilator

Поддержка: Windows 2000 / XP /2003 / VISTA
Сайт программы
Русский интерфейс: нет
Размер дистрибутива: 1,7 Мб
Условия распространения: Freeware

Spamihilator интегрируется с почтовым клиентом — как с «традиционными» от Microsoft — Microsoft Outlook, Outlook Express, так и другими (в этом случае нужно будет просто указать размещение соответствующего exe-файла).

Программа работает на основе ряда предустановленных параметров, среди них — стандартный список спам-слов, список расширений, которые нужно блокировать, также могут использоваться черный и белый списки отправителей.

Вначале нужно провести обучение программы. Для этого необходимо запустить почтовый клиент, программа перехватит обращение к почтовому серверу, и будет пытаться определить каждое полученное сообщение как спам или как нужное письмо. На основе этих данных будут построены правила, которые потом будут использоваться при определении писем как нужных или нежелательных. Пользователь может вручную изменить решение программы — все полученные письма можно просмотреть, удалить полностью или же восстановить, указав, что письмо является нужным. Каждое изменение такого рода следует сопровождать изменением правил, на основе которых работает программа — это значительно уменьшает количество ложных срабатываний.

Уровень определения несанкционированных писем с помощью этой программы оставляет желать лучшего, хотя большинство ненужных писем все же было обнаружено. Примечательно, что эта программа лучше всего справлялась с письмами с англоязычными темами (примерно 90%), при этом, определяя даже графический спам. А вот с русскоязычными сообщениями здесь немного не сложилось.

Agnium Spam Terrier

Поддержка: Windows 2000 / XP /2003 / VISTA
Сайт программы
Русский интерфейс: да
Размер дистрибутива: 1,58 Мб
Условия распространения: freeware

После установки Agnium Spam Terrier интегрируется с почтовым клиентом, установленным на вашем компьютере (с Microsoft Outlook и Outlook Express) — появляется специальная панель инструментов. После первого запуска программа предлагает запустить обучение ее на основе уже существующей базы нежелательных почтовых сообщений — для корректной работы программы ей необходимы вручную отсортированные хотя бы несколько десятков спам-сообщений. На основе сообщений, которые пользователь сам определил как ненужные, Agnium Spam Terrier сформирует правила определения писем как нежелательных. С одной стороны, такое требование усложняет работу с приложением, по крайней мере, требует немногим больше обычного времени. Но при этом после такой настройки определение нежелательных писем приближается к 100%. В процессе тестирования было замечено, что если этот шаг пропустить, то программа будет определять ненужные письма, однако поначалу этот процесс будет сопровождаться довольно большим процентом ложных срабатываний, которые придется исправлять вручную. Но чем больше писем программа проанализирует, тем точнее будет ее работа и выше уровень определения ненужных писем.

Примечательно, что Agnium Spam Terrier размещает письма, которые считаются нежелательными, в папку «Спам» или «Вероятно спам». Во вторую папку попадают письма, которые программа подозревает в том, что они являются незапрашиваемыми.

Программа умеет работать с письмами на лету, в процессе получения новой корреспонденции будет разделять ее на нужную и незапрашиваемую. Кроме этого, можно запускать сканирование отдельных папок на предмет определения ненужных писем. При этом пользователь может задать свои действия как относительно возможного спама, так и относительно нужных писем — их можно переместить в соответствующие папки ("Входящие» и «Вероятно спам"), удалить. При необходимости можно задать сканирование только непрочитанных сообщений.

В параметрах работы Agnium Spam Terrier можно указать уровень ее чувствительности, то есть то, насколько категорично программа будет определять нежелательные сообщения. Установленный по умолчанию «Обычный уровень» позволяет определить большинство нежелательных писем, одновременно с этим защитит от возможных ложных срабатываний. Поддерживается здесь черный и белый список адресов. Между тем, не предусмотрена возможность явного просмотра и редактирования правил на основе которых осуществляется определение спама.

Также в настройках можно указать действия относительно ненужных сообщений: удаление, удаление через определенное количество дней, или отменить удаление. Заметим, что эта довольно удобная мелочь позволит оградить пользователя от случайного удаления нужных сообщений, которые иногда практически любая программа относит к спаму.

Эта программа после обучения на достаточно большой базе сообщений, выделенных как незапрашиваемые (больше 50 писем) определяла ненужные с вероятностью около 90%, графические спам-письма пропускались, а особенно нужно быть внимательными с письмами с вложениями, которые также могут в некоторых случаях определяться неверно.

Despamious

Поддержка: Windows 2000 / XP /2003 / VISTA
Сайт программы
Русский интерфейс: нет
Размер дистрибутива: 1,41 Мб
Условия распространения: shareware

Это приложение также встраивается в почтовый клиент (Outlook Express, Microsoft Outlook), добавляя к нему свою панель инструментов. Сразу же после установки программы, она будет работать своеобразным барьером между почтовым сервером и папкой с входящей корреспонденцией пользователя. При получении писем программа определяет их как ненужные и сразу же перемещает их в специальную папку Spam, которую программа автоматически создает после ее первого запуска. Если антиспам-фильтр Despamious будет мешать вашей работе, его можно легко отключить, просто нажав кнопку на панели инструментов. Эта программа работает на основе сразу нескольких правил определения спама. Среди них — байесов фильтр, черный список RBL (доступный на сайте relays.dnsbl.sorbs.net), HTML-фильтр (использующий некоторые HTML-теги, которые могут использовать отправители электронного мусора, например, скрытый и невидимый текст, предложение перейти по ссылке), а также список правил. Этот список изначально пустой, но пользователь его может дополнить. Кроме этого, на основе любого из сообщений, представленных в базе данных почтового клиента, можно сформировать правило, определяющее данное письмо как спам или как допустимое.

Примечательно, что в программе можно отключить один из используемых способов определения спама, например, вы можете не использовать HTML-фильтр, либо отменить проверку на основе байесового фильтра, если видите, что эти инструменты работают у вас некорректно. Кроме этого, здесь традиционно можно сформировать черный и белый список адресов.

В программе предусмотрена возможность отмены действия фильтра относительно отдельного сообщения. Например, письма, которые были определены, как спам, можно пометить как нужные — в результате письмо автоматически будет помещено в папку с Входящими письмами. Точно также можно вручную пометить как нежелательные те письма, которые программа ошибочно пропустила. Такое ручное исправление неверных действий программы автоматически сопровождается ее обучением — в будущем программа не будет ошибаться на похожих сообщениях.

Программа предоставляет пользователю наглядную статистику за указанный период — при этом можно увидеть, сколько из сообщений, полученных за день (неделю, месяц или другой период) были отнесены к ненужным, сколько было нормальных сообщений, каков процент ложных срабатываний в одном и в другом случае, то есть тех сообщений, относительно которых пользователем были указаны противоположные действия.

Заметим, что используемые по умолчанию фильтры и способы определения спама практически не дают положительных ложных срабатываний, то есть не помечают нужные письма как ненужные, но зато процент необнаруженных нежелательных писем довольно высок.

Эта программа сумела корректно справиться с нежелательными письмами только после тщательного ручного обучения — около сотни писем понадобилось изучить Despamious, чтобы программа работала корректно. Хотя и в этом случае случались пропуски ненужных писем.

Результат тестирования

Наилучший результат в результате тестирования продемонстрировало приложение Agnium Spam Terrier, с его помощью были определены практически все спам-сообщения, при этом заметим достаточно низкий уровень ложных срабатываний как в одну, так и в другую сторону — программа корректно справляется как с определением ненужных писем, так и с определением нужных сообщений. «Второй номер» нашего списка — приложение Spamihilator, кроме того, что умеет достаточно качественно определять спам, удобно информирует пользователя о его получении с помощью значка, расположенного в системном трее. Что касается Spam Blocker, то главным недостатком этой программы, несмотря на высокий уровень определения электронного мусора, является невозможность отменить ложное срабатывание — сообщения, которые были определены как спам, удаляются еще до получения их в почтовую базу. Despamious пока не продемонстрировал высокое качество работы, по крайней мере, около 200 писем ему оказалось мало для обучения.

Заметим, что с графическим спамом не справилась практически ни одна из программ, рассмотренных в обзоре. В то же время, как HTML-сообщения, содержащие предложения посетить сайт или банерную рекламу, отсеивались практически сразу же. Что касается обычных текстовых сообщений с рекламными предложениями, то поначалу практически все рассмотренные приложения не смогли определить их как нежелательные. В то же время те программы, которые использовали байесовы фильтры, после ручного выделения таких сообщений как ненужных и обучения справлялись с определением таких писем практически со стопроцентной вероятностью.