Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 20 в этом номере: Новости Фильтрация спама в "Corbina telecom" - Spamassasin Письма читателей Ответы на вопросы читателей Анонсы Объявление: Спасибо всем читателям, присылающим образцы спама в редакцию. Ваши письма помогают оперативно реагировать на новые уловки спамеров, уменьшая количество мусора в сети. Просьба все образцы спама пересылать только на адрес spam@ashmanov.com . Таким образом они максимально быстро попадают на обработку в лингвистическую лабораторию. Новости Австралия на пару дней осталась без электронной почты Почти 3 млн. австралийских пользователей интернета испытывали проблемы с электронной почтой на текущей неделе из-за неполадок, возникших в сетях трех крупнейших интернет-провайдеров страны - BigPond, OptusNet и OzEmail. В результате модернизации серверного ПО неправильно функционировала система обеспечения коммутируемого и широкополосного доступа компании BigPond, в итоге компания приняла решение вернуться к старой версии программного обеспечения. Сеть провайдера OptusNet была перегружена большим трафиком спама, в результате чего доставка электронной почты значительно замедлилась. А компания OzEmail боролась с DоS-атакой на свой SMTP-сервер. Представители всех компаний сообшили, что в настоящий момент проблемы в их сетях ликвидированы и начиная с сегодняшнего дня восстановлен нормальный трафик электронной почты. Источник: cnews.ru Спамеры-невидимки и закон о спаме Последним новшеством в области хакерства является техника создания веб-сайтов, которые невозможно проследить. Одна польская группа уже рекламирует "невидимый пуленепробиваемый хостинг" в онлайновыйх форумах для спамеров. За US$ 1,500 в месяц, они обещают защищать сайт от сетевых средств трассировки, таких как traceroute и whois, используемых противниками спама. Новая техника делает эти средства бессильными так как результат трассировки такого сервера меняется каждый раз. По словам одного из представителей группы по имени Tibul, прелесть невидимого хостинга в том, что сайт может располагаться даже на серверах крупнейших фирм предлагающих веб-хостинг и гарантирующих защиту от спама. Источник: 3dnews.ru Новый онлайн-сервис для защиты от спама 2gGuard - это интернет-сервис для проверки и фильтрации электронной почты от нежелательных сообщений (спама). 2gGuard круглосуточно проверяет указанные Вами адреса электронной почты каждые пять минут, удаляя почту от неизвестных или нежелательных адресатов. Адресаты, неизвестные Вам, получат предложение подтвердить в течение трёх дней, что они не являются разносчиками ненужной Вам информации (спамерами). Перечень неизвестных адресов, на которые выслано уведомление - "Неподтверждённые" выделен жёлтым цветом. После выполнения очень простой процедуры идентификации их адреса электронной почты автоматически будут внесены в "Подтвержденные" выделен зелёным цветом и их сообщения не будут удаляться. Сообщения из "Игнор-лист" (выделен красным цветом) будут удаляться без каких-либо уведомлений отправителю. Источник: antispam.2g.ru Обновите SpamAssasin Забавная особенность обнаружилась в версиях SpamAssassin до 2.60. Если он встречал в письме нечто похожее на цифровую подпись, письмо признавалось "однозначно НЕ-спамом". Видимо, разработчики исходили из посыла, что ставить под письмом цифровую подпись будет только совсем больной на голову спамер. Обнаруженной особенностью незамедлительно воспользовались профессиональные спамеры, посему крайне рекомендуется апгрейд SpamAssassin до версии 2.60. Источник: bugtraq.ru Эффективность спама падает: его уже почти не читают 65% пользователей электронной почты удаляют явный спам даже не затрудняя себя прочтением полученного мусора. Согласно данным, полученным в ходе очередного исследования, проведенного компанией DoubleClick, количество пользователей Сети, удаляющих явный спам выросло по сравнению с прошлым годом на пять процентных пунктов и достигло 65 процентов. Количество пользователей, читающих рекламные сообщения, так же сократилось: в этом году чтением электронной макулатуры забавлялись лишь 4% из тысячи опрошенных клиентов по сравнению с 5% в 2002 году и аж восемнадцатью процентами в 2001 г. Тем не менее, руководство DoubleClick, как пишет CNET, пока не склонно списывать со счетов электронную почту как один из каналов продвижения товаров и услуг. По данным компании, пользователи электронной почты по-прежнему нормально относятся к законным коммерческим предложениям и даже совершают покупки, вдохновившись полученной рекламой. Источник: newwws.ru Бурный рост Интернета чреват вредителями Как сообщила в понедельник компания VeriSign, за прошедший год степень использования Интернета заметно увеличилась, но вместе с этим усугубились и цифровые угрозы - такие как непрошеная электронная почта и мошенничество в сфере электронной коммерции. Согласно исследованию VeriSign, которая изучает данные о работе Интернета, несколько индикаторов сетевого трафика демонстрируют рост. Количество запросов к системе обслуживания доменных имен (DNS) VeriSign за первую неделю августа увеличилось на 50% по сравнению с тем же периодом прошлого года, а количество операций поиска в DNS для электронной почты - на 245%. По словам Кена Сильвы, вице-президента VeriSign по информационной безопасности, большая часть этого прироста вызвана незатребованными массовыми рассылками - или спамом. "Объем деятельности в Интернете продолжает расти, но опасная активность нарастает быстрее, - говорит он. - В августе мы наблюдали небывалый рост числа инцидентов, вызванных главным образом нарушением безопасности". VeriSign располагает уникальным обзором Интернета, так как занимается очень многими аспектами функционирования Сети. Компания обслуживает базы данных реестров доменов верхнего уровня .com и .net. А ее "дочка" Network Solutions является регистратором, то есть предоставляет услуги по резервированию доменных имен. Кроме того, секьюрити-фирма предлагает услуги цифровой подписи веб-сайтам и предприятиям, помогая им повысить степень безопасности электронной коммерции и транзакций business-to-business. Еще одна служба электронной коммерции VeriSign занимается обработкой кредитных карт. VeriSign собрала данные за прошедший год и в понедельник выпустила краткий отчет Internet Security Intelligence Briefing. В нем сообщается, что объем транзакций электронной коммерции в среднем на одного участника во втором квартале 2003 года вырос на 17% по сравнению с аналогичным периодом прошлого года. Однако мошенничество в Интернете продолжает расти: на долю преступников приходится 6,2% всех электронных транзакций, что значительно выше уровня в 1%, характерного для традиционной торговли. "Наблюдается удивительно высокая корреляция между IP-адресами источников мошеннической деятельности и прочей хакерской активности", - говорит Сильва. Что касается секьюрити-событий, обнаруженных устройствами, контролируемыми VeriSign, то в августе их число подскочило на 99% по сравнению с майскими показателями. Главным источником таких атак, похоже, являются США, где зафиксирован почти 81% инцидентов. Правда, в августе Интернет поразили две серьезные эпидемии компьютерных червей и одна эпидемия вируса, что отчасти может служить объяснением столь резкого скачка. В этом месяце появился червь MSBlast, один вариант которого, по оценке Symantec, заразил свыше миллиона компьютеров. А компьютерный вирус SoBig.F заразил десятки тысяч компьютеров во всем мире, породив вспышку спама. Рассылая свои сообщения, SoBig.F привел в среднем к 10-25-кратному увеличению числа относящихся к e-mail DNS-запросов, утверждает VeriSign. Компания преподносит подобные исследования как часть нового семейства секьюрити-услуг, называемого Security Intelligence and Control Services. "Большинство людей думает, что если они покупают такие инструменты, как средства обнаружения проникновений и межсетевые экраны, то они защищены. Это не всегда справедливо, - говорит Сильва. - Мало просто запереться в норе. Нужно постоянно наблюдать за тем, что происходит вокруг". Источник: zdnet.ru В Америке ширится движение за "честный спам" Американская компания Truste представит на этой неделе новую систему, которая позволяет рекламным агентствам производить санкционированные рекламные рассылки без риска быть отфильтрованными антиспамовыми фильтрами. Как сообщил агентству Reuters президент Truste Фран Майер, компании, примкнувшие к системе, смогут рассылать рекламу по электронной почте с разрешения своих корреспондентов, при этом они должны будут внести залог в размере от 250 до 2500 долларов США, в зависимости от количества отсылаемой почты. Каждый раз, когда абонент будет жаловаться на спам, у повинного в несанкционированной рассылке агентства будут сниматься со счета 20 долларов штрафа. Отметим, что это гораздо меньше чем предусмотрено антиспамовыми законами некоторых штатов. В частности, в Калифорнии спамеры вынуждены платить за каждое невостребованное письмо по 1000 долларов. Взамен клиентам программы бесплатно предлагается рабочая база электронных адресов предприятий, провайдеров и университетов. Инициатива ассоциации, уверяет глава Truste, призвана сделать рассылку рекламных писем более цивилизованным бизнесом и гарантировать ее легитимность. Между тем, возникают сомнения, что подобная попытка привить в Интернете "честный спам" будет эффективна, ведь помимо него, в почтовые ящики будет валиться и обычный спам, который никуда в ближайшее время не исчезнет. Кроме того, вряд ли количество абонентов, согласных по доброй воле читать рекламу, сможет удовлетворить рекламодателя, желающего провести широкомасштабную кампанию. Однако системы, подобные Truste, уже действуют в Америке. В частности, компания ePrivacy Group из Филадельфии (штат Пенсильвания) использует похожую систему под названием Trusted Sender, в которой рекламщики запрашивают у своей аудитории разрешение на рассылку. Правда, залога в ней не предусматривается. Источник: compulenta.ru США и Британия против спама и порно Посланник британского премьера Тони Блэра Эндрю Пайндер обсуждает в США способы борьбы со спамом и интернет-порнографией. Основная масса этих паразитов глобальной паутины рождается именно в США. В сентябре рассылка спама была признана в Британии уголовно наказуемым деянием, а к концу этого месяца юридические меры против спамеров должны быть приняты во всех странах Евросоюза. Европа возглавляет движение за введение законодательства, ставящего целью прекратить поток несанкционированных электронных почтовых рассылок. Эти меры вступают в силу в ЕС в октябре. Отправители мусорной почты в Британии уже сейчас могут быть оштрафованы на тысячи долларов. Однако принять аналогичные меры американскому конгрессу может помешать, как ни странно, конституция страны. В отдельных случаях объем спама достигает 80% почтового трафика. Однако наиболее важной для борьбы со спамерами будет именно позиция США, откуда исходит большинство электронного мусора, и где особенно развита интернет- порнография. Эндрю Пайндер как раз и пытается выработать в Вашингтоне скоординированную политику в отношении контроля за распространением порнографии по всемирной паутине. По его словам, он надеется на то, что совместные усилия европейцев и американцев вскоре окажут свое влияние на ситуацию. "Я думаю, мы близки к этому, - говорит он. - Мы, например, уже обладаем очень эффективными мерами против детской порнографии как в США, так и в Британии. И сейчас нам надо прежде всего дать ясно понять тем, кто в неладах с законом, что мы намерены их преследовать". Американский конгресс рассматривает законодательство, ужесточающее ограничения в Интернете, и в то же время федеральные власти работают с интернет-компаниями над развитием технологий, которые позволят блокировать нежелательные вторжения в сеть. Во вторник Верховный суд США объявил, что он намерен вынести постановление по поводу вызвавшего массу споров Закона о защите детей, пользующихся Интернетом, принятого по настоянию администрации Буша. Белый дом утверждает, что этот закон поможет предотвратить доступ детей к порнографии. Однако федеральные суды дважды признавали этот закон нарушающим конституционные права американцев на свободу слова. Источник: news.bbc.co.uk Политический спам набирает обороты Как и предсказывал "Спамтест", эта осень стала сезоном политического спама, еще раз доказав, что спам может стать не только средством продвижения товаров и услуг, но и оружием для очернения конкурентов, способом удовлетворить политические амбиции. Еще не утихли страсти после спамерской рассылки с "компроматом" в адрес одного из кандидатов на пост столичного мэра, как на первые полосы вышло продолжение скандала - известие о новом вирусе "Sexer", который рассылает себя по адресам из адресной книги, а на зараженных машинах устанавливает фон рабочего стола Windows с агитационными призывами. Еще одно спамерское послание призывает поставить подпись под "письмом Президенту", призвать Президента и правительство "повернуться лицом к проблемам...." Источник: собственная информация "Спамтест" Новости подготовил Сергей Кошкин "Ашманов и Партнеры" НА ПРОВАЙДЕРА НАДЕЙСЯ... Фильтрация спама в "Corbina telecom" Всеволод Гавриленко Управление телематических услуг и передачи данных компании Corbina telecom Спам давно перестал быть локальной проблемой пользователя-одиночки и превратился в головную боль системных администраторов и IT-специалистов. Пользователь нынче пошел нервный, свои права знает, и за непрошеный трафик платить почему-то не очень хочет. А виноват во всем, с его точки зрения, провайдер. Но и провайдеру от спама никакой радости, ведь весь этот дополнительный трафик нагружает сетевую инфраструктуру, что влечет за собой новые расходы. Вместе с тем, с этой напастью можно и нужно бороться. Способ, правда, существует всего один - фильтрация входящего трафика, зато реализаций его на разных уровнях - масса. Первый и самый простой - настройка антиспамерских фильтров в почтовом клиенте. Правила сортировки создаются непосредственно на клиентской машине, в результате количество паразитного трафика не снижается, а админу добавляется головной боли, т.к. постоянно приходится обновлять упомянутые правила на каждой клиентской машине. Поэтому есть способ лучше - установка фильтров непосредственно на почтовом сервере, что устраняет недостатки, характерные для фильтров, установленных на клиенте. Нетривиальной также преставляется задача определения параметров фильтрации, чтобы "с водой не выплеснуть и ребенка". Вряд ли пользователю понравится такая забота, при которой он будет избавлен от спама, но заодно перестанут доходить и "чистые" письма. Рецепт от Corbina Telecom Для начала немного цифр: ежесуточно в сеть Корбины приходит более 300 Мбайт паразитного трафика. Естественно, что от этого балласта очень хочется избавиться, да и пользователи жалуются, что вполне объяснимо. Кому же охота переплачивать за непрошенный трафик, ведь скачивание с сервера спама означает лишнее время, проведенное на линии в случае dialup, и дополнительные мегабайты при подключении по выделенной линии. Правда, провайдер не может "убивать" спам прямо на сервере, поэтому письма только размечаются специальными заголовками, а уже пользователь сам решает их дальнейшую судьбу. Ему ничто не мешает сформировать собственную политику в отношении спама на основании этой разметки. Поначалу для фильтрации пользовались списками RBL, в которые заносятся ip-адреса, замеченные в рассылке спама. Но со временем их адекватность стала падать, что повлекло за собой потери "хорошей" почты. Поэтому были оставлены только самые доверенные из них, но в помощь к ним была придана программа SpamAssassin. В данный момент фильтрация по RBL при грамотном подборе списков является хорошей, говоря языком военных, "первой линией обороны" для экономии трафика, но этого для нормальной защиты недостаточно. В результате объединения возможностей самых адекватных списков RBL и правильно настроенного SpapAssasssin получился комплекс, названный Corbina Антиспам. SpamAssassin особенно привлекателен в связи с относительной простотой установки, гибкости настроек и адекватности базовых фильтров. Помимо этого у SpamAssassin предусмотрена возможность работать в клиент-серверном режиме с выделением отдельной машины для системы фильтрации. Не последнюю роль сыграло и то, что SpamAssassin написан на Perl, что позволяет устанавливать ее на любые платформы. Продолжая военную тему, SpamAssassin является хорошей "второй линией" для экономии времени, потраченного на разбор почты пользователем. Однако и здесь не обошлось без сложностей. SpamAssassin изначально ориентирован на латинский алфавит. При работе с русским языком система иногда ошибается и маркирует "хорошее" письмо как спам. Но в Corbina Антиспам используются специальные настройки SpamAssassin, и этот вопрос легко решается. Сейчас система Corbina Антиспам, установленная на почтовом сервере CommuniGate, фильтрует корпоративную почту, почту для клиентов dial-up и хостинга, без дополнительной дифференциации, что обусловлено возможностями сервера. Статистика работы Corbina Антиспам такова: всего на сервер приходит порядка 64 000 писем. Из них 16000 писем в сутки "чистые" по SpamAssassin, 9500 писем в сутки "спам" по SpamAssassin и 38000 писем отфильтровывается по критериям RBL. Доработка системы идет постоянно, она заключается в написании новых правил и модификации существующих. Со всем этим справляется в компании один человек, поэтому бороться со спамом возможно и собственными силами. Представим себе сеть небольшой компании, в которую из Интернета уже стали попадать и непрошеные письма, и вирусы. Для излечения от этой напасти нужна машина под управлением FreeBSD, на которой запущены DrWeb для борьбы с вирусами, и SpamAssassin с RBL для отсекания потока спама. Для запуска и отладки подобной комбинации требуется меньше одного рабочего дня, а при грамотной настройке система и в дальнейшем не требует особого внимания. Борьба за чистоту трафика началась не вчера и закончится не завтра. Спамеры - народ изобретательный, они способны найти слабое место в самой совершенной системе защиты. Поэтому Corbina Telecom не афиширует в деталях описание технологии фильтрации, отстаивая интересы своих пользователей. Постоянное совершенствование системы Corbina Антиспам дает высокую гарантию того, что на каждую инициативу спамеров будет найден контраргумент. Однако глобально спам непобедим до тех пор, пока он экономически выгоден для заказчика. Переломить ситуацию возможно лишь при наличии жесткого законодательства, предусматривающего серьезные экономические санкции. Читатели пишут Здравствуйте, Спамтест! Ознакомился с "Инструкцией по привлечении спамеров к ответственности по закону", опубликованной в 19-м выпуске вашей рассылки, и вот что подумалось. Ну очень нужен успешный судебный прецедент по защите прав от спамеров и их заказчиков. В "Инструкции..." подробно написано, как можно подать иск в суд на спамеров и это здорово. Но, мне кажется, что отдельные люди, страдающие от спама (я имею в виду обычных пользователей Интернет, коих большинство), вряд ли решатся пройти все рекомендованные в Инструкции шаги, чтобы добиться справедливости - слишком много надо выполнить условий. Особенно проблематично для простого пользователя доказать факт, что спам-рассылка имела массовый характер. Может имеет смысл объединить всех тех, кто хотел бы подать соответсвующие судебные иски по защите своих прав от спама и тех, кто может грамотно и профессионально оформить такие иски и довести их до логического результата? Т.е. формируется группа заинтересованных юристов, в адрес которых от пострадавших постоянно поступает вся имеющаяся у них информация по приходящему к ним спаму (для начала, например, берется самый злостный и наглый спамер и его заказчик), а они формируют "заявку" в суд при наличии большого количества одинаковых жалоб (т.е. жалобы на один и тот же спам или спамера). Таким образом легко доказывается массовость рассылки этого спама. Посредником между группой юристов (или одним юристом, для начала) и пострадавшими можете стать вы или другая фирма (компания), которая хорошо владеет ситуацией и информацией по спаму. Работа юристов и посредника по каждому конкретному делу (иску) оплачивается всеми пострадавшими. Для этого определяется минимальный взнос, который обязан внести каждый из пострадавших исходя из необходимой для работы юриста и посредника суммы. Если пострадавших от конкретного спама наберется достаточно много, то и взнос для каждого будет небольшим. Для фирм взнос может быть больше. Если дело доводится до победного результата и по решению суда назначается выплата денежной компенсации нанесенного спамом ущерба, то ее должны получить все участники процесса со стороны пострадавших (и юристы и посредник, естественно). Такой подход позволит привлечь к участию в данном проекте многих из страдающих от спама простых пользователей, т.к. получается, что на этом можно будет еще и заработать... Нужен ПРЕЦЕДЕНТ!!! Владимир Старовойтов Здравствуйте. Вы в последнее время писали о мобильном спаме, и мне бы хотелось рассказать свой случай. Может быть, это не совсем подпадает под категорию спама, если рассматривать спам как непрошеную рекламу. Но если понимать спам как средство засорения трафика и нервов, то это самый тот случай. В общем, у меня было 2 ящика - address1@mail.ru и address2@mail.ru. На каждом была установлена переадресация оповещений на мобильный телефон. А потом получилось так, что ящики взломали наши доблестные хакеры. Вроде ничего особенного не происходило, только сначала прекратился доступ к одному ящику, а через несколько дней - к другому. Был изменен секретный вопрос, с одного ящика вроде убрали переадресацию на мобилу, а вот с другого... Тот, кто его ломал, оказался шутником и подписал на ящик немереное количество рассылок. Я как раз по мобиле только наблюдал, как приходят запросы на подтверждения и по всей вероятности подтверждались успешно. Рассылки повалили с такой скоростью, что не всегда 5 минут получалось посидеть в тишине. Ходил с мобильником, как с погремушкой по городу, потом уже его совсем выключил... Попал под раздачу и ящик провайдера, на который с mail.ru был настроен сборщик почты. Мне еще повезло, что я проверил его вовремя, когда забор почты еще не произошел. Там я обнаружил письмо на подтверждение регистрации в службе subscribe.ru. Ну, я благоразумно не стал на него отвечать, а вместо этого позвонил провайдеру и потребовал поменять пароль на ящик, иначе сейчас попрет спам (ну чтобы сборщик mail.ru больше не доставал почту), а то бы все рассылки subscribe.ru непременно отображались бы у меня на мобиле:) Был утренний час и пришедший на работу сотрудник досматривал сны, проявлять активность у него желания не было. Но слово "спам" его явно разбудило и пароль он поменял, не вдаваясь в подробности, даже не проверив, свой я пароль меняю или чужой:). Все-таки провайдерский ящик от спама уберечь все равно не удалось, хакер поставил на него пересылку и теперь туда присылаются уведомления. Ну, это не очень большая проблема, тема там одинаковая у всех писем, можно легко поставить фильтр. Жаль, что на мобильники нельзя ставить такие фильтры:( А самое сложное, что конца этому не видно. Одна надежда, что скоро ящик забьется доверху и письма (т.е. сообщения о новых письмах) перестанут приходить. Если же хакер не поленится почистить ящик, я потом целый месяц не буду знать куда спрятать мобилку:) Все-таки политика на mail.ru в плане безопасности очень либеральная. Я очень удивился, когда увидел, как авторы рассылок на mail.ru предлагают "подписать друзей" просто вбив в форму их адреса. (Чем не тема для спама). А самое главное, что меня удивило: при отписке от этих рассылок пароль управления рассылкой нужно писать прямо в теме письма(!). У меня же получилось так, что пароль для рассылки совпадал с паролем для ящика. Потом, конечно, когда увидел, что для отписки нужно вводить его в таком открытом виде, я понял, что он не должен совпадать с ящиком. Но как-то надеялся "на авось", неохота было разбираться, заходить и менять... Думаю, не я один ставлю этот пароль, а если даже один я такой глупый, то вряд ли хакер догадается проверить именно мой пароль... Ну вот, после очередной отписки, буквально через несколько часов я не мог зайти в свой ящик. Поэтому, пользуясь случаем, хотелось бы предложить сделать смену паролей более очевидной. Ведь вполне логичным было бы использовать один пароль для ящика и рассылки на этот ящик, только ни в коем случае нельзя тогда размещать его в теме. Ну и тут нужно учесть психологию читателей рассылок: регистрировать рассылку под паролем одинаковым с ящиком - это не такая глупость, как высылать пароль от ящика по почте в "службу" в ответ на письмо которое невозможно бы было получить без ввода "неизвестного" пароля. А вот набирать этот пароль для отписки, конечно настораживает, но заходить менять его, как правило, - лень. Думаю, на эти "грабли" не только я один "наступил" и полагаю, что этот вопрос вполне актуален... Ну и также политика контрольных вопросов на mail.ru не совсем удачна. Ну почему, когда сервер высылает новый пароль, контрольный вопрос не сбрасывается хотя бы на несколько дней? Ведь хакер может зайти раньше хозяина и снова поменять пароль, или написать скрипт, который будет делать это автоматически... Хотя последние темы к спаму прямого отношения не имеют, т.е. имеют только в моем случае. Но в ваших выпусках часто бывают случаи, когда компетентные специалисты с mail.ru дают консультации и решают вопросы читателей. А мне до этого доводилось "общаться" только с их роботом, судя по всему. А с другой стороны получилась, мне кажется, актуальная статья, примерно об этом я хотел написать и раньше. Ну а сейчас особый случай, когда я пишу ее под постоянные сигналы мобильника, у которого пока заполнилась память и он "притих". Поэтому стиль повествования получился с грустным юмором:) Если такая статья покажется вам интересной, можете по своему усмотрению менять ее структуру. Единственное, что я бы попросил не публиковать адреса и название рассылки. А то же позориться не хочется перед читателями:) Спасибо, что дочитали. Удачи. yuri Ответы на вопросы читателей Вопрос: Здравствуйте! Пожалуйста, напишите о том, как работает самообучение у программ фильтрации почты. Ответ: Большинство самообучающихся программ основаны на использовании "байесовских" фильтров, построенных на так называемой "формуле Байеса". Принцип работы байесовского фильтра весьма прост. На основании анализа двух массивов текстов, один из которых представляет собой спам, а второй - обычные тексты, вычисляются относительные частоты, с которыми разные слова встречаются в этих массивах. Из этих частот вычисляются вероятности того, что слово встретится в тексте при условии, что этот текст принадлежит массиву "спам". На этом этапе появляется таблица, которая говорит, что, если текст - спам, то, например, вероятность того, что в нем встретитсяслово "sexy" равна 0.96. Смысл "формулы Байеса" в том, чтобы "обратить" построенную таблицу вероятностей и говорить о вероятности того, что текст представляет собой спам при условии, что в нем встретилось данное слово. Особенностью "Байесовских" фильтров является и то, что они могут автоматически учитывать и наиболее распространенные способы "зашумления" текста. Примеры: Обучение почтового клиента "Мозилла" Использование байесовских фильтров в PopFile Ссылки по теме: old.computerra.ru http://www.paulgraham.com/spam.html www.nsu.ru Вопрос: В программе The Bat! появилась поддержка антиспамовых плагинов. Но самих плагинов там нет. Не знаете ли Вы где их можно достать? Ответ: Антиспамерский плагин для TheBat разработан сторонним автором. На сайте http://klirik.narod.ru/usefuls/bayesit.htm вы можете скачать необходимый плагин и узнать подробности о его использовании. Вопрос: Можно ли так сделать настройки сервера, на котором находится почтовый ящик, что бы скрипт не мог находить валидные адреса? Или это уже невозможно сделать, это причина "плохого" протокола SMTP ? Ответ: Можно. Нужно настроить почту так, чтобы при попытке передать в команде RCPT TO несуществующий адрес своего домена, сервер письмо все равно принимал и тут же уничтожал. Ну и обязательно нужно отключить возможность отправить команду VRFY. Как это сделать, зависит от сервера. Читайте документацию по его настройке. Вопрос: Возник такой вопрос.. Возник после того, как я попробовал на фильтрацию Спамтесту отправить письмо с того же адреса, на который Спамтест его должен переслать. Это мой ящик на нашем корпоративном почтовом сервере, администрированием которого занимаюсь я. Письмо не дошло - Спамтест.ру, конечно же, отправлял его как MAIL FROM:, наш сервер сконфигурирован, чтобы не принимать неавторизованные SMTP-соединения для локальных аккаунтов. В результате (так как Return-Path письма тоже содержит knr@rcsz.ru) ко мне приходил ответ от MAILER-DAEMON@ashmanov.com с сообщением об ошибке от нашего сервера - 530 Authentication required. Полез смотреть, как сконфигурированы сервера бесплатных почтовых служб. Не первый уже раз отметил, что Рамблер вновь допускает отправку почты без SMTP-авторизации (smpt.rambler.ru, pop3.rambler.ru:25). Скажите что ли вы им, на мое первое письмо они отвечали "у нас все работает как надо!", а когда привел в ответ кусок лога сессии, ничего не ответили, но на следующий день исправили. Затем зарегистрировался в Яндекс.Почте. Обнаружил, что SMTP-сервера для пользователей без SMTP-авторизации не работают, но вот сервера домена (MX mx1.yandex.ru, mx2.yandex.ru) позволяют отправить письмо MAIL FROM: RCPT TO: без авторизации, поэтому там письма от СпамТеста "самому себе", видимо, не застрянут. Но! Насколько я понимаю, это огромная проблема - что мешает программе спам-рассылки таким образом отправлять спам пользователм того же Яндекса - и без поиска открытых релэев! Для чего тогда вообще SMTP-авторизация?.. Ответ: Чтобы не превращать свой сервер в открытый relay, сервер настраивают исходя из следующих соображений (очень упрощенно): 1) письма в собственный домен принимаются и доставляются без авторизации (это, конечно, дырка для спамеров, но как иначе внешние серверы доставят почту -- они-то про местную авторизацию ничего не знают!); 2) письма в чужие домены доставляются только от авторизованных пользователей или доверенных серверов. Теперь рассмотрим пример из письма. 1) отправляем письмо в Яндекс ... MAIL FROM:<неважно@какой.адрес> RCPT TO:<что-то.в@yandex.ru> ... такое письмо безусловно пройдет безо всякой авторизации -- см. правило #1. Действительно, у Яндекса все работает как надо. 2) НЕАВТОРИЗОВАННЫЙ пользователь шлет письмо в Яндекс через почтовый сервер spamtest.ru: ... MAIL FROM:<неважно@какой.адрес> RCPT TO:<что-то.в@yandex.ru> ... Письмо будет отражено: домен yandex.ru к почтовому серверу spamtest.ru никакого отношения не имеет (см. правило 2). И это тоже правильно. 3) случай из вопроса: сервер rcsz.ru сконфигурирован, чтобы не принимать неавторизованные SMTP-соединения для локальных аккаунтов. Пусть сервер Спамтест (или любой другой внешний сервер) пытается отправить письмо на knr@rcsz.ru. Спамтест при этом абсолютно ничего не знает о том, как авторизоваться на почтовом сервере rcsz.ru. Ну и правда, а откуда бы он все это узнал. Естественно, что Спамтест в этой ситуации открывает неавторизованную сессию и получает ошибку "530 Authentication required". Упс... Это тот самый случай, когда борьба со спамом хуже самого спама: ни один внешний сервер не может послать письмо на rcsz.ru из-за черезмерно суровой политики сисадмина. Теперь вернемся к вопросу из письма: Насколько я понимаю, огромная проблема - что мешает программе спам-рассылки таким образом отправлять спам пользователм того же Яндекса - и без поиска открытых релэев! Да, проблема. И спамеры ровно так сейчас и действуют. Но, как показано выше, иначе под угрозу ставится вообще возможность функционирования электронной почты. Для чего тогда вообще SMTP-авторизация?.. А чтобы не облегчать спамерам жизнь, не получать лишний трафик, не попадать в черные списки открытых релеев и так далее. На вопросы отвечали: Сергей Кошкин Дмитрий Пашко "Ашманов и партнеры" Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003