Электронный журнал "Спамтест". Все о борьбе со спамом

Электронный журнал "Спамтест" No. 25 в этом номере: Новости Распределенные методы обнаружения спама (часть 1) Ответы на вопросы читателей Анонсы Объявления: Спасибо всем читателям, присылающим образцы спама в редакцию. Ваши письма помогают оперативно реагировать на новые уловки спамеров, уменьшая количество мусора в сети. Просьба все образцы спама пересылать только на адрес spam@ashmanov.com или spam@spamtest.ru. Таким образом они максимально быстро попадают на обработку в лингвистическую лабораторию. Лучший способ прислать нам образец спама - с помощью стандартной функции Вашего почтового клиента "переслать выбранное письмо". Из-за технического сбоя на сервере при выпуске прошлого номера произошла некоторая путаница. Одни читатели получили прошлый выпуск под номером 24, у других этот самый номер был пронумерован как № 25. У некоторых читателей сегодня в папке окажется два 25х номера, тем не менее разных по содержанию. Редакция журнала "Спамтест" и администрация Subscribe.Ru приносят читателям извинения за технические неполадки и причиненные этим неудобства. Новости Проблема поискового спама: за что банят сайты? Одним из ключевых вопросов на прошедшей в Москве 2-й международной конференции "Поисковая оптимизация и продвижение сайтов в Интернете" был вопрос о поисковом спаме, который нередко используется для выдвижения сайтов на первые страницы выдачи поисковиков. (http://www.optimization.ru/conf2003/program.shtml) Слово "спам" в последнее время все чаще применяется не только применительно к мусору в наших почтовых ящиках, но и к методам продвижения сайтов на первые страницы поисковиков в выдаче по "коммерческим" запросам. Ни для кого не секрет, что посетители, пришедшие на сайт через поисковые системы, часто являются наиболее перспективными потенциальными клиентами для владельцев "продающих" сайтов. Действительно, кто с большей вероятностью станет покупателем на сайте, занимающемся продажей автошин или мобильных телефонов - пользователь, случайно кликнувший на яркий баннер или тот, кто набрал в строке поиска "продажа автошин Bridgestone" или "сотовые телефоны скидки"? Однако попасть при запросе на первую страницу выдачи далеко не просто. Поисковая система знает тысячи сайтов, соответствующих (релевантных) запросу, но лишь сайты, показанные среди первых нескольких десятков, получают основной поток посетителей. Если серьезные фирмы, предлагающие услуги по оптимизации сайтов, работают только "белыми" методами, то встречаются и спамерский подход к раскрутке сайтов. Изучив особенности той или иной поисковой системы, ее алгоритмы, некоторые "сайт-промоутеры" не идут по пути улучшения содержания сайта и оптимизации кода, а используют "грязные" технологии, позволяющие на короткое время подняться в выдаче по поисковым запросам. В отличие от почтового спама, наказание за "замусоривание" первых страниц поисковых машин следует быстро, сайт не только "уходит" с первых страниц, но часто вообще запрещается к индексации поисковиками (попадает в бан). Однако наряду с "белыми" и "черными" методами оптимизации есть некая пограничная "серая" область. Она то и стала основной темой для дискуссий на конференции оптимизаторов с представителями основных поисковых машин Рунета (Яндекс, Рамблер, Апорт, Mail.Ru). Делегаты от фирм, предоставляющих услуги по продвижению сайтов, заявили о готовности отказаться от запретных методов, если владельцы поисковых машин явно объяснят, какие именно способы считать таковыми. Жаркие дебаты длились два дня, и хотя четкой формулировки от представителей Яндекса и Рамблера так и не последовало, сложилось впечатление, что точек соприкосновения между поисковиками и "белыми" оптимизаторами все-таки больше, чем причин для конфронтации. Источник: optimization.ru Microsoft предлагает свой способ борьбы со спамом Выступая с речью на выставке Comdex Fall 2003, проходящей в эти дни в Лас-Вегасе (штат Невада), основатель корпорации Microsoft Билл Гейтс рассказал о многих новых технологиях, над созданием и внедрением которых работает софтверный гигант. Одной из главных проблем сегодняшнего дня является проблема спама. Поэтому в исследовательском подразделении Microsoft вплотную занялись разработкой средств для борьбы с мусорной корреспонденцией. Результатом такой работы стала технология SmartScreen. Данная технология основана на статистических алгоритмах. Известно, что абсолютное большинство спамерских посланий имеют специфические характеристики и фрагменты, нетипичные для нормальных писем. Если иметь в распоряжении достаточно большую статистику по спаму и обычной электронной корреспонденции, то можно с большой долей вероятности выявить, является ли каждое конкретное письмо спамом. Следует отметить, что фильтрация спама на основе статистических алгоритмов не является оригинальной находкой. Такая технология уже реализована в почтовом клиенте Mozilla, начиная с версии 1.3, а также в виде плагинов к другим почтовым программам. Во всех этих случаях "дрессировку" программы осуществляет сам пользователь, что при небольших объемах почты малоэффективно. Реализация статистических фильтров от Microsoft использует другой подход. Их тренировка осуществляется коллективно. Базу данных SmartScreen обогащают миллионы пользователей Hotmail. Базы данных индивидуальных приложений, таких как Outlook 2003, не поддаются ручной настройке, но могут обновляться через Интернет. Нужно отметить, что в некоторых случаях это усложняет настройку фильтров под конкретного пользователя и может привести к значительному числу ложных срабатываний фильтра. Источник: compulenta.ru Рождественский спам В канун новогодних праздников кузнецы коммерческих рассылок предлагают онлайновым покупателям подарки и дешевые денежные ссуды. Анти-спамерская компания Clearswift обнаружила, что количество нежелательных финансовых предложений увеличилось в октябре в 2 раза. Наиболее распространено навязывание дешевых ссуд, чтобы помочь пользователям оплатить покупки. Кроме того, на 15% возрос объема спама, который предлагает различные высокотехнологичные товары, как DVD-проигрыватель и т.п. "Очень интересно, что спамеры уже находятся под влиянием Рождества. Это позволяет говорить, что они не только усовершенствуют пути обхода технологических фильтров электронной почты реципиентов, но и работают над маркетинговой стратегией", - комментирует Эллин Хоки, директор отдела исследований в Clearswift. – "Я вот думаю, неужели у них будут и январские распродажи?!". Статистика софтверной компании HostedPulse и Business Mailing представляет не менее интересные итоги. Так, 40% респондентов из сферы британского бизнеса признались, что никогда не покупают товары у компании, рассылающих спам. 10% сказали, что находят коммерческие рассылки очень удобными. И целых 3% совершают покупки в результате прочтения спама, - сообщает Web-User.Co.Uk Источник: runet.ru Спамеры нанесли компьютерному миру больший ущерб, чем вирусы Ущерб от наплыва "лишней почты" в октябре 2003 года в мировом масштабе составил по приблизительным оценкам $10.4 млрд. В этом месяце наиболее активны были спамеры из США, России, Украины и Китая. При этом ущерб от спама значительно превысил потери, которые нанесли компьютерные вирусы ($8.5 млрд.) и хакеры ($1 млрд.).Об этом свидетельствуют данные, полученные компанией mi2g. В частности, по сведениям компании Brightmail's Probe Network, в октябре 2003 года, 14.2% несанкционированных писем по электронной почте составили послания жуликов, 14.5% - порнография, 21% - предложения товаров, 16% - предложения финансовых услуг, сообщает Washington ProFile. Количество спама, рассылаемого мошенниками, увеличивается рекордно быстрыми темпами: по сравнению с сентябрьским уровнем оно выросло на 40%. Источник: obozrevatel.com.ua Bluetooth - новая возможность рассылки спама Последнее время среди не испорченных интеллектом тинэйджеров стало очень популярным использовать Bluetooth для рассылки нежелательных рекламных писем. Большинство владельцев телефонов, которые могут обмениваться данными по протоколу Bluetooth, не отключают эту функцию, чтобы иметь возможность получить информацию с любого телефона, находящегося неподалеку. Поэтому есть вероятность, что в скором времени и спамеры возьмут этот способ рассылки писем, получивший в английском языке название bluejacking, себе на вооружение, сообщает ВВС. Источник: news.proext.com Новости подготовил Сергей Кошкин "Ашманов и Партнеры" Распределенные методы обнаружения спама: обзор существующих решений, анализ перспектив Алексей Тутубалин www.lexa.ru "Ашманов и Партнеры" Определения При рассмотрении и изучении какого-либо явления, необходимо его четко определить. При рассмотрении проблем, связанных со "спамом" это особенно важно, так как имеется большое количество различных определений, многие из которых слишком расплывчаты для практического использования. В тексте этой статьи использованы такие определения: Спам - анонимная незапрошенная массовая рассылка электронной почты. Все эпитеты в определении являются важными, другие виды массовых рассылок почты в данном тексте спамом не считаются. Большинство спам рассылок носят рекламный или другой коммерческий характер, это важно при рассмотрении экономики спама, но не так важно с технической точки зрения. ICQ, SMS и другие подобные рассылки в статье не рассматриваются. Легальная рассылка - массовая рассылка электронной почты, запрошенная пользователем. Предполагается, что пользователь легальной рассылки изъявил желание ее получать. Как правило, легальные рассылки не анонимны. Обычная или легальная электронная почта - электронная почта между пользователями, либо между автоматическими системами и пользователями. Обычная почта в первую очередь не является массовой, получателей отдельного сообщения обычно единицы. Почему мы страдаем от спама? Незапрошенные массовые анонимные рассылки (то есть спам) стали на сегодня существенной проблемой для многих людей и организаций, использующих электронную почту. Согласно отчету Radicati Group (www.radicati.com), на конец 2002 года в мире ежедневно рассылалось 2,3 млрд. спам-сообщений, причем количество это непрерывно увеличивалось. Принято считать, что спам наносит ущерб его получателям, впрочем, обсуждение этого ущерба не входит в задачи данного текста. Дешевизна массовых рассылок объясняется двумя причинами. Во-первых, Интернет - это очень дешевый транспорт данных; при современной российской цене за сетевой трафик, стоимость передачи одного E-mail сообщения составляет сотые доли цента, а если производить рассылку из США, то себестоимость будет еще меньшей. Во-вторых, спамеры широко используют для доставки своих сообщений чужие ресурсы (вычислительные и транспортные мощности, к которым получен незаконный доступ), что еще более снижает себестоимость. Распространенность спама и рост его объемов объясняются тем, что, с учетом его дешевизны, спам - это очень эффективный рекламный инструмент. Цена рекламной рассылки в расчете на одно письмо ничтожна, охват аудитории огромен, количество откликов на рекламу - более чем приемлемо для рекламодателей (тем более, в сравнении с заплаченными деньгами). Другими словами, находятся люди, которые покупают виагру и пилюли для увеличения разных частей тела, которые отвечают на так называемые нигерийские письма, записываются на обучение в "Центр Американского Английского" и так далее. Таким образом, за спамерами стоят серьезные деньги рекламодателей. По простейшим оценкам, рынок спама составляет минимум сотни миллионов долларов в год в мире и единицы миллионов долларов в год в России. Это обстоятельство следует учитывать при любом рассмотрении темы спама. В частности, только "давлением денег" (наличием рекламодателей, желающих потратить деньги на спам) можно объяснить ту эволюцию технологий спама, которая произошла в последние годы. История проблемы спама - технический взгляд Первый спам, появившийся в середине 90-х годов, был прост и незатейлив. Одно и то же письмо рассылалось через сравнительно небольшое (по сегодняшним меркам) количество "открытых релеев" (open relay) - почтовых систем, позволяющих произвести "через себя" транзитную доставку почты произвольным адресатам. Боролись с таким спамом столь же незамысловато - помещая IP-адреса используемых спамерами почтовых серверов в черные списки. В 1997-м году появился MAPS RBL [1] (www.mail-abuse.org/rbl/) - первый черный список, использовавший технологи DNS и BGP, что позволяло обновлять его с очень большой скоростью. До 1998-99 годов проблема спама усугублялась тем, что популярное ПО для E-mail серверов - Sendmail (www.sendmail.org) - при настройках по умолчанию работало "открытым релеем". Рекомендации по устранению этого свойства появились только для Sendmail 8.8 в 1996 году, а при настройке "по умолчанию" Sendmail перестал быть "открытым релеем" только с версии 8.9, вышедшей в мае 1998 года (и после этого понадобилось существенное время на то, чтобы основной парк почтовых серверов был обновлен). Другими словами, чтобы найти открытый релей для посылки спама - нужно было просто поискать. Это делали как спамеры, так и антиспамеры (например, популярный в свое время сервис ORBS.org автоматически искал такие почтовые сервисы и помещал их в свою базу данных). И RBL и спамерские списки машин для рассылки стали пополняться автоматически. В дальнейшем, вместе с "открытыми релеями", для спама начали использоваться и другие способы доступа к ресурсам чужих компьютеров, в первую очередь так называемые "socks"-серверы [2] и proxy-серверы [3] к которым был возможен неавторизованный доступ. К несчастью, socks- и proxy- сервисы имеются в составе программного обеспечения (далее в тексте - ПО), предназначенного для конечных пользователей [4] , причем во многих случаях неавторизованный доступ разрешен по умолчанию. В результате, количество клиентских компьютеров, которые могут быть использованы для рассылки спама (и прочих действий под контролем третьих лиц) растет вместе с ростом количества высокоскоростных подключений к Интернет. В последнее время все большую долю в рассылке спама занимают "затрояненные" пользовательские компьютеры - на которые каким-либо образом [5] попадает скрытое от пользователя вредоносное ПО, позволяющее спамеру осуществить доступ к ресурсам данного компьютера. Постоянно увеличивающееся количество IP-адресов, с которых потенциально возможна рассылка спама, сделало классические системы RBL (куда помещались только IP-адреса машин, которые действительно могут быть использованы для рассылки спама, либо реально использовались для этого) не слишком эффективными. В результате, появились "превентивные" черные списки, куда попадают целые диапазоны IP адресов (иногда - десятками миллионов), часть - все адреса, принадлежащие определенным ISP, а иногда - целые страны и даже группы стран [6] . Такой подход увеличивает эффективность RBL в борьбе со спамом и одновременно во многих случаях не позволяет доставить легальную почту. По оценкам автора [7] , на сегодняшний день консервативные RBL позволяют улавливать около половины спама ценой потерь нескольких процентов обычной почты. Для "превентивных" RBL-сервисов оба показателя выше, большое количество потерь легитимной почты делает использование подобных сервисов мало приемлемым. А увеличение эффективности RBL против спама без роста (а лучше - со снижением) доли ложных срабатываний представляется автору малореальным. Проблемы RBL - не слишком высокая эффективность против спама и существенная вероятность потерь легальной почты - привели к появлению других способов борьбы со спамом, в частности: DNS-проверки - проверяется соответствие данных, сообщаемых в SMTP-сессии реальности, речь идет, в частности, о данных, сообщаемых в SMTP HELO. Анализ заголовков сообщения. В частности, многие программы для массовых рассылок E-mail могут быть обнаружены по содержимому заголовков. Каждый из этих методов, особенно сразу после своего появления, был достаточно эффективным, однако ни один из методов не является "абсолютным оружием" - технически возможно сделать абсолютно "легальное" (с точки зрения рассматриваемых методов) спам-сообщение. Дальнейшая эволюция методов борьбы со спамом привела к появлению контентной фильтрации электронной почты - анализу текстов сообщений детерминированными или статистическими методами. Контентная фильтрация спама является на сегодня достаточно новым методом, эффективность которого пока достаточно велика, однако видна серьезная борьба против контентных фильтров со стороны распространителей спама. Чьей победой закончится эта борьба на сегодняшний день - неясно. Развитие технологий рассылки спама привело к тому, что на сегодняшний день спам-почта (по меньшей мере, спам, нацеленный на рынок России) имеет ряд технологических особенностей, важных для рассматриваемой далее темы: Распределенность. Существенная доля спам-сообщений рассылается через оборудование, установленное у конечных пользователей (обычно, у частных пользователей). Используются как проблемы в пользовательском ПО, так и вредоносные "троянские" программы, которые пользователь получает вместе с вирусами, либо по файлообменным сетям. По всей видимости, могут использоваться и уязвимости в беспроводных сетях. Как правило, отдельный пользовательский компьютер используется для посылки небольшой доли сообщений, при этом в рассылке участвуют сотни и тысячи пользовательских машин. Судя по всему, крупнейшим спамерам удалось наладить сквозной мониторинг доставки сообщений, в результате письмо, отвергнутое при попытке доставки с одного IP адреса, будет послано заново с другого IP. Это делает отражение (reject) почты по RBL неэффективным - попытки доставки сообщения повторятся с других IP-адресов. Неавторизованное использование чужих ресурсов - метод очевидно незаконный и уголовно преследуемый в большинстве стран, однако техническая сложность обеспечения доказательств делает подобное преследование малоэффективным. Персонализация. Большая доля спам-сообщений уникальна. Другими словами, в письмо вносятся случайные последовательности символов (часто невидимые для читателя), персональные обращения, анекдоты, большие куски связного текста и так далее. "Мимикрия" под легальные письма. Спамеры делают техническую информацию в рассылаемых письмах максимально похожей на легальную переписку. В результате, большая часть спама легко проходит через формальные фильтры. Кроме отрицательных (с точки зрения легкости обнаружения) свойств, у спама есть и ряд особенностей, облегчающих его обнаружение: А. Спам-сообщение содержит сообщение (рекламу) от заказчика рассылки. Таким образом, произвольного текста в сообщении быть не может, там будет описан рекламируемый продукт или услуга. Б. Спам-сообщение должно быть легко читаемым для получателя. Другими словами, оно не может быть зашифровано, основной объем должен быть получен в составе сообщения. Количество случайных последовательностей ("мусора"), видимых пользователем, должно быть небольшим. При нарушении этих правил снижается читаемость, а, следовательно, и отклик на рекламу. В. Уникальность сообщений обеспечивается автоматическим путем, то есть случайные последовательности символов, приветствия и так далее - добавляются программой. В противном случае стоимость и время изготовления индивидуальных сообщений будут слишком большими. Продолжение в следующих выпусках. Глоссарий к статье: [1] RBL - Realtime Blackhole List - черный список адресов компьютеров, содержимое которого доступно его пользователям в реальном времени. [2] Socks-server - ПО, обеспечивающее доступ нескольких пользовательских компьютеров в Интернет, с использованием одного IP-адреса. Может быть использовано для разделения одного dialup- или xDSL-соединения между несколькими компьютерами пользователя. [3] Proxy-server - ПО, действующее как "промежуточный сервер" между клиентом и реальным сервером, обслуживающим запрос. Также может быть использовано для разделения одного соединения. [4] Socks- и proxy- серверы часто включают в состав ПО, предназначенного для пользователей высокоскоростных личных подключений к Интернету (DSL или кабельные модемы). Часто, для упрощения конфигурирования конечным пользователем, контроль доступа в таком ПО выключен в настройках по умолчанию. [5] "Троянские программы" часто попадают к пользователям через файлообменные сети. Автору пока неизвестны E-mail вирусы, достоверно включающие в себя "троянскую" компоненту для рассылки спама, но массовое появление таких вирусов не будет сюрпризом. [6] Автору известны прецеденты неприема почты с IP-адресов, входящих в компетенцию ARIN registry, а это вся Юго-Восточная Азия, Австралия и Новая Зеландия. [7] см. статью автора "RBL - вред или польза?" на сайте www.spamtest.ru. Ответы на вопросы читателей Вопрос: В последнем номере журнала Вы много внимания уделили методу фильтрации по IP. Наш анализ спама показывает, что конверты писем содержат недостоверную информацию о маршруте доставки. Определить отправителя в лучшем случае удается вручную - первый Received маршрута не факт, что является отправителем! Как можно с достаточной достоверностью программно определить IP отправителя? Мы получаем почту через провайдера. Ответ: Программно - никак. Адрес возможно подделать, и по служебным заголовкам однозначно вычислить отправителя не удастся. Однако таким образом фальсифицируют заголовки далеко не все спамеры. Поэтому фильтрация по IP до сих пор широко используется в комплексе с другими методами. Что касается возможности отследить спамера, использующего фальсифицированные заголовки, в принципе это возможно в том случае, если провайдер, через которого вышел в Интернет спамер, согласится предоставить доступ к своим логам, причем сделает это достаточно оперативно (логи сервера обычно не хранятся долгое время). Вопрос: За полгода скопилось 2124 письма, отобранные вручную по признакам мусора. Нужно ли их вам переслать как письма, или прислать как архив-вложение? Ответ: Спасибо за интерес к нашему сервису. Вашу коллекцию спама присылать не надо. Дело в том, что тот спам, который "ходил" полгода назад, у нас уже давно проанализирован и фильтруется. В первую очередь нашу лабораторию интересуют "свежие" примеры спама, которые еще не попадались в поле зрения нашего фильтра и поэтому могут через него случайно проскочить. Поэтому лучшей помощью может стать экстренная пересылка "сегодняшнего" спама, специально копить его не нужно - наш фильтр быстро обучается и примеры устаревают. На вопросы отвечал: Сергей Кошкин "Ашманов и партнеры" Анонсы: В следующих номерах журнала СПАМТЕСТ: Новости Распределенные методы обнаружения спама (продолжение) Полезные советы Читатели пишут Ответы на вопросы читателей Анонсы Написать письмо Прислать статью редактору Мнение редакции не всегда совпадает с мнением авторов материалов. Редакция оставляет за собой право не публиковать присланную статью без объяснения причин. Присланные статьи не рецензируются. (C) ЗАО "Ашманов и Партнеры", 2003