/ КОМПЬЮТЕРЫ И ПО / Языки программирования / PHP

Выпуск № 600
от 18.02.2007, 04:35

Вопрос № 75.366

ВНИМАНИЕ!!! ВОПРОС!!! Как можно средствами PHP организовать поисковую систему, или какой-нибудь веб-сервис если можно примеры работающих сервисов разработанных с помощью PHP ЗАРАНЕЕ - огромное спасибо за ответ.

Отправлен: 12.02.2007, 13:54 Вопрос задал: Agk (статус: Посетитель) Всего ответов: 2 Мини-форум вопроса >>> (сообщений: 3)

Отвечает: Angel7 Здравствуйте, Agk! Вот несколько скриптов: 1. Подойдет, если у Вас статический сайт (думаю, Вы знаете что это такое) - ссылка 2. Для любого сайта - вот! Удачи! --------- Краткость приятна, когда она сочетается с ясностью ^_-

Ответ отправила: Angel7 (статус: Студент) Ответ отправлен: 12.02.2007, 14:31

Отвечает: Zolton007 Привет , Agk! При помощи сокетов, разума и прямых рук. А еще упорства. Коннектишься к хосту по url, выкачиваешь блоками содержимое, анализируешь при помощи регулярных выражений и т.п. а дальше - на что хватит фантазии! Приложу к своему ответу более-менее иногда работающий скрипт, кот. ищет ссылки, добавляет их к себе в очередь и лезет дальше. Если ты его поймешь и доработаешь (т.е. сделаешь, чтобы он искал не только ссылки) - получится классная ИПС :) На самом деле твой вопрос очень объемлющий. Полно на него ответить одним постом невозможно. Надо сидеть и читать статьи по ИПС. На 3 курсе у меня предмет такой был "Информационно-поисковые системы". Этот скрипт я писал на лабе по этому предмету. Приложение: index.php <? include_once("queue.php"); $init_queue=Array("УРЛ"); $queue = new Queue(); error_reporting(E_ALL); function download ($service, $protocol, $host, $port, $url) { $service_port = $port; $address = gethostbyname($host); $socket = socket_create(AF_INET, SOCK_STREAM, 0); if ($socket<0) { echo "socket_create() failed reason".socket_strerror($socket)." "; } else { //echo "OK.<br>"; } $result = socket_connect($socket, $address, $service_port); if ($result<0) { echo "socket_connect() failed. Reason: $result".socket_strerror($result); } else { //echo "OK. <br>"; } $in = "GET $url HTTP/1.0 "; $out = ''; socket_write($socket, $in, strlen($in)); $htmlpy = ''; while ($out = socket_read($socket, 2048)) { $htmlpy.=$out; } socket_close($socket); return $htmlpy; } var_dump($init_queue[0]); preg_match("/^((http|ftp|mailto)://)?([^/]+)(.*)/[^/]*$/i", $init_queue[0], $matches); $root = $matches[1].$matches[3].$matches[4]; if (strpos($root, 'www.cs.vsu.ru')) { print "root::$root<br><br>"; $htmlpy = strtolower(download('www', 'tcp', 'proxy.cs.vsu.ru', 3128, $init_queue[0])); preg_match_all("/<a href="([^">]*)"[^">]*>([^">]*)</a>/", $htmlpy, $matches); preg_match("/^((http|ftp|mailto)://)?([^/]+)(.*)/[^/]*$/i", $init_queue[0], $m); $depth=1; $parent = $init_queue[0]; $protocol = $m[2]; $host = $m[3]; //echo $host; $path = $m[4]; //var_dump($matches[1]); for($i=0; $i<count($matches[1]); $i++) { $url = $matches[1][$i]; preg_match("/^(http|ftp|mailto)(.*)/", $url, $matches2); if(!$matches2) { preg_match("/^(.{2}/?)(.*)/", $url, $matches2); if($matches2) { $url =$root."/".$macthes2[2]; } else { preg_match("/^(.{1}/?)(.*)/", $url, $matches2); if($matches2) { $url = $protocol."://".$host.$path."/".$matches2[2]; } else $url = $parent.$url; } } } $queue->AddtoQueue($url, $matches, $depth) ; $queue->PrintQueue(); $i=0; while ($url = $queue -> ReadUrl($queue -> marker)) { print "<br> $i Url to download: $url <br>"; $htmlpy = download('www', 'tcp', 'АДРЕС ПРОКСИ', 3128, $url); preg_match("/^http/d.ds(d{3})s(.+)/i", $htmlpy, $matches); $status = $matches[1]; print "status: $status <br>"; if ($status != 200) { $queue ->status [$queue -> marker] =1; $queue -> marker++; } else { $depth = $queue -> setDepth($queue -> marker); $queue -> status[$queue -> marker] = 2; $queue -> marker++; $depth++; } preg_match_all("/<a[^ ]*s+(classs*=s*[^s]*s*)?hrefs*=s*"?([^s,">]*)s*[^>]*>([^<]*)</a>/i", $htmlpy, $matches); preg_match("/^((http|ftp|mailto)://)?([^/]*)(.*)/[^/]*$/i", $url, $m); $parent = $url; if (isset($m[2])) { $protocol = $m[2]; } if (isset($m[3])) { $host = $m[3]; } if (isset($m[4])) { $path = $m[4]; } else $path = ''; print "<b>host </b> : $host <b>path</b>: $path"; for ($j=0; $j<count($matches[2]); $j++) { $url = $matches[2][$j]; preg_match("/(http|mailto|ftp)(.*)/i", $url,$matches2); if(!($matches2)) { preg_match("/(.{2}/?)(.*)/i", $url, $mathec2); if($mathec2) { $url = $root."/".$matches2[2]; } else { preg_match("/^/(.{2}/?)(.*)/i",$url ,$matches2); if($matches2) { $url = $protocol."/".$host.$path."/".$matches2[2]; } else { $url = $parent.$url; } } } echo "New.$url => ".$matches[3][$j]."<br>"; $queue->AddUrl($url, $matches[3][$j],$depth); } } print"<br><b>Size:</b>".$queue->size."<br>"; $queue->PrintQueue(); } ?> queue.php <? // error_reporting(E_ALL); class Queue { var $url; var $title; var $status; var $depth; var $size; var $marker; function Queue() { $this->url =array(0); $this->title =array(0); $this->status =array(0); $this->depth =array(0); $this->size =0; $this->marker =0; } function AddUrl($url, $title, $depth) { $exest= false; for($i=0; $i<$this->size; $i++) { if(!strcmp($this->url[$i],$url)) { $exest=true; break; } } if(!$exest) { if (strstr($url, 'www.cs.vsu.ru')) { $this->url[$this->size]=$url; $this->title[$this->size]=$title; $this->depth[$this->size]=$depth; $this->status[$this->size]=0; $this->size++; } } } function PrintQueue() { print "<pr>Queue Size = ".$this->size."<br>"; print "<pr>UrlList: "; for($i=0; $i<$this->size; $i++) { //echo "<table>" print"<br><br>$i :".$this->url[$i]."=>".$this->title[$i]." :: Status: ".$this->status[$i]." :: Depth:".$this->depth[$i]; } echo "end<br>"; } function AddtoQueue($url, $matches, $depth) { global $queue; preg_match("/^(http://)?([^/]+)(.*)(/[^/]*)?$/i", $url, $m); $host = $m[2]; $path = $m[3]; for ($j=0; $j<count($matches[1]); $j++) { $url =''; $url = $matches[1][$j]; preg_match("/(http|mailto|ftp)(.*)/i", $url, $matches2); if (!$matches2[0]) { print "<br>$j: ".$host.$path."/".$matches[1][$j]; $url = "http://".$host.$path."/".$url; } $queue->AddUrl($url, $matches[2][$j],$depth); } } function ReadUrl($marker) { if($this->marker < $this->size) { return $this ->url[$this->marker]; } else return 0; } /*function RemoveUrl($url) { $exest= false; for ($i=0; $i<$this->size; $i++) { if(!strcmp($this->url[$i],$url)) { $exest=true; break; } } } */ function SetDepth($marker) { if ($marker == 2) { $depth++; } } } ?> --------- Если твоя программа выполняет мистические действия, - значит ты сделал что-то невероятно тупое!

Ответ отправил: Zolton007 (статус: 2-ой класс) Ответ отправлен: 12.02.2007, 22:26

Вопрос № 75.402

Уважаемые экспекрты. Как можно средствами php сделать отобржание на своей странице любой другой страницы сети интернет (то есть данные беруться с произвольной страницы и вставляются в исходную)?

Отправлен: 12.02.2007, 18:07 Вопрос задал: Тимоша (статус: 1-ый класс) Всего ответов: 6 Мини-форум вопроса >>> (сообщений: 0)

Отвечает: Алексей Смуриков Здравствуйте, Тимоша! Это делается простым открытием страницы и выдачей пользователю! $fp=fopen("http://www.yandex.ru","r"); print fread($fp, 131244); fclose($fp); p.s. Но это работает только в том случае если в php.ini прописано allow_open_url в истину! --------- Из того, что я утратил больше всего мне жаль разум.....

Ответ отправил: Алексей Смуриков (статус: Практикант) Ответ отправлен: 12.02.2007, 19:45

Отвечает: Бородин Александр Олегович Здравствуйте, Тимоша! Как-то раз я инклюдом удаленную страницу отобразил. У меня комп локальный был подключен к интернету, ну я и решил попробовать, что же произойдет, если я включу страницу с удаленного портала. Заря моего становления в PHP!.. :)))) Прокатило. --------- Ничто не сближает людей так, как совместное преступление. Или покупка телевизора.

Ответ отправил: Бородин Александр Олегович (статус: 4-ый класс) Ответ отправлен: 12.02.2007, 19:52

Отвечает: Angel7 Здравствуйте, Тимоша! 1. Вам уже сообщил первый эксперт :) 2. С помощью include: <?php include ("ПУТЬ_К_ФАЙЛУ_-_ОТНОСИТЕЛЬНЫЙ_ИЛИ_АБСОЛЮТНЫЙ"); ?> 3. С помощью require (аналогично include): <?php require ("ПУТЬ_К_ФАЙЛУ_-_ОТНОСИТЕЛЬНЫЙ_ИЛИ_АБСОЛЮТНЫЙ"); ?> Удачи! --------- Краткость приятна, когда она сочетается с ясностью ^_-

Ответ отправила: Angel7 (статус: Студент) Ответ отправлен: 12.02.2007, 20:20

Отвечает: Королёв Руслан Здравствуйте, Тимоша! К сказаному выше могу добавить (тоже самое что и 1 вариант тока попроще) : $s=file_get_contents("http://сайт.ру/страница.хтмл"); echo $s;

Ответ отправил: Королёв Руслан (статус: 4-ый класс) Ответ отправлен: 12.02.2007, 22:25

Отвечает: Zolton007 Здравствуйте, Тимоша! Лёхка =) include(url), include_once(url), require(url), require_once(url) include и require - лучше исп. для разделения частей проги (т.е. шапка, подвал и т.п.) а вот include_once и require_once лучше для подключения частей программы. Точнее правильнее и безошибочнее, вот :)) типа того :)) --------- Если твоя программа выполняет мистические действия, - значит ты сделал что-то невероятно тупое!

Ответ отправил: Zolton007 (статус: 2-ой класс) Ответ отправлен: 12.02.2007, 22:40

Отвечает: Илья Андреевич Здравствуйте, Тимоша! echo $url_data=file_get_contents("http://www.php.net"); но как правило это мало где используется, а вот если вам нужны будут определенные данные из страницы, то надо переменную $url_data резать и вытаскивать нужные значения. например регулярными выжарениями или по старинке банальным explode()-ом да кстати если вдруг не работает функция, попробуйте include. правда шансов мало, потому что многие хостинги запрещают делать вставки по ссылкам.

Ответ отправил: Илья Андреевич (статус: 9-ый класс) Ответ отправлен: 13.02.2007, 02:36

Вопрос № 75.443

Скажите пожалуйста, где можно "покопаться" в прошлых вопросах и ответах, если таковой архив есть? Искал, но не нашёл... Спасибо.

Отправлен: 12.02.2007, 22:23 Вопрос задал: Roger2 (статус: Посетитель) Всего ответов: 2 Мини-форум вопроса >>> (сообщений: 0)

Отвечает: Королёв Руслан Здравствуйте, Roger2! Если интересует именно эта рассылка то вот ссылка http://www.rusfaq.ru/search/5/3/22 . А так на главной странице выбираеш раздел, потом интересующую рассылку и в ней нажимаешь на значок rar архива

Ответ отправил: Королёв Руслан (статус: 4-ый класс) Ответ отправлен: 12.02.2007, 22:31

Отвечает: Zolton007 Здравствуйте, Roger2! Зайди в соответствующий раздел и рыщи по минифорумам. Пр. "хлебных крошек": / КОМПЬЮТЕРЫ И ПО / Языки программирования / PHP Есть еще поиск по сайту. --------- Если твоя программа выполняет мистические действия, - значит ты сделал что-то невероятно тупое!

Ответ отправил: Zolton007 (статус: 2-ой класс) Ответ отправлен: 12.02.2007, 22:51

Вопрос № 75.470

Доброго времени суток, уважаемые эксперты! Сколько не блуждал по просторам сети, как бы не мучал яндэкс или гугл, не могу найти ясного ответа на свой вопрос… О написании своей CMS, соответственно на PHP с базой MySQL Основные вопросы, с чего начать (планирование и т.д) Этапы написания (Очерёдность) Что такое Ядро?! (И что в него входит?!) На что следует обратить внимание в безопасности скрипта, любые основы… Буду рад любым ссылкам и бесконечно рад вашему толковому разъеснению… Благодарю за внимание…

Отправлен: 13.02.2007, 03:45 Вопрос задал: Clever0k (статус: Посетитель) Всего ответов: 2 Мини-форум вопроса >>> (сообщений: 0)

Отвечает: Бородин Александр Олегович Здравствуйте, Clever0k! Для начала следует сформулировать для себя, на какие сайты будет движок(CMS) ориентирован. Не секрет, что универсального движка нет. Какие-то системы лучше подходят для новостных сайтов, другие - еще для чего-нибудь. Сколько видел CMS-ок разных-всяких, во всех есть управление пользователями(бан, привилегии, статус, блокировка), управление сообщениями(если таковые будут), управление новостями сайта. Управление закачками - тоже хорошая штука. Замутите файл-менеджер на сервере - тоже очень даже полезная вещь. По поводу безопасности... Задача сводится к тому, чтобы максимально ограничить ввод информации от пользователей и как можно лучше скрыть структуру сайта от посторонних. Для этого что нужно: обрабатывать текст в формах функциями типо mysql_real_escape_string(), дабы избежать инъекций, резать теги в полях, дабы юзера не могли изменять(читайте - коверкать) дизайн страниц Вашего сайта. Для этого функция striptags(), htmllspecialchars(). Конечно, это не все, что следует предусмотреть. Ни один серьезный сайт так сломать уже не получится. Как можно меньше используйте в работе метод GET, используйте POST. Следите за предоставлением прав доступа к файлам. Если на Вашем сайте будут использоваться загрузки файлов от пользователей, следите за тем, чтобы пользователи не знали, где их файлы хранятся(ведь файл легко может оказаться вредоносным скриптом, запустив который хакер может снести все к свиням собачьим). И конечно же, шифруйте пароли, скажем, функцией md5(). Так они будут недоступны всяким козлам. Короче говоря, общая рекомендация такова: пользователи сайта должны знать не больше того, что им положено, о структуре сайта. На сайте должен быть порядок. Взламываются те сайты, которые как попало писаны. В таком коде могут быть ошибки... Кстати, отключите показ сообщений об ошибках - это верный путь к взлому! Хакер не должен знать файловой структуры и структуры баз данных сайта. Фу-уу!.. Еще не все, но что-то я накидал. Пишите, если что, по адресу borodul@ngs.ru. Удачи! --------- Ничто не сближает людей так, как совместное преступление. Или покупка телевизора.

Ответ отправил: Бородин Александр Олегович (статус: 4-ый класс) Ответ отправлен: 13.02.2007, 12:38 Оценка за ответ: 4

Отвечает: Aster Aster Aster Здравствуйте, Clever0k! Ну что ж.Сперва вам надо продумать свой сайт так чтоб все изменяемые вами поля на сайте(там же и текст и надписи разные и прочее...)должны находится в таблицах базы mysql .Они от туда должны подгружатся...Далее в админке вы должны создать доступ к вашей бд для редоктирования самих таблиц)))Таким образом меняя значения в таблийах(имею в виду тот же самый отоброжаемый на вашем сайте текст надписи и другое) базы данных с админки вы будете изменять их отображение на сайте :) Что касается ядра...Я так понял ядра сайта...То знач это сам движок сайта,состоящий из скриптов.Исполняемые скрипты с модулями никак не влеяют на дизайн сайта т.е. вы создали сам движок и можете цеплять его на любую html страничку, красивая она или нет) Скрипты движка только вытягивают инфу с баз данных,выполняют отправку почты и прочие функции,сама же инфа которая выдернута движком сайта с баз данных токо отображается в соответствии с дизом самой странички :) Что касается безопасности...Тут вы должны знать о сновы и основные дыры,как они появляются и к чиму приводят.Хе...хотя появляются они из-за неграмотности программиста..:))) А приводят до полного контроля хакером вашего сайта!!! Вот почитате тут http://www.bitrixsoft.ru/security/vulnerability.php про уязвимости сайтов.А потом тут http://php.fud.ru/main/docum/4/ про приемы защиты сайтов от вторжений.А потом возьмите учебник по php и пройдитесь по нему хорошенько.Дело в том что проблема безопасности довольно серьезный вопрос и надо знать все тонкости программирования чтоб защитится...И помните что все что создано человеком может тоже поломать человек...Будут вопросы 487021850 -моя ася,если время найду- отвечу обязательно.Удачи!!!

Ответ отправил: Aster Aster Aster (статус: 1-ый класс) Ответ отправлен: 13.02.2007, 16:09 Оценка за ответ: 4 Комментарий оценки: Благодарю, как только ознакомлюсь с материалом неприменно обращюсь!!! :) Всего хорошего!

© 2001-2007, Портал RusFAQ.ru, Россия, Москва. Идея, дизайн, программирование: Калашников О.А. Email: adm@rusfaq.ru, Тел.: +7 (926) 535-23-31 ООО "Мастер-Эксперт Про", Москва, 2007 Авторские права | Реклама на портале Версия системы: 4.44 beta от 26.01.2007