Форум вопросов и ответов

Форум вопросов и ответов (https://www.otvetnemail.ru/)
-   Продолжение старого архива (https://www.otvetnemail.ru/prodolzhenie-starogo-arhiva-804/)
-   -   Парсер crawler страничек (https://www.otvetnemail.ru/prodolzhenie-starogo-arhiva-804/parser-crawler-stranichek-389495/)

Guest 16.10.2011 15:53

Парсер crawler страничек
 
Привет.Начинаю открывать для себя все прелести регулярных выражении. :) Написал несколько простых парсеров и... доволен! :)Хочу попробовать написать что то вроде паука по сайту. Просто тупо взять и стянуть все линки и чтобы не повторялись.Смотрю и вижу, что то не то :oops: по маленьким страничкам скрипт ходит хорошо, а вот там где больше ~200 уникальных урлов ругается.Понимаю что код может быть конкретно корявым :) Покажите в какую сторону копать. Может советы какие нибудь.Пока накидал вот такое:


Часовой пояс GMT, время: 01:56.


© www.otvetnemail.ru - Форум вопросов и ответов.