Encerrado

scraper php para extrair dados de lojas virtuais

Processo:

Definir no php proxy ou formas de não identificar o crawler e ser banido o IP.

Mesmo sendo url´s distintas, temos urls utilizando o mesmo servidor, que pode identificar e banir o crawler.

1) Lê arquivo .txt com url da loja virtual:

[url removed, login to view]

[url removed, login to view]

a) Http code do site. Se o site estiver online segue para ler as informações.

Se o site não estiver gravar no mysql queo site está off.

2) Extrai as seguintes informações da Url

Se possível identificar alguns pontos: 

HTTP/1.1 200 OK

Server: nginx

X-Powered-By: ASP.NET

Trazer essas informações acima e todas as printadas.

Por que a importância dessas informações? A intenção é saber o servidor que ele usa, se possível qual plataforma ele usa? Magento, Opencart, etc etal.

a) titulo do site

b) Meta tags existentes: description, keywords,author e etc

c) Pegar as 10 palavras mais utilizadas no site para gerar "tags".

d) pegar o link: fale conosco, contato ou etc, para também extrair telefone ou email, que normalmente constará nessa pagina.

d) Extrair emails do site

e) Pegar telefone do site

Todas as informações armazenar em mysql.

Habilidades: MySQL, NoSQL Couch & Mongo, PHP, PostgreSQL, SQL

Veja mais:

Acerca do Empregador:
( 0 comentários ) Brazil

ID do Projeto: #12393737

4 freelancers estão ofertando em média €387 para esse trabalho

andreschonrock

Boa tarde, tenho bastante experiência em web crawler, tenho um sistema que faz a varredura em sites governamentais, e estaria disposto a pegar esse job, e fazer ele em um prazo bem curto, com 100% de assertividade. Go Mais

€198 EUR in 5 dias
(1 Comentário)
2.0
deyvidsilva

Boa tarde, sou desenvolvedor web a 6 anos, graduado em sistemas de informação, gostaria de fazer parte da equipe,trabalho como freelancer full time, vou encaminhar alguns jobs. e-mail - [login to view URL]@[login to view URL] skype - d Mais

€250 EUR in 14 dias
(1 Comentário)
1.7
samuelsamueldu

Boa noite É possível realizar essa tarefa. O arquivo .txt em questão teria quais dados? Existiria um back-end onde vcs ficariam inserindo e removendo lojas? É um projeto arrojado, que vai demandar bastante Mais

€849 EUR in 30 dias
(0 Comentários)
0.0
mespperweb

Olá prezado Tudo bem? Somos especialistas em aplicações web PHP e sistemas scraper. Podemos conversar melhor a respeito do projeto? Temos interesse em entregar boas experiências em prestação de serviços p Mais

€250 EUR in 14 dias
(0 Comentários)
0.0