Em Andamento

Desenvolvimento de Web Crawler para Produtos

Objeto:

Desenvolvimento de um sistema (Banco de Dados, Back End e Front End) para pesquisar os produtos e preços em 15 sites de comércio eletrônico.

Requisitos:

Deverá rastrear todas as categorias de produtos do site, página por página, quando chegar na última página de uma categoria, voltar pra primeira página.

Exemplo:

Categoria TV: [login to view URL]

O sistema vai pegar todas as informações dos produtos dessa categoria, da primeira até chegar a última página em que há produtos em estoque:

[login to view URL]

Quando terminar de rastrear todas as páginas da categoria, ele vai começar de novo e desta forma, comparar o preço da varredura anterior com o preço da varredura atual.

Fim do Exemplo.

No exemplo é explanado uma das maneiras que isso pode ser feito, se conseguir fazer de uma maneira mais fácil e rápida não tem problema.

Deverá armazenar e indexar as informações coletadas em um banco de dados, depois verificar as alterações nos preços dos produtos e armazenar em um campo a porcentagem de alteração no preço.

Deverá armazenar no banco de dados a data e horário da última atualização do produto.

Deverá apresentar os dados em um dashboard, informando a Categoria do Produto, Descrição do Produto, Loja, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor, Histórico de Preços, Data de Alteração do Preço.

Deverá emitir um alerta sonoro quando aparecer uma nova alteração de preço. Este alerta sonoro deverá ser configurável de acordo com a % de queda de preço. Exemplo: Tocar alerta sonoro sempre que o produto baixar 50% (essa porcentagem eu quero poder mudar).

Deverá possuir minimamente os seguintes filtros para exibição no frontend:

- Mostrar produtos que tiveram preços alterados nas últimas xx horas

- Mostrar produtos que tiveram mais de xx % de queda de preço

- Mostrar produtos que tiveram mais de R$ xx de queda de preço

- Mostrar produtos da categoria xxx

Deverá ser possível buscar por produto.

Deverá ser possível classificar por Categoria do Produto, Descrição do Produto, Preço Atual, Preço Anterior, % de Desconto, Diferença de Valor.

Deverá realizar a varredura dos sites automaticamente.

Deverá possibilitar a limpeza da base de dados.

Deverá possuir área administrativa (Criação de Logins de Acesso, Ferramenta para Limpeza da Base de Dados, etc).

Deverá efetuar a varredura nos sites abaixo:

Magazine Luiza - [login to view URL]

Amazon - [login to view URL]

Americanas - [login to view URL]

Shoptime - [login to view URL]

Submarino - [login to view URL]

Dafiti - [login to view URL]

Zattini - [login to view URL]

Netshoes - [login to view URL]

Centauro - [login to view URL]

Carrefour - [login to view URL]

Casas Bahia - [login to view URL]

Extra - [login to view URL]

Pontofrio - [login to view URL]

Nike - [login to view URL]

Adidas - [login to view URL]

Habilidades: MySQL, PHP, Python, Design de Sites

Veja mais: java web crawler image capture, web crawler cpu usage, write web crawler, web crawler names, web crawler system requirement, web crawler demo gathering information function, java spring web crawler, web crawler traffic stats, auto daily web crawler, web crawler sale, web crawler asp spider, financial news web crawler, product web crawler, freelancer para desenvolvimento web, sistema linux para desenvolvimento web, site freelancer lance para desenvolvimento web, sites de freelancers que para desenvolvimento web, vagas para freelancer desenvolvimento web

Acerca do Empregador:
( 0 comentários ) Mogi das Cruzes, Brazil

ID do Projeto: #29603164

Concedido a:

prityweb14

hi I checked both attached image it's data crawling I am expert in python I can done this job well please message me so we can discuss thank you

$750 USD em 12 dias
(15 Comentários)
5.3

7 freelancers estão ofertando em média $1100 nesse trabalho

Vadimpl

Hi there. After reading your job post I am noticed you need web scraping developer who can scrape data from 15 websites and should build small website with scraped data and filter function. Can I use MySQL to save the Mais

$999 USD in 9 dias
(5 Comentários)
3.6
palexandremello

Boa noite, Tenho experiências com web scraping e automação (RPA) com python, além de ter criado recentemente dashboard para visualização de modelos de previsão de energia para uma nova startup na área (posso passar as Mais

$1200 USD in 45 dias
(3 Comentários)
2.9
nascimnbeni80

Aceito o projeto, já desenvolvi ao parecido. Sou Analista de Sistemas valor da proposta 1500 USD com 3 meses de entrega do serviço.

$1499 USD in 90 dias
(0 Comentários)
0.0
Matheus8174

Oi, tudo bem? Eu entendi o seu problema e posso te ajudar nele, sou programador full-stack, e já fiz projetos parecidos, e estou ansioso para transformar sua ideia em realidade!, me mande uma mensagem para conversarmo Mais

$1125 USD in 44 dias
(0 Comentários)
0.0
ebuffertic

olá, bom dia, Meu nome é Antonio, trabalho com desenvolvimento de bots, esse é um projeto bem interessante, já fiz um projeto similar na área de turismo. podemos conversar mais para delimitar o escopo do projeto? At Mais

$1125 USD in 7 dias
(0 Comentários)
0.0
rrodrigues

Ola, vi o seu projeto e tenho tecnologia desenvolvida para pesquisa de imóveis que pode ser adaptada à sua situação. Envie mensagem no chat e podemos discutir mais pormenores.

$1000 USD in 15 dias
(0 Comentários)
0.0