Build a capture process to validate information/Construir um processo da captura para validar informações

Encerrado Postado há 5 anos Pago na entrega
Encerrado Pago na entrega

Objetivo: Realizar consulta no Site ou aplicativo do TSE, para valiar o nome de mãe e data de nascimento.

Entrada: Nome, Nome da mãe e data de nascimento

Saida: Entrada, Saida e evidencia em Html

Link: [login to view URL]

Desempenho: 250 mil consultas dia

Controle e Gestão: Permite lotes paralelos, play, restart e pause, controle de uso de recursos, aumento de recursos para aumentar a velocidade, acompanhar o desempenho de processamento em tempo real.

Recursos: O sistema pode utlilizar SITE para resolver Captcha e Proxy que suporte a demanda. Ex: Luminatti e Anticapticha

Estrutura: Escalável em AWS e Docker, Linguagem preferencialmente em Python, Java, C#, SQL, Mongo, Elastic ou mesmo em txt e afins.

---

Objective: search the Brazilian TSE site to validate mother's name and birth date.

Input: name, mother's name and birth date.

Output: input, search's output and the HTML.

Link: [login to view URL]

Performance target: 250,000 searches per day.

Management features: parallel execution, play, pause, restart, resources management, e.g., it should be possible to tweak the application to deploy additional resources in order to boost performance, real time processing visualization.

Resources: the delivered system may use third party providers to solve CAPTCHAs or manage proxies (e.g., anti-captcha and Luminati).

Architecture: the delivered system must be scalable via docker and AWS. Preferred languages are Python, Java, C# (.NET). Preferred databases are SQL databases, MongoDB or Elasticsearch.

Use case: we should be able to input to the system huge lists of items containing the three input fields above. The system should continuously process these lists, executing searches in the link provided. The output of the searches and their HTMLs should be saved. These operations would be managed in such a way that it should be easy to monitor, control and scale up or down.

----------

-----------

Através de tecnicas de WebCrawler e Webscrapping realizar navegação e consulta no site ou aplicativo do TSE, para valiar o nome de mãe e data de nascimento.

Entrada: Nome, Nome da mãe e data de nascimento
Saida: Entrada, Saida e evidencia em Html
Link: http://www.tse.jus.br/eleitor/servicos/titulo-de-eleitor/titulo-e-local-de-votacao/consulta-por-nome
Desempenho: 250 mil consultas dia
Controle e Gestão: Permite lotes paralelos, play, restart e pause, controle de uso de recursos, aumento de recursos para aumentar a velocidade, acompanhar o desempenho de processamento em tempo real.
Recursos: O sistema pode utlilizar SITE para resolver Captcha e Proxy que suporte a demanda. Ex: Luminatti e Anticapticha
Estrutura: Escalável em AWS e Docker, Linguagem preferencialmente em Python, Java, C#, SQL, Mongo, Elastic ou mesmo em txt e afins.

Amazon Web Services Data Scraping Scrapy Web Crawling Captura de dados na web

ID do Projeto: #17635976

Sobre o projeto

5 propostas Projeto remoto Ativo em há 4 anos

5 freelancers estão ofertando em média $3905 nesse trabalho

hardcode4u

Hello, Hope you are doing well. My name is Ishant and I am an expert AWS and Python developer having experience of 9 years. I can do any type of development and customization work. However the details are rea Mais

$4500 USD in 30 dias
(3 Comentários)
4.7
Gaosong2017

Honorable Seniors. I read your whole proposal, and thanks for your post on my good experience. This is very good job for me. So I think I can do this in high quality. My releavant skills are: Amazon Web Services, Ja Mais

$3529 USD in 30 dias
(5 Comentários)
4.5
expertjavagiant

Hi Sir, I have more than 8 years of experience in Software development and Enterprise System Integration on Java platform. Good experience in development of Back-End system with NOSQL DB. I worked heavily on REST Web Mais

$3791 USD in 30 dias
(0 Comentários)
0.0
AzzkaNoor

It seems like an interesting project. I would like to discuss all the requirements with you, so I can mark the scope of this project. Please also note that final estimation will be provided once all the requirements wi Mais

$4705 USD in 30 dias
(1 Comentário)
0.1
jaquedeveloper

Olá, meu nome é Jaqueline Passos. Já me candidatei ao projeto similar, estou aqui de novo. Tenho experiência na criação de softwares de automação utilizando as bibliotecas selenium, scrappy e spycrawler, entre outra Mais

$3000 USD in 10 dias
(0 Comentários)
0.0