Data scraping trabalhos

Preciso de um especialista em web scraping para coletar informações específicas consultando CPF em um site. Campos necessários: - Nome completo - Data de nascimento - Endereço - E-mails - Telefones - Veículo (marca/modelo) - Ano de fabricação - Ocupação - Faixa salarial - Provável empresa Habilidades e Experiência Ideais: - Experiência comprovada em web scraping - Proficiência em ferramentas como Python, Beautiful Soup, Scrapy, ou similares - Capacidade de trabalhar com estruturas de dados complexas - Atenção aos detalhes e precisão na extração de dados - Familiaridade com questões legais e é...

Estamos buscando um desenvolvedor para criar um bot de agendamento para a plataforma Prenotami. O objetivo principal é automatizar o processo de vagas para agendamento de passaporte e, idealmente, auxiliar no processo de agenda...método a ser definido) quando novas vagas forem detectadas. 3. OBRIGATORIAMENTE Ter a capacidade de preencher formulários e tentar realizar o agendamento de forma automatizada, mediante configuração prévia do usuário. 4. Lidar com possíveis desafios da plataforma, como CAPTCHAs ou limites de requisição, se aplicável. É essencial que o profissional tenha experiência com desenvolvimento de bots, web scraping e automação de processos em plataformas web. O b...

### Project Title Development of a Python/FastAPI REST API for TJSP Case Scraping with Cloudflare Turnstile Bypass ### General Description Development of a robust REST API to automatically query court cases on the TJSP e-Proc portal, with token-based authentication, rate limiting, and bypass of Cloudflare Turnstile protection. ### Required Tech Stack - Python (version 3.10+) - FastAPI - Pydoll (library for Turnstile bypass and web scraping) - MySQL (native connection or SQLAlchemy) - SmartProxy (prepare configuration for residential rotating proxy) - Docker + Docker Compose *** ### 1. Authentication and Access Control #### 1.1 `tokens` Table Structure in MySQL The database must include a `tokens` table with at least the following fields: - `id`: integer, primary key, au...

...tables into data and real-time insight. The bot’s core mission is to analisar padrões de jogo so it can spot profitable moments and push clear signals before a new hand is dealt. What it must detect • Sequência de vitórias/derrotas para cada lado • Padrões de apostas dos jogadores ao redor da mesa • Qualquer outro possível padrão relevante e, quando encontrado, já sugerir a entrada correspondente How I need the findings delivered • Relatório em PDF gerado automaticamente no fim de cada sessão • Atualização em tempo real numa interface simples (web ou desktop) • Notificação instantânea por email e via Telegram — a breve mensagem ...

I run a PrestaShop store and need an automated way to pull full product data from three authorized sources—Supplier A, Supplier B, and Supplier C—then publish and refresh that information inside my catalog each week. Scope • Build or configure a scraper that collects every required field: product reference, name, photos, short description, long description, cost price, selling price generated from my formula, images, meta title, and meta description. • Map the scraped fields cleanly into PrestaShop so new items are created and existing items are updated without duplicates. • Implement my pricing formula in code so the selling price is calculated automatically during each import. • Optimize all text (titles, descriptions, metas, alt tags) for SE...

Preciso de um script automatizado que acesse diariamente a página e extraia todos os detalhes de cada imóvel — preço, localização completa, área, status, número do leilão, ...atualizações diárias devem sobrescrever ou acrescentar linhas conforme o imóvel mude ou seja novo. • Há logs básicos (hora da execução, total de itens coletados, erros) e um jeito simples de agendar a tarefa, como instruções de cron ou Task Scheduler. • O repositório/zip inclui README rápido explicando instalação, variáveis de ambiente e comando de execução. Se tiver experiência prévia com scraping de sit...

...dados. A primeira origem é um Portal onde o arquivo fica disponível apenas após login; lá o download vem em PDF e deve ser tratado para extração dos campos relevantes. A segunda origem é uma API já exposta, basta consumir os endpoints para trazer os registros atualizados. A terceira origem é um Site público do qual preciso coletar dados – pode ser via conector, Web Contents ou algum método de scraping que se encaixe ao Automate. Espero que o processo rode de forma automática, traga os dados de Portal, API e Site, faça a transformação necessária e entregue um relatório legível (pode ser em pdf). Entrego as credenciais e exemplos de resposta da API as...

Preciso transformar em um fluxo único e totalmente automático três tarefas que hoje executo manualmente. 1. Scraping O primeiro passo é coletar exclusivamente informações de contato (nome, e-mail, telefone e, se possível, cargo) a partir de um site que indicarei. A solução pode ser construída em Python (BeautifulSoup, Selenium, Scrapy) ou outra stack que preferir, desde que rode em servidor próprio ou servidor cloud e permita agendar execuções. 2. Enriquecimento Assim que o scraping terminar, quero que os dados sejam enviados automaticamente para Targetsmart ou Targetdata. Caso seja mais simples conectar via Clearbit, ou ZoomInfo, podemos conversar, mas minha preferência &...

Estamos procurando alguém que consiga: Criar um algoritmo inteligente (Crowley) para encontrar produtos raros, únicos e com desconto na Shopee. Apresentar os re...importados ou edições limitadas. Produtos únicos: Itens com características especiais ou funções inovadoras. Ofertas e promoções: Produtos com preços muito bons, promoções imperdíveis ou descontos por tempo limitado. Habilidades e experiência necessárias: Programação em Python ou Node.js (conhecimento básico já é suficiente). Experiência em coletar dados automaticamente da internet (web scraping / automação). Interesse em análise de dados e int...

Procuro desenvolvedor sênior com experiência comprovada em Inteligência Artificial, Machine Learning, Web Scraping/API e análise de dados para criar um aplicativo/site especializado no jogo Bac Bo. Objetivo: Desenvolver uma plataforma que colete resultados do Bac Bo em tempo real, armazene dados históricos, identifique padrões e envie alertas precisos indicando momentos ideais para aposta, com base em análise estatística e algoritmos de IA. Funcionalidades Principais: Coleta e Armazenamento de Dados; -Captura automática dos resultados do Bac Bo 24h/dia (via API, integração ou leitura de tela). -Banco de dados seguro e otimizado para consultas rápidas. Análise com IA; -Identificaç&a...

Estou em busca de um profissional com conhecimento em web scraping ou API REST, programação em Python, e, preferencialmente, com experiência em finanças ou mercado de ações. O objetivo é buscar dados de um website financeiro e realizar filtros e médias sobre eles. Requisitos Principais: - Extrair preços das ações de um website financeiro - Filtrar dados por data, tipo de ação e valor de preço - Realizar cálculos de médias entre os dados coletados Habilidades e Experiência Ideais: - Experiência em web scraping e manipulação de dados - Conhecimento em programação Python - Familiaridade com APIs REST - Entendimento do mer...

ENGLISH / PORTUGUES Hello! I'm looking for a freelancer with proven experience in web scraping public data to extract information from the CREMESP website (Regional Medical Council of the State of São Paulo). The data will be used for a non-commercial, social and informational project. All information is publicly available — no login or authentication is required. Project Overview: Visit the website: Apply the filters: Status: Active Specialty: Gynecology and Obstetrics and/or Obstetrics Scrape all 10,017 records, opening each individual profile to access details. Extract the following fields (when available): Full name City Phone number Email CRM number (medical license) Year of graduation If a record displays “Divulgação n&...

...Web Development ou API Integration 5. Tags (Skills) Digite e selecione: • Python • API • ChatGPT • OpenAI • Automation • Legal Tech • Jurisprudence • Manus Docs • Web Development • Data Extraction 6. Tipo de Projeto • Selecione: Fixed price • Orçamento sugerido: entre US$ 500 e US$ 1500, dependendo da complexidade e escopo (pode ajustar conforme suas possibilidades) 7. Milestones sugeridas (caso deseje controlar por etapas) • 25% após entrega do protótipo inicial (entrada de dados + ChatGPT) • 25% após integração com jurisprudência (API ou scraping) • 25% após integração com Manus e testes ...

...Web Development ou API Integration 5. Tags (Skills) Digite e selecione: • Python • API • ChatGPT • OpenAI • Automation • Legal Tech • Jurisprudence • Manus Docs • Web Development • Data Extraction 6. Tipo de Projeto • Selecione: Fixed price • Orçamento sugerido: entre US$ 500 e US$ 1500, dependendo da complexidade e escopo (pode ajustar conforme suas possibilidades) 7. Milestones sugeridas (caso deseje controlar por etapas) • 25% após entrega do protótipo inicial (entrada de dados + ChatGPT) • 25% após integração com jurisprudência (API ou scraping) • 25% após integração com Manus e testes ...

...dados (scraping). A ideia é que, ao inserir manualmente o link de um atleta, o sistema seja capaz de capturar e atualizar automaticamente dados pessoais, estatísticas, histórico de clubes e partidas, preenchendo os campos personalizados (ACF) e tipos de post (CPT) já configurados no WordPress. Também desejo implementar um painel de busca com filtros avançados voltados para clubes e agentes, incluindo informações como minutagem, posição, idade, altura, peso, histórico de lesões, entre outros critérios relevantes. Já possuo o layout final da plataforma definido e preciso apenas do desenvolvimento da parte funcional e da programação. Você poderia me enviar um or&...

Preciso de um profissional para realizar scraping dos seguidores de uma conta do Instagram para análise de mercado. A conta possui mais de 50k seguidores. Fornecerei uma conta de exemplo para referência. Requisitos: - Coletar as seguintes informações de cada seguidor: - Nome - Conta privada/pública - Localização - Bio - Número de posts - Número de seguidores Habilidades e Experiência Ideais: - Proficiência em técnicas de web scraping - Familiaridade com plataformas do Instagram - Capacidade de lidar com grandes volumes de dados - Experiência em garantir conformidade com as políticas de privacidade e uso de dados Por favor, compartilhe seu portfólio e experi&ecir...

...de tokens de autenticação (JWT, OAuth) 4. Front-end Proteção contra XSS, clickjacking, CSP, session hijacking Verificação de integridade dos scripts no front Gerenciamento seguro de cache 5. Infraestrutura & DevOps Containers e microserviços com observabilidade Escalabilidade com redundância e failover Alertas em tempo real de anomalias e brechas Monitoramento de bots (ataques, DDOS, scraping) 6. Painel de Governança e Contingência Painel administrativo com logs, rastreabilidade, alertas Botão de pânico para congelar a plataforma em emergências Logs de auditoria e cadeia de custódia para cada operação Camada de IA para detectar padrões de fraude ...

Requisitos do Projeto: Coleta de Estatísticas em Tempo Real: O sistema deve realizar scraping do site para coletar estatísticas de partidas em tempo real, como informações sobre os times, jogadores, mapas, e estatísticas detalhadas de cada rodada. A coleta deve ser automatizada e ocorrer em tempo real, sem sobrecarregar o site de origem. Processamento e Análise das Estatísticas: Com base nas estatísticas coletadas, o sistema deve calcular odds para diferentes eventos dentro do jogo (ex: quem vai vencer a rodada, número de kills, etc.). Deve ser possível personalizar os cálculos das odds com base em fatores específicos do jogo e das estatísticas dos jogadores. Hospedagem na Nuvem: O si...

...Elaborar e refinar prompts para dar personalidade aos assistentes de acordo com as especificações do cliente Integrar os assistentes em plataformas como sites e WhatsApp Conectar e utilizar APIs externas para expandir as funcionalidades dos assistentes Requisitos: Experiência comprovada com plataformas de automação no-code, especialmente n8n Conhecimento sólido em integração de APIs e web scraping Habilidade em processamento e manipulação de dados Experiência com chatbots ou assistentes virtuais Familiaridade com integração de chatbots em sites e plataformas de mensagens Compreensão básica de IA e processamento de linguagem natural Capacidade de trabalhar de forma independen...

Como consultor imobiliário, estou em busca de um profissional com habilidades em data mining e análise de dados para coletar informações detalhadas dos principais sites imobiliários de Portugal, como Idealista, Imovirtual, OLX, e outros. O objetivo é reunir uma base de dados abrangente que me ajude a entender melhor o mercado imobiliário e a identificar oportunidades de negócios para clientes diversos, sejam eles singulares, famílias ou investidores. - Pesquisa e coleta de dados - Extração de informações sobre venda, compra e arrendamento de imóveis - Organização dos dados em um formato facilmente analisável (por exemplo, planilha Excel) - Atualizaç&at...

Estamos buscando pessoas com experiência para realizar o web scraping do Poder Judiciário Brasileiro. Que inclui: - Justiça do Trabalho - Justiça Estadual - Justiça Federal - Tribunal Superior do Trabalho - Tribunal Superior de Justiça - Diário Oficial Importante ter experiência com esses portais. Incluir na proposta uma previsão para entrega.

Estamos buscando pessoas com experiência para realizar o web scraping do Poder Judiciário Brasileiro. Que inclui: - Justiça do Trabalho - Justiça Estadual - Justiça Federal - Tribunal Superior do Trabalho - Tribunal Superior de Justiça - Diário Oficial Importante ter experiência com esses portais. Incluir na proposta uma previsão para entrega.

...barras de rolagem nas tabelas. - Garantir atualizações em tempo real na 'Caixa de Tabelas.' - Ajustar automaticamente colunas no calendário econômico. - Adicionar títulos nas tabelas. - Mover indicador de conexão para o rodapé lateral esquerdo. *Habilidades Necessárias:* - Gestão de Banco de Dados: MySQL, SQLite - Integração de Pagamento: PayPal, Stripe - Desenvolvimento Web e Web Scraping: Experiência com essas tecnologias. - Experiência com Mercado Financeiro: Preferência para o mercado brasileiro. - Familiaridade com API do ChatGPT: Experiência com integração da API do ChatGPT. *Entregáveis:* - Aplicativo Executável Funcional c...

Preciso que seja feito um scraping de um um website. É um JOB simples pegar 5 informações de um site Nome do Proprietário, Link do Anuncio, cidade do anuncio e telefone e salvar em um arquivo txt são 10K registros em média. O python deve ler todos os links e pegar todos as informações do site e salvar em um TXT

crie uma aplicação pra fazer scraping em um site governamental. Preciso q em determinada página abra um link e extraia alguns dados html da página. Depois abra um documento e faça a leitura de um dado de uma imagem.

Estamos em busca de um programador freelancer experiente para desenvolver um sistema de scraping que integre informações de filmes a um site em Wordpress. O profissional ideal deve ter sólida experiência com técnicas de web scraping, manipulação de dados e familiaridade com a estrutura e plugins de Wordpress. As principais responsabilidades incluem: - Desenvolver scripts de scraping para coletar dados detalhados de filmes (como títulos, sinopses, trailers, pôsteres, e classificações) de fontes confiáveis. - Integrar esses dados de forma automática ao site Wordpress, utilizando custom posts, taxonomias e ACF (Advanced Custom Fields). - Garantir a atualização regular...

... - Registro da data de início e cálculo automático da data de expiração. - **Validação de Assinatura:** - Verificação da data atual com a data de expiração ao abrir a planilha. - Bloqueio de acesso caso a assinatura tenha expirado. ## 4. **Automatização com VBA** - **Código VBA para Login:** - Script VBA para gerenciar login e verificação de assinatura. - **Função de Validação de Credenciais:** - Função para validar nome de usuário e senha. ## 5. **Gestão de Assinaturas** - **Banco de Dados Externo:** - Utilização de um banco de dados exter...

Preciso melhorar o processo de scraping no meu projeto atual. Para isso, busco um profissional que possa me ajudar a integrar o ScrapeOPS com o framework Playwright em Python, com o foco principal na melhora de eficiência deste processo. O principal desafio deste projeto será implementar mecanismos que permitam alterar o IP do bot para possibilitar mais requisições. Isso exigirá o uso de proxies para mascarar o IP do bot, o uso de uma VPN para alterar o IP do bot, ou talvez até mesmo a configuração de uma rotação de IPs a cada requisição. Algumas habilidades e experiências que seriam úteis para este projeto incluem: - Experiência com Python, particularmente o uso do framework Pla...

Preciso de um site que tenha um tela de acesso que usuario insira um id. Dentro crie um simples painel. Preciso que busque parametros de outros site pra exibir nesse, acredito que tenha que ter conhecimentos web scraping, requisições HTTP, request ou algo do tipo

Preciso de 5.000 a 10.000 contatos telefónicos extraídos das plataformas de vendas de carros contatos telefónicos somente de particulares a venderem carros acima dos 14.000 €.

...arbitragem nas apostas esportivas. O software terá como base a coleta em tempo real de dados de diferentes casas de apostas, a análise das odds oferecidas e a geração de oportunidades de surebet para os usuários. 2. Requisitos do Projeto: 2.1. Coleta de Dados: Desenvolvimento de mecanismos para a coleta em tempo real de odds de diferentes casas de apostas. Integração de APIs ou técnicas de scraping para obter informações precisas e atualizadas. 2.2. Análise de Dados: Desenvolvimento de algoritmos para calcular as probabilidades implícitas com base nas odds fornecidas pelas casas de apostas. Identificação de oportunidades de surebet por meio de análise estatística e ...

100 produtos, web scraping, código, valores, nome do artigo, descrição e imagens.

Preciso de um freelancer para desenvolver crawler de 5 plataformas de E-commerce para extrair informações de um produto ou de vários (colecao)

A ideia do projeto é super simples (web scraping), criar um "robô" que simule o acesso num site, efetue a autenticação (usuário/senha), em seguida verifique se determinada informação foi postada na página, caso positivo, o robô deve enviar um alerta, como uma mensagem no WhatsApp ou até mesmo uma ligação "fake" no celular, apenas pra avisar que a informação está disponível. Caso essa informação não esteja disponível na página, o robô deve efetuar um "refresh" (entrar em loop) até que esteja disponível, ou se possível, que possa ser configurável, por exemplo, rodar até de...

Projeto para Freelancer: Web Scraping e Integração de Site Estamos à procura de um profissional qualificado em web scraping e integração de sites para nos ajudar em um projeto emocionante. Se você tem experiência em coletar dados de sites e integrá-los a uma plataforma já existente, esta é a oportunidade perfeita para você! Descrição do Projeto: Web Scraping: O objetivo principal deste projeto é coletar informações específicas de um site de origem. Esses dados serão essenciais para melhorar a experiência de nossos usuários em nossa plataforma. Os dados a serem coletados incluem (mas não se limitam a): informaçõ...

Projeto para Freelancer: Web Scraping e Integração de Site Estamos à procura de um profissional qualificado em web scraping e integração de sites para nos ajudar em um projeto emocionante. Se você tem experiência em coletar dados de sites e integrá-los a uma plataforma já existente, esta é a oportunidade perfeita para você! Descrição do Projeto: Web Scraping: O objetivo principal deste projeto é coletar informações específicas de um site de origem. Esses dados serão essenciais para melhorar a experiência de nossos usuários em nossa plataforma. Os dados a serem coletados incluem (mas não se limitam a): informaçõ...

Preciso de um programa que seja capaz de coletar dados de um site de aposta (web scraping) e de posse desses dados eu irei implementar um lógica de tomada de decisão. Assim, o programa deve ser capaz de coletar as informações que irei especificar, e após a analise dos dados, o mesmo terá que interagir com o site fazendo as devidas apostas. Gostaria que o mesmo fosse desenvolvido no PyCharm e como sugestão que utilizasse a biblioteca Selenium. Os dados que eu preciso coletar são os valores das velas ateriores conforme marcado na imagem em anexo. O programa terá que alterar o valor da aposta de acordo com a lógica de tomada de decisão e clicar no botão BET (para apostar)

Gostaria de criar um código para scraping em phyton de uma loja virtual.

Pretendemos Criação de scrip em python par afzer web scraping .

Planilha para analise de indicadores de mercado de ações brasileiras e dos Estados Unidos. Necessito contratar um programdor phyton e html para fazer o web scraping, aplicar os filtros e disponibiliza-los em uma pagina html. analiso parceria para participação no negócio

Preciso coletar dados dos produtos e seus respectivos valores do ifood da minha cidade e salvar em uma planilha.

Olá, estou precisando de um programador para realizar um web scraping na página de resultados da bet365, para capitação dos resultados do futebol virtual e posteriormente realizar análises dos resultados passados para geração de dados estatísticos e posterior previsibilidade de resultados com base em estatística.

Preciso coletar dados das avaliações dos usuários de um aplicativo do Google Play

Olá! Preciso coletar dados sobre mortalidade infantil para todos os municípios do brasil. Os dados estão no link abaixo. Preciso dos dados separados por ano e município. Para alguns estados até consegui baixar todos os municípios de uma vez, mas para outros não foi possível e baixar um a um fica inviável.

Extração dos dados em uma página web publica, que esta com captcha, mais informações no privado.

...processado ao menos uma vez por dia em uma estrutura automatizada minha, entao preciso que o raw data do scraping esteja em um formato que eu possa consumir ou inserir em banco de dados, além da analise sentimental ser categorizada em timeframes para que eu possa salvar essa informaçao e acompanhar a sua evolucao ao longo do tempo. O resultado final precisa ser um script que realiza o scrap basedo nos termos de pesquisa que eu selecionar, organizar os dados, realizar as analises sentimentais e depois concatenar em um formato exportavel ( pode ser csv ) para que eu insira em um banco de dados e analise esses dados ( wordcloud, temos mais usados, se for um dia de analise negativa puxar os dados raw pela data e ver quais termos mais utilizados, qual vol...

Preciso de um site que faça captura de posições dos pilotos e estatisticas do speedway virtual da bet365. Site exemplo: Obs: Somente para speedway virtual

Quero um parceiro pra colher algumas informações de uns site de enquete.

O objetivo é realizar um scraping do sistema erp ssw. O sistema não permite o acesso nativo ao banco de dados, contudo é possível extrair relatórios no formato csv. Preciso de uma rotina que extraia estes relatórios, de acordo com suas particularidades, e coloque estes dados em um banco de dados MySQL. Para extrair os relatórios é necessário escrever o código do relatório e preencher um formulário, que muda de acordo com o relatório. Esta rotina precisa ser possível de aplicar em outros clientes que utilizem o sistema.

O objetivo é realizar um scraping do sistema ERP SSW. O sistema não permite o acesso nativo ao banco de dados, contudo é possível extrair relatórios no formato csv. Preciso de uma rotina que extraia estes relatórios, de acordo com suas particularidades, e coloque estes dados em um banco de dados MySQL. Para extrair os relatórios é necessário escrever o código do relatório e preencher um formulário, que muda de acordo com o relatório. Esta rotina precisa ser possível de aplicar em outros clientes que utilizem o sistema.