Find Jobs
Hire Freelancers

Insertion of 10+ billion records into an AWS DB (RDS)

$30-250 USD

Em Andamento
Publicado há mais de 9 anos

$30-250 USD

Pago na entrega
15 Billion records have to be inserted into a DB from Text Files. (Each record about 100byte) There are about 250 zip-files (2-3GB compressed and 8-15GB uncompressed). The task of inserting the data in the DB should be done on AWS (Amazon Web Service). The files will be available on S3. The processing should happen on EC2 with an instance that is capable to deal with the task. The project is to write some software that process the files automatically, i.e. from S3 to uncrompression, into the DB. The task should also be done in parallel e.g. on 10 or more EC2 instances in parallel, so that it is done in a few (4 or 5) days. As DB, RDS should be used .. A MS-SQL DB model with trigger for a View is already available. However, I would be open for suggestions on other ways to import the data to the DB (e.g. LINQ or [login to view URL] etc.). The goal is also to have a rough cost estimation on how much it will cost to do this task with respect to AWS's EC2 and RDS storage costs. More details will be provided to qualified candidates (someone who has had experience with extremely large databases and GB-sized files before)
ID do Projeto: 6900390

Sobre o projeto

11 propostas
Projeto remoto
Ativo há 9 anos

Quer ganhar algum dinheiro?

Benefícios de ofertar no Freelancer

Defina seu orçamento e seu prazo
Seja pago pelo seu trabalho
Descreva sua proposta
É grátis para se inscrever e fazer ofertas em trabalhos

Sobre o cliente

Bandeira do(a) UNITED STATES
Las Vegas, United States
5,0
75
Método de pagamento verificado
Membro desde nov. 8, 2007

Verificação do Cliente

Obrigado! Te enviamos um link por e-mail para que você possa reivindicar seu crédito gratuito.
Algo deu errado ao enviar seu e-mail. Por favor, tente novamente.
Usuários Registrados Total de Trabalhos Publicados
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Carregando pré-visualização
Permissão concedida para Geolocalização.
Sua sessão expirou e você foi desconectado. Por favor, faça login novamente.