Encerrado

Melhoria em multi thread e query para postgre

Olá tenho dois problema para solucionar, em um projeto:

1 - Existe uma função python que inserções com base em um sql com varios joins, a quantidade dos insert vai ate um valor de 1 milhão podendo ser reduzido, porem o select principal base desse insert varia de tabela para tabela mas em media 30 milhoes, porem cada joins agrega mais milhões hehe, problemão né...

Banco é postgresql na ultima versão, python versão 3.9.13 usando bibliote psycopg2 para manipulação do banco, ssd de 545Mbs leitura e 430Mbs gravação.

Gostaria de ter um maior desempenho.

2 - A função a cima usa um processo multi thread que acionada varios insert semelhantes ao de cima, porem com selects diferentes, foi ativado o multi thread para tentar melhorar a questão a cima, pois antes esse procedural, mas mesmo assim o aumento em desempenho foi baixo, usando biblioteca threading

Gostaria de ter um melhor desempenho multi threading.

Talvez resolvendo a primeira situação a segunda melhore tambem

Habilidades: Python, Arquitetura de software, PostgreSQL

Sobre o Cliente:
( 0 comentários ) Torres, Brazil

ID do Projeto: #34120002

4 freelancers estão ofertando em média $10/hora nesse trabalho

sapnathakur14

Hello, Warm Greetings! I am pretty sure I can produce high-quality and perfect results for your project. By using Python, I used to make AI engines, BOT, Web Scraping Tools, and so on. PHP, Python are my major, so you Mais

$12 USD / hora
(17 Comentários)
6.0
albertnbr

Olá, Meu nome é Alberto, Atuo como engenheiro de dados e tenho experiência em banco de dados, Posso te ajudar com isso, Me envie uma mensagem para discutirmos melhor, Att, Alberto

$8 USD / hora
(25 Comentários)
4.8
alantcosta

Ola meu nome é Alan Costa sou especialista em banco de dados pricipalmnte postgresql Gostaria de poder ajuda-lo a resolver esse problema otimizando as querys para melhorar o desempenho do banco nas escritas. podemos c Mais

$10 USD / hora
(0 Comentários)
0.0
vbell0

Opa, acredito que voce esta abordando esse problema de maneira errada, e fazer um threading nao e a maneira mas efficiente para atacar esse problema em python, e como voce esta em um ambiente de dev acredito, em prod v Mais

$10 USD / hora
(0 Comentários)
0.0