Estamos enfrentando com frequência problemas de lentidão nas consultas dentro do SEI e, nesses casos, as causas na, maior parte das vezes, costumam ser a baixa quantidade de memória disponível e o aumento no uso de SWAP no nosso servidor Solr. Segue, abaixo, o gráfico de monitoramento desses recursos da máquina ao longo do último mês:
[cid:image002.jpg@01D28CF4.FBB3D020]
A nossa equipe de infra tem reiniciado o Solr para contornar o problema nas vezes que ele tem ocorrido. Atualmente estamos utilizando o SEI 2.6 ainda e estamos no processo de atualização para o SEI 3.0 (inclusive com o novo solr, provavelmente tendo uma performance melhor que o utilizado por nós atualmente). No entanto devido à existência de muitas atualizações de componentes pré-requisitos para o novo SEI essa atualização deve demorar um pouco ainda para ser implementada de fato. E como o SEI é um sistema crítico da casa seria interessante conseguirmos resolver esse problema da lentidão das consultas pela alta utilização de memória/swap pelo Solr para termos um ambiente mais estável enquanto a atualização não for implementada.
Segue, abaixo, uma imagem do painel de administração do solr de produção do nosso SEI, exibindo a memória total do servidor solr, swap e memória da JVM:
[cid:image003.jpg@01D28CF4.FBB3D020]
Se alguém tiver sugestões de como resolver esse problem nós agradecemos.
Atenciosamente,
Guilherme de Souza Marques DBIAI - Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
[cid:image002.png@01D1F8AC.BA4EE110]
---------------------------------------------------------------------- Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law.
Aqui no GDF só conseguimos resolver o problema de lentidão quando comentamos a linha do swap de todos os nós do SEI e deixamos de utilizar ele.
Atenciosamente,
Diogo Fernandes Brito Diretor de Manutenção de Sistemas Coordenação Técnica de Sistemas - COSIS GDF/SEPLAG/SUTIC - Subsecretaria de Tecnologia da Informação e Comunicação Endereço: SAIN Projeção H - 1º andar - CEP 70620-000 - Brasília - DF Telefone: (61) 3342-1248
[cid:image004.png@01D28CF8.F3DBC4D0] [logo2]
De: sei-tecnico [mailto:sei-tecnico-bounces@listas.softwarepublico.gov.br] Em nome de Guilherme de Souza Marques Enviada em: quarta-feira, 22 de fevereiro de 2017 10:20 Para: sei-tecnico@listas.softwarepublico.gov.br Assunto: [sei-tecnico] (Problema) Lentidão consultas SEI 2.6 / alto uso de memória e swap pelo Solr
Prezados colegas,
Estamos enfrentando com frequência problemas de lentidão nas consultas dentro do SEI e, nesses casos, as causas na, maior parte das vezes, costumam ser a baixa quantidade de memória disponível e o aumento no uso de SWAP no nosso servidor Solr. Segue, abaixo, o gráfico de monitoramento desses recursos da máquina ao longo do último mês:
[cid:image006.jpg@01D28CF8.F3DBC4D0]
A nossa equipe de infra tem reiniciado o Solr para contornar o problema nas vezes que ele tem ocorrido. Atualmente estamos utilizando o SEI 2.6 ainda e estamos no processo de atualização para o SEI 3.0 (inclusive com o novo solr, provavelmente tendo uma performance melhor que o utilizado por nós atualmente). No entanto devido à existência de muitas atualizações de componentes pré-requisitos para o novo SEI essa atualização deve demorar um pouco ainda para ser implementada de fato. E como o SEI é um sistema crítico da casa seria interessante conseguirmos resolver esse problema da lentidão das consultas pela alta utilização de memória/swap pelo Solr para termos um ambiente mais estável enquanto a atualização não for implementada.
Segue, abaixo, uma imagem do painel de administração do solr de produção do nosso SEI, exibindo a memória total do servidor solr, swap e memória da JVM:
[cid:image007.jpg@01D28CF8.F3DBC4D0]
Se alguém tiver sugestões de como resolver esse problem nós agradecemos.
Atenciosamente,
Guilherme de Souza Marques DBIAI - Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
[cid:image002.png@01D1F8AC.BA4EE110]
________________________________ Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law.
Alocávamos 1gb de memória pra JVM, agora estamos alocando 6gb e continua sendo insuficiente. Por algum motivo o solr vai consumindo a memória da JVM até crashar e dar outofmemory. Parece que não está conseguindo gerenciar corretamente os seus objetos. Na última semana isso aconteceu umas duas vezes, nas quais tivemos de reiniciar o tomcat/solr. E esse consumo "desenfreado" de memória pela JVM acaba causando também as lentidões nas consultas no SEI.
Guilherme de Souza Marques DBIAI - Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
[cid:image002.png@01D1F8AC.BA4EE110]
De: sei-tecnico [mailto:sei-tecnico-bounces@listas.softwarepublico.gov.br] Em nome de Guilherme de Souza Marques Enviada em: quarta-feira, 22 de fevereiro de 2017 10:18 Para: sei-tecnico@listas.softwarepublico.gov.br Assunto: [sei-tecnico] (Problema) Lentidão consultas SEI 2.6 / alto uso de memória e swap pelo Solr
Prezados colegas,
Estamos enfrentando com frequência problemas de lentidão nas consultas dentro do SEI e, nesses casos, as causas na, maior parte das vezes, costumam ser a baixa quantidade de memória disponível e o aumento no uso de SWAP no nosso servidor Solr. Segue, abaixo, o gráfico de monitoramento desses recursos da máquina ao longo do último mês:
[cid:image002.jpg@01D28CFE.BA190770]
A nossa equipe de infra tem reiniciado o Solr para contornar o problema nas vezes que ele tem ocorrido. Atualmente estamos utilizando o SEI 2.6 ainda e estamos no processo de atualização para o SEI 3.0 (inclusive com o novo solr, provavelmente tendo uma performance melhor que o utilizado por nós atualmente). No entanto devido à existência de muitas atualizações de componentes pré-requisitos para o novo SEI essa atualização deve demorar um pouco ainda para ser implementada de fato. E como o SEI é um sistema crítico da casa seria interessante conseguirmos resolver esse problema da lentidão das consultas pela alta utilização de memória/swap pelo Solr para termos um ambiente mais estável enquanto a atualização não for implementada.
Segue, abaixo, uma imagem do painel de administração do solr de produção do nosso SEI, exibindo a memória total do servidor solr, swap e memória da JVM:
[cid:image003.jpg@01D28CFE.BA190770]
Se alguém tiver sugestões de como resolver esse problem nós agradecemos.
Atenciosamente,
Guilherme de Souza Marques DBIAI - Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
[cid:image002.png@01D1F8AC.BA4EE110]
________________________________ Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law.
---------------------------------------------------------------------- Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law.
Qual a versão do Java e do SOLR vcs estão utilizando? Qual é o container que vcs estão utilizando?
Alysson Bruno abruno@tre-to.jus.br
Coordenadoria de Desenvolvimento de Sistemas (CDS) Fone: +55-63-99239-3568 +55-63-3229-9704
Em 22 de fev de 2017, à(s) 11:31, Guilherme de Souza Marques > escreveu:
Obrigado pelo feedback, Uelinton e Diogo.
Dando mais alguns detalhes do nosso problema:
Alocávamos 1gb de memória pra JVM, agora estamos alocando 6gb e continua sendo insuficiente. Por algum motivo o solr vai consumindo a memória da JVM até crashar e dar outofmemory. Parece que não está conseguindo gerenciar corretamente os seus objetos. Na última semana isso aconteceu umas duas vezes, nas quais tivemos de reiniciar o tomcat/solr.
E esse consumo “desenfreado” de memória pela JVM acaba causando também as lentidões nas consultas no SEI.
Guilherme de Souza Marques
DBIAI – Divisão de BI e Administração de Informações
CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
De: sei-tecnico [mailto:sei-tecnico-bounces@listas.softwarepublico.gov.br] Em nome de Guilherme de Souza Marques Enviada em: quarta-feira, 22 de fevereiro de 2017 10:18
Para: sei-tecnico@listas.softwarepublico.gov.br
Assunto: [sei-tecnico] (Problema) Lentidão consultas SEI 2.6 / alto uso de memória e swap pelo Solr
Prezados colegas,
Estamos enfrentando com frequência problemas de lentidão nas consultas dentro do SEI e, nesses casos, as causas na, maior parte das vezes, costumam ser a baixa quantidade de memória disponível e o aumento no uso de SWAP no nosso servidor Solr. Segue, abaixo, o gráfico de monitoramento desses recursos da máquina ao longo do último mês:
A nossa equipe de infra tem reiniciado o Solr para contornar o problema nas vezes que ele tem ocorrido. Atualmente estamos utilizando o SEI 2.6 ainda e estamos no processo de atualização para o SEI 3.0 (inclusive com o novo solr, provavelmente tendo uma performance melhor que o utilizado por nós atualmente). No entanto devido à existência de muitas atualizações de componentes pré-requisitos para o novo SEI essa atualização deve demorar um pouco ainda para ser implementada de fato. E como o SEI é um sistema crítico da casa seria interessante conseguirmos resolver esse problema da lentidão das consultas pela alta utilização de memória/swap pelo Solr para termos um ambiente mais estável enquanto a atualização não for implementada.
Segue, abaixo, uma imagem do painel de administração do solr de produção do nosso SEI, exibindo a memória total do servidor solr, swap e memória da JVM:
Se alguém tiver sugestões de como resolver esse problem nós agradecemos.
Atenciosamente,
Guilherme de Souza Marques
DBIAI – Divisão de BI e Administração de Informações
CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
________________________________
Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law. ________________________________ Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law. _______________________________________________
Guilherme de Souza Marques DBIAI – Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
[cid:image002.png@01D1F8AC.BA4EE110]
De: Alysson M Bruno [mailto:abruno@tre-to.jus.br] Enviada em: quarta-feira, 22 de fevereiro de 2017 14:33 Para: Guilherme de Souza Marques Cc: sei-tecnico@listas.softwarepublico.gov.br Assunto: Re: [sei-tecnico] RES: (Problema) Lentidão consultas SEI 2.6 / alto uso de memória e swap pelo Solr
Guilherme,
Qual a versão do Java e do SOLR vcs estão utilizando? Qual é o container que vcs estão utilizando?
Alysson Bruno abruno@tre-to.jus.br
Coordenadoria de Desenvolvimento de Sistemas (CDS) Fone: +55-63-99239-3568 +55-63-3229-9704
Em 22 de fev de 2017, à(s) 11:31, Guilherme de Souza Marques > escreveu:
Obrigado pelo feedback, Uelinton e Diogo.
Dando mais alguns detalhes do nosso problema:
Alocávamos 1gb de memória pra JVM, agora estamos alocando 6gb e continua sendo insuficiente. Por algum motivo o solr vai consumindo a memória da JVM até crashar e dar outofmemory. Parece que não está conseguindo gerenciar corretamente os seus objetos. Na última semana isso aconteceu umas duas vezes, nas quais tivemos de reiniciar o tomcat/solr. E esse consumo “desenfreado” de memória pela JVM acaba causando também as lentidões nas consultas no SEI.
Guilherme de Souza Marques DBIAI – Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
De: sei-tecnico [mailto:sei-tecnico-bounces@listas.softwarepublico.gov.br] Em nome de Guilherme de Souza Marques Enviada em: quarta-feira, 22 de fevereiro de 2017 10:18 Para: sei-tecnico@listas.softwarepublico.gov.br Assunto: [sei-tecnico] (Problema) Lentidão consultas SEI 2.6 / alto uso de memória e swap pelo Solr
Prezados colegas,
Estamos enfrentando com frequência problemas de lentidão nas consultas dentro do SEI e, nesses casos, as causas na, maior parte das vezes, costumam ser a baixa quantidade de memória disponível e o aumento no uso de SWAP no nosso servidor Solr. Segue, abaixo, o gráfico de monitoramento desses recursos da máquina ao longo do último mês:
A nossa equipe de infra tem reiniciado o Solr para contornar o problema nas vezes que ele tem ocorrido. Atualmente estamos utilizando o SEI 2.6 ainda e estamos no processo de atualização para o SEI 3.0 (inclusive com o novo solr, provavelmente tendo uma performance melhor que o utilizado por nós atualmente). No entanto devido à existência de muitas atualizações de componentes pré-requisitos para o novo SEI essa atualização deve demorar um pouco ainda para ser implementada de fato. E como o SEI é um sistema crítico da casa seria interessante conseguirmos resolver esse problema da lentidão das consultas pela alta utilização de memória/swap pelo Solr para termos um ambiente mais estável enquanto a atualização não for implementada.
Segue, abaixo, uma imagem do painel de administração do solr de produção do nosso SEI, exibindo a memória total do servidor solr, swap e memória da JVM:
Se alguém tiver sugestões de como resolver esse problem nós agradecemos.
Atenciosamente,
Guilherme de Souza Marques DBIAI – Divisão de BI e Administração de Informações CGSIS - Coordenação-Geral de Sistemas de Informação DTI - Diretoria de Tecnologia da Informação (61) 2020-6863
________________________________ Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law. ________________________________ Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law. _______________________________________________ sei-tecnico mailing list sei-tecnico@listas.softwarepublico.gov.br https://listas.softwarepublico.gov.br/mailman/cgi-bin/listinfo/sei-tecnico
---------------------------------------------------------------------- Esta mensagem, incluindo quaisquer anexos, é de acesso restrito e destina-se, exclusivamente, à pessoa ou entidade para a qual foi endereçada. Se você a recebeu indevidamente, por favor, elimine-a e informe o equívoco ao emitente imediatamente. O uso não autorizado do conteúdo da mensagem ou anexos é proibido e sujeita o infrator às penalidades cabíveis.
This e-mail message, including any attachments, is of restricted access and intended, exclusively, to the person or entity to which it was addressed. If you have received it by mistake, please, delete the message and kindly notify the sender immediately. The unauthorized use of the contents of the message or any of the attachments is forbidden and the violator is subject to the penalties of law.
guilherme marques
Diogo Brito
Alysson Martins Bruno