Alguém já experimentou problemas de conexão com a máquina que hospeda o Solr devido ao alto volume de documentos criados/alterados?
Estamos experimentando aproximadamente 1 timeout a cada 10 segundos, o que, ao longo do tempo, já representa milhares de documentos não indexados ou atualizados.
No entanto, o documento que consegue chegar até o Solr é processado de acordo com o esperado.
E ainda, quando habilitada esta comunicação entre o Solr e o SEI, os webservices do SIP e do SEI tornam-se instáveis e ocasionalmente também geram timeout. Com isto, usuários ocasionalmente não conseguem, por exemplo, se logar no SEI (porque não se encontra o webservice para função de validar login no SIP), ou ainda não conseguem excluir um usuário do SIP (porque não se consegue chegar ao webservice do SEI para função de replicação da exclusão).
Estamos usando hoje o SEI na versão 2.6.0 A13, e o Solr na versão 4.0.0, conforme orientado na documentação de instalação.
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC aledroeder@ufpr.br +55 (41) 3360-5077
Este problema de timeout está parecendo ser frequente e afeta não somente o Apache Solr, mas também SEI e SIP. Avaliando superficialmente o contexto, deixa a entender que não é problema da implementação dos software, mas sim, alguma configuração ou problema na infraestrutura montada.
De qualquer forma, precisamos de maiores informações para poder identificar corretamente o que poderia esta ocorrendo em seu ambiente. Segue alguns questionamentos:
- Qual a topologia montada no ambiente que está gerando problemas? (Ex: nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, replicação do banco de dados, etc.) - Os erros de timeout geram um erro correspondente nos logs do Solr? Ou melhor, estas requisições problemáticas estão chegando no Solr? - Como está configurado os balanceadores de carga do SEI? Estão utilizando "stick session" ou algum outro tratamento para sessão persistente? - O Solr está sendo acessado diretamente pelo SEI ou está atras de algum outro componente da infraestrutura (Ex: balanceador de carga, Firewall de Aplicações, etc.)
Atenciosamente,
-- Guilherme Andrade Del Cantoni Ministério do Planejamento, Desenvolvimento e Gestão
Em qua, 28 de jun de 2017 às 11:37, Alexandra Dantas Roeder Wisniewski < aledroeder@ufpr.br> escreveu:
> Alguém já experimentou problemas de conexão com a máquina que hospeda o > Solr devido ao alto volume de documentos criados/alterados? > > Estamos experimentando aproximadamente 1 timeout a cada 10 segundos, o > que, ao longo do tempo, já representa milhares de documentos não indexados > ou atualizados. > > No entanto, o documento que consegue chegar até o Solr é processado de > acordo com o esperado. > > E ainda, quando habilitada esta comunicação entre o Solr e o SEI, os > webservices do SIP e do SEI tornam-se instáveis e ocasionalmente também > geram timeout. > Com isto, usuários ocasionalmente não conseguem, por exemplo, se logar no > SEI (porque não se encontra o webservice para função de validar login no > SIP), ou ainda não conseguem excluir um usuário do SIP (porque não se > consegue chegar ao webservice do SEI para função de replicação da exclusão). > > > Estamos usando hoje o SEI na versão 2.6.0 A13, e o Solr na versão 4.0.0, > conforme orientado na documentação de instalação. > > > > Att > -- > Alexandra D. Roeder Wisniewski - Analista de TIC > aledroeder@ufpr.br +55 (41) 3360-5077 <(41)%203360-5077> > > _______________________________________________ > sei-tecnico mailing list > sei-tecnico@listas.softwarepublico.gov.br >https://listas.softwarepublico.gov.br/mailman/cgi-bin/listinfo/sei-tecnico > -- ---
peço desculpas pela demora em escrever, mas estive ausente por alguns dias.
Seguem as respostas abaixo repassadas pelo meu colega responsável pela Infra.
- Qual a topologia montada no ambiente que está gerando problemas? (Ex: nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, replicação do banco de dados, etc.) 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para persistência de conexão 4 nodos de PHP 7.0 (NginX) 1 nodo de JOD Converter - acesso direto pelos nodos 1 nodo de SIP (PHP 7.0 e NginX) 1 nodo de SOLR (em testes) - acesso direto pelos nodos
Infra de storage: 7 maquinas com redundância tripla Banco de dados:Oracle 12 em um servidor fisico, acesso direto pelos nodos
- Os erros de timeout geram um erro correspondente nos logs do Solr? Ou melhor, estas requisições problemáticas estão chegando no Solr? Não, porque ele nem chegou a se comunicar com o Solr.
- Como está configurado os balanceadores de carga do SEI? Estão utilizando "stick session" ou algum outro tratamento para sessão persistente? 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para persistência de conexão.
- O Solr está sendo acessado diretamente pelo SEI ou está atras de algum outro componente da infraestrutura (Ex: balanceador de carga, Firewall de Aplicações, etc.) Todas as maquinas tem firewall configurado.
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC
aledroeder@ufpr.br +55 (41) 3360-5077
----- Mensagem original -----
De: "Guilherme Andrade Del Cantoni" Para: "Alexandra Dantas Roeder Wisniewski" , sei-tecnico@listas.softwarepublico.gov.br Enviadas: Quinta-feira, 29 de junho de 2017 8:54:59 Assunto: Re: [sei-tecnico] Dúvida Solr timeout
Prezada Alexandra,
Este problema de timeout está parecendo ser frequente e afeta não somente o Apache Solr, mas também SEI e SIP. Avaliando superficialmente o contexto, deixa a entender que não é problema da implementação dos software, mas sim, alguma configuração ou problema na infraestrutura montada.
De qualquer forma, precisamos de maiores informações para poder identificar corretamente o que poderia esta ocorrendo em seu ambiente. Segue alguns questionamentos:
- Qual a topologia montada no ambiente que está gerando problemas? (Ex: nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, replicação do banco de dados, etc.) - Os erros de timeout geram um erro correspondente nos logs do Solr? Ou melhor, estas requisições problemáticas estão chegando no Solr? - Como está configurado os balanceadores de carga do SEI? Estão utilizando "stick session" ou algum outro tratamento para sessão persistente? - O Solr está sendo acessado diretamente pelo SEI ou está atras de algum outro componente da infraestrutura (Ex: balanceador de carga, Firewall de Aplicações, etc.)
Atenciosamente,
-- Guilherme Andrade Del Cantoni Ministério do Planejamento, Desenvolvimento e Gestão
Em qua, 28 de jun de 2017 às 11:37, Alexandra Dantas Roeder Wisniewski < aledroeder@ufpr.br > escreveu:
Alguém já experimentou problemas de conexão com a máquina que hospeda o Solr devido ao alto volume de documentos criados/alterados?
Estamos experimentando aproximadamente 1 timeout a cada 10 segundos, o que, ao longo do tempo, já representa milhares de documentos não indexados ou atualizados.
No entanto, o documento que consegue chegar até o Solr é processado de acordo com o esperado.
E ainda, quando habilitada esta comunicação entre o Solr e o SEI, os webservices do SIP e do SEI tornam-se instáveis e ocasionalmente também geram timeout. Com isto, usuários ocasionalmente não conseguem, por exemplo, se logar no SEI (porque não se encontra o webservice para função de validar login no SIP), ou ainda não conseguem excluir um usuário do SIP (porque não se consegue chegar ao webservice do SEI para função de replicação da exclusão).
Estamos usando hoje o SEI na versão 2.6.0 A13, e o Solr na versão 4.0.0, conforme orientado na documentação de instalação.
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC
Não sei se o problema está relacionado com isto, mas o SEI exige a instalação do PHP na versão 5.6.X. Não é liberado para uso em produção utilizando o PHP 7, como informado por você no e-mail anterior. O SEI, em nenhum momento, foi homologado com esta versão do PHP, podendo gerar erros de incompatibilidade de versões (como acontecia na versão anterior).
Vocês conseguem capturar algum registro de erro gerado pela indexação? Ex: Log do apache, log do Solr, Log do Balanceador, etc.
Att
-- Guilherme Andrade Del Cantoni Ministério do Planejamento, Desenvolvimento e Gestão
Em seg, 10 de jul de 2017 às 12:03, Alexandra Dantas Roeder Wisniewski <
aledroeder@ufpr.br> escreveu:
> Bom dia Guilherme, > > peço desculpas pela demora em escrever, mas estive ausente por alguns dias. > > Seguem as respostas abaixo repassadas pelo meu colega responsável pela > Infra. > > > *- Qual a topologia montada no ambiente que está gerando problemas? (Ex: > nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, > replicação do banco de dados, etc.)* > 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para > persistência de conexão > 4 nodos de PHP 7.0 (NginX) > 1 nodo de JOD Converter - acesso direto pelos nodos > 1 nodo de SIP (PHP 7.0 e NginX) > 1 nodo de SOLR (em testes) - acesso direto pelos nodos > > Infra de storage: 7 maquinas com redundância tripla > Banco de dados:Oracle 12 em um servidor fisico, acesso direto pelos nodos > > > *- Os erros de timeout geram um erro correspondente nos logs do Solr? Ou > melhor, estas requisições problemáticas estão chegando no Solr?* > Não, porque ele nem chegou a se comunicar com o Solr. > > > > *- Como está configurado os balanceadores de carga do SEI? Estão > utilizando "stick session" ou algum outro tratamento para sessão > persistente?* > 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para > persistência de conexão. > > > > *- O Solr está sendo acessado diretamente pelo SEI ou está atras de algum > outro componente da infraestrutura (Ex: balanceador de carga, Firewall de > Aplicações, etc.)* > Todas as maquinas tem firewall configurado. > > > > Att > -- > Alexandra D. Roeder Wisniewski - Analista de TIC > aledroeder@ufpr.br +55 (41) 3360-5077 ><(41)%203360-5077> > > ------------------------------ > *De: *"Guilherme Andrade Del Cantoni" > *Para: *"Alexandra Dantas Roeder Wisniewski" , > sei-tecnico@listas.softwarepublico.gov.br > *Enviadas: *Quinta-feira, 29 de junho de 2017 8:54:59 > *Assunto: *Re: [sei-tecnico] Dúvida Solr timeout > > > Prezada Alexandra, > > Este problema de timeout está parecendo ser frequente e afeta não somente > o Apache Solr, mas também SEI e SIP. Avaliando superficialmente o contexto, > deixa a entender que não é problema da implementação dos software, mas sim, > alguma configuração ou problema na infraestrutura montada. > > De qualquer forma, precisamos de maiores informações para poder > identificar corretamente o que poderia esta ocorrendo em seu ambiente. > Segue alguns questionamentos: > > - Qual a topologia montada no ambiente que está gerando problemas? (Ex: > nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, > replicação do banco de dados, etc.) > - Os erros de timeout geram um erro correspondente nos logs do Solr? Ou > melhor, estas requisições problemáticas estão chegando no Solr? > - Como está configurado os balanceadores de carga do SEI? Estão utilizando > "stick session" ou algum outro tratamento para sessão persistente? > - O Solr está sendo acessado diretamente pelo SEI ou está atras de algum > outro componente da infraestrutura (Ex: balanceador de carga, Firewall de > Aplicações, etc.) > > > Atenciosamente, > > -- > Guilherme Andrade Del Cantoni > Ministério do Planejamento, Desenvolvimento e Gestão > > Em qua, 28 de jun de 2017 às 11:37, Alexandra Dantas Roeder Wisniewski < > aledroeder@ufpr.br> escreveu: > >> Alguém já experimentou problemas de conexão com a máquina que hospeda o >> Solr devido ao alto volume de documentos criados/alterados? >> >> Estamos experimentando aproximadamente 1 timeout a cada 10 segundos, o >> que, ao longo do tempo, já representa milhares de documentos não indexados >> ou atualizados. >> >> No entanto, o documento que consegue chegar até o Solr é processado de >> acordo com o esperado. >> >> E ainda, quando habilitada esta comunicação entre o Solr e o SEI, os >> webservices do SIP e do SEI tornam-se instáveis e ocasionalmente também >> geram timeout. >> Com isto, usuários ocasionalmente não conseguem, por exemplo, se logar no >> SEI (porque não se encontra o webservice para função de validar login no >> SIP), ou ainda não conseguem excluir um usuário do SIP (porque não se >> consegue chegar ao webservice do SEI para função de replicação da exclusão). >> >> >> Estamos usando hoje o SEI na versão 2.6.0 A13, e o Solr na versão 4.0.0, >> conforme orientado na documentação de instalação. >> >> >> >> Att >> -- >> Alexandra D. Roeder Wisniewski - Analista de TIC >> aledroeder@ufpr.br +55 (41) 3360-5077 <(41)%203360-5077> >> >> _______________________________________________ >> sei-tecnico mailing list >> sei-tecnico@listas.softwarepublico.gov.br >>https://listas.softwarepublico.gov.br/mailman/cgi-bin/listinfo/sei-tecnico >> > -- > --- > Guilherme Andrade Del Cantoni > -- --- Guilherme Andrade Del Cantoni
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC aledroeder@ufpr.br +55 (41) 3360-5077
----- Mensagem original -----
De: "Guilherme Andrade Del Cantoni" Para: "Alexandra Dantas Roeder Wisniewski"
Cc: sei-tecnico@listas.softwarepublico.gov.br Enviadas: Quinta-feira, 20 de julho de 2017 12:00:16
Assunto: Re: [sei-tecnico] Dúvida Solr timeout
Alexandra,
Não sei se o problema está relacionado com isto, mas o SEI exige a instalação do PHP na versão 5.6.X. Não é liberado para uso em produção utilizando o PHP 7, como informado por você no e-mail anterior. O SEI, em nenhum momento, foi homologado com esta versão do PHP, podendo gerar erros de incompatibilidade de versões (como acontecia na versão anterior).
Vocês conseguem capturar algum registro de erro gerado pela indexação? Ex: Log do apache, log do Solr, Log do Balanceador, etc.
Att
-- Guilherme Andrade Del Cantoni Ministério do Planejamento, Desenvolvimento e Gestão
Em seg, 10 de jul de 2017 às 12:03, Alexandra Dantas Roeder Wisniewski < aledroeder@ufpr.br > escreveu:
Bom dia Guilherme,
peço desculpas pela demora em escrever, mas estive ausente por alguns dias.
Seguem as respostas abaixo repassadas pelo meu colega responsável pela Infra.
- Qual a topologia montada no ambiente que está gerando problemas? (Ex: nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, replicação do banco de dados, etc.) 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para persistência de conexão 4 nodos de PHP 7.0 (NginX) 1 nodo de JOD Converter - acesso direto pelos nodos 1 nodo de SIP (PHP 7.0 e NginX) 1 nodo de SOLR (em testes) - acesso direto pelos nodos
Infra de storage: 7 maquinas com redundância tripla Banco de dados:Oracle 12 em um servidor fisico, acesso direto pelos nodos
- Os erros de timeout geram um erro correspondente nos logs do Solr? Ou melhor, estas requisições problemáticas estão chegando no Solr? Não, porque ele nem chegou a se comunicar com o Solr.
- Como está configurado os balanceadores de carga do SEI? Estão utilizando "stick session" ou algum outro tratamento para sessão persistente? 1 balanceador de serviço HTTP/HTTPS (NginX) com sticky session para persistência de conexão.
- O Solr está sendo acessado diretamente pelo SEI ou está atras de algum outro componente da infraestrutura (Ex: balanceador de carga, Firewall de Aplicações, etc.) Todas as maquinas tem firewall configurado.
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC aledroeder@ufpr.br +55 (41) 3360-5077
De: "Guilherme Andrade Del Cantoni" < guilhermeadc@gmail.com > Para: "Alexandra Dantas Roeder Wisniewski" < aledroeder@ufpr.br >, sei-tecnico@listas.softwarepublico.gov.br
Enviadas: Quinta-feira, 29 de junho de 2017 8:54:59 Assunto: Re: [sei-tecnico] Dúvida Solr timeout
Prezada Alexandra,
Este problema de timeout está parecendo ser frequente e afeta não somente o Apache Solr, mas também SEI e SIP. Avaliando superficialmente o contexto, deixa a entender que não é problema da implementação dos software, mas sim, alguma configuração ou problema na infraestrutura montada.
De qualquer forma, precisamos de maiores informações para poder identificar corretamente o que poderia esta ocorrendo em seu ambiente. Segue alguns questionamentos:
- Qual a topologia montada no ambiente que está gerando problemas? (Ex: nrs de nós de aplicação para o SEI e SIP, balanceamento de carga, replicação do banco de dados, etc.) - Os erros de timeout geram um erro correspondente nos logs do Solr? Ou melhor, estas requisições problemáticas estão chegando no Solr? - Como está configurado os balanceadores de carga do SEI? Estão utilizando "stick session" ou algum outro tratamento para sessão persistente? - O Solr está sendo acessado diretamente pelo SEI ou está atras de algum outro componente da infraestrutura (Ex: balanceador de carga, Firewall de Aplicações, etc.)
Atenciosamente,
-- Guilherme Andrade Del Cantoni Ministério do Planejamento, Desenvolvimento e Gestão
Em qua, 28 de jun de 2017 às 11:37, Alexandra Dantas Roeder Wisniewski < aledroeder@ufpr.br > escreveu:
Alguém já experimentou problemas de conexão com a máquina que hospeda o Solr devido ao alto volume de documentos criados/alterados?
Estamos experimentando aproximadamente 1 timeout a cada 10 segundos, o que, ao longo do tempo, já representa milhares de documentos não indexados ou atualizados.
No entanto, o documento que consegue chegar até o Solr é processado de acordo com o esperado.
E ainda, quando habilitada esta comunicação entre o Solr e o SEI, os webservices do SIP e do SEI tornam-se instáveis e ocasionalmente também geram timeout. Com isto, usuários ocasionalmente não conseguem, por exemplo, se logar no SEI (porque não se encontra o webservice para função de validar login no SIP), ou ainda não conseguem excluir um usuário do SIP (porque não se consegue chegar ao webservice do SEI para função de replicação da exclusão).
Estamos usando hoje o SEI na versão 2.6.0 A13, e o Solr na versão 4.0.0, conforme orientado na documentação de instalação.
Att -- Alexandra D. Roeder Wisniewski - Analista de TIC aledroeder@ufpr.br +55 (41) 3360-5077
Alexandra Wisniewski
Guilherme Del Cantoni