Software Público Brasileiro

Amigos,
Segue a dúvida do Analista responsável pela Infra na SDH.
Vamos debater sobre o assunto?
Att

De: Andre Henrique dos Santos Castro
Enviada em: sexta-feira, 29 de janeiro de 2016 17:39
Para: Rommel Costa Moura
Cc: Daniel Miranda Pontes Rogerio
Assunto: Políticas de Backup para o SEI
Prioridade: Alta

Rommel,

Conforme estávamos conversando, na discussão da nossa política, surgiu um ponto crítico relacionado ao armazenamento dos backups do SEI.

A título informacional, hoje a base de dados do SEI está em 300GB. A rotina de backup prevista está realizando um backup total quinzenalmente e backups incrementais diários.

Considerando o prazo de retenção desses dados, entendemos que o prazo seja bem extenso, na ordem de 20 a 30 anos... Ou seja, devemos armazenar em fitas de backup um volume mensal na ordem de 800GB, considerando dois backups totais e 28 incrementais. Cada fita de backup suporta 1,5TB o que nos leva a uma utilização de 1 fita a cada dois meses.

Os pontos a serem considerados então nesse modelo é:


1. Por quanto, de fato, devemos armazenar esses backups?

2. Além disso, devemos armazenar todos os backups totais e incrementais? Imagine o cenário em que 20 anos depois, seja requerido os dados do SEI no dia de ontem, pois hoje houve uma alteração indevida em um processo e será feita uma auditoria. O nosso backup total aconteceu no sábado, logo, necessita-se desse total e dos incrementais de domingo até o dia de ontem... Enfim, seria isso mesmo?

3. De quem é a responsabilidade de armazenamento dessas fitas?

Entendemos que uma alternativa a esse modelo seria o backup remoto em outros sites remotos. Entretanto, esses volumes de dados não poderiam ser mexidos de maneira alguma durante todo esse período. Para os órgãos que não possuem datacenters separados para suportar possíveis desastres, haveria uma dependência de parceria com outros órgãos para troca dos dados de backup.

Entretanto, entendo que haja um modelo mais eficiente e que deve ser discutido a nível de gestão do SEI. Este grupo deveria discutir os pontos abaixo:

1. Criação de um local próprio e específico para armazenamento dos backups do SEI dos diversos órgãos da APF, ou pelo menos daqueles que não possuem estrutura própria fisicamente redundante.

2. Definição das estratégias de backup recomendadas para o SEI e outras boas práticas relacionadas a essa questão.

Me coloco à disposição para a discussão!

Att,
André H. S. Castro
Analista em Tecnologia da Informação
CGLTI/SGPDH/SDH
* + 55 61 2027.3979
Email: andre.castro@sdh.gov.br

Dando o meu pitaco: não me parece necessário reter por muito tempo os
backups incrementais: depois de vários anos, torna-se pouco relevante se
um backup é do dia 1, 2, 15, 23 ou 30 :P

---
Felipe Braga
Administração de Banco de Dados - Centro de Informática
Prefeitura Municipal de Piracicaba
(19) 3403.1030
fbraga@piracicaba.sp.gov.br | dba@piracicaba.sp.gov.br

Em 2016-02-01 12:00, sei-tecnico-request@listas.softwarepublico.gov.br
escreveu:

> Message: 1
> Date: Mon, 1 Feb 2016 13:51:47 +0000
> From: Rommel Costa Moura
> To: "'sei-tecnico@listas.softwarepublico.gov.br'"
>
> Subject: [sei-tecnico] ENC: Políticas de Backup para o SEI
> Message-ID:
> Content-Type: text/plain; charset="iso-8859-1"
>
> Amigos,
> Segue a dúvida do Analista responsável pela Infra na SDH.
> Vamos debater sobre o assunto?
> Att
>
> De: Andre Henrique dos Santos Castro
> Enviada em: sexta-feira, 29 de janeiro de 2016 17:39
> Para: Rommel Costa Moura
> Cc: Daniel Miranda Pontes Rogerio
> Assunto: Políticas de Backup para o SEI
> Prioridade: Alta
>
> Rommel,
>
> Conforme estávamos conversando, na discussão da nossa política, surgiu um ponto crítico relacionado ao armazenamento dos backups do SEI.
>
> A título informacional, hoje a base de dados do SEI está em 300GB. A rotina de backup prevista está realizando um backup total quinzenalmente e backups incrementais diários.
>
> Considerando o prazo de retenção desses dados, entendemos que o prazo seja bem extenso, na ordem de 20 a 30 anos... Ou seja, devemos armazenar em fitas de backup um volume mensal na ordem de 800GB, considerando dois backups totais e 28 incrementais. Cada fita de backup suporta 1,5TB o que nos leva a uma utilização de 1 fita a cada dois meses.
>
> Os pontos a serem considerados então nesse modelo é:
>
> 1. Por quanto, de fato, devemos armazenar esses backups?
>
> 2. Além disso, devemos armazenar todos os backups totais e incrementais? Imagine o cenário em que 20 anos depois, seja requerido os dados do SEI no dia de ontem, pois hoje houve uma alteração indevida em um processo e será feita uma auditoria. O nosso backup total aconteceu no sábado, logo, necessita-se desse total e dos incrementais de domingo até o dia de ontem... Enfim, seria isso mesmo?
>
> 3. De quem é a responsabilidade de armazenamento dessas fitas?
>
> Entendemos que uma alternativa a esse modelo seria o backup remoto em outros sites remotos. Entretanto, esses volumes de dados não poderiam ser mexidos de maneira alguma durante todo esse período. Para os órgãos que não possuem datacenters separados para suportar possíveis desastres, haveria uma dependência de parceria com outros órgãos para troca dos dados de backup.
>
> Entretanto, entendo que haja um modelo mais eficiente e que deve ser discutido a nível de gestão do SEI. Este grupo deveria discutir os pontos abaixo:
>
> 1. Criação de um local próprio e específico para armazenamento dos backups do SEI dos diversos órgãos da APF, ou pelo menos daqueles que não possuem estrutura própria fisicamente redundante.
>
> 2. Definição das estratégias de backup recomendadas para o SEI e outras boas práticas relacionadas a essa questão.
>
> Me coloco à disposição para a discussão!
>
> Att,
> André H. S. Castro
> Analista em Tecnologia da Informação
> CGLTI/SGPDH/SDH
> * + 55 61 2027.3979
> Email: andre.castro@sdh.gov.br

Opa Felipe! A questão do pessoal é sobre os incrementais referentes aos
arquivos em PDF etc.


Em 1 de fevereiro de 2016 12:13, Felipe Braga

escreveu:

> Dando o meu pitaco: não me parece necessário reter por muito tempo os
> backups incrementais: depois de vários anos, torna-se pouco relevante se um
> backup é do dia 1, 2, 15, 23 ou 30 :P
> ---
> Felipe Braga
> Administração de Banco de Dados - Centro de Informática
> Prefeitura Municipal de Piracicaba
> (19) 3403.1030
> fbraga@piracicaba.sp.gov.br | dba@piracicaba.sp.gov.br
>
>
>
> Em 2016-02-01 12:00, sei-tecnico-request@listas.softwarepublico.gov.br
> escreveu:
>
> Message: 1
> Date: Mon, 1 Feb 2016 13:51:47 +0000
> From: Rommel Costa Moura
> To: "'sei-tecnico@listas.softwarepublico.gov.br'"
>
> Subject: [sei-tecnico] ENC: Políticas de Backup para o SEI
> Message-ID:
> Content-Type: text/plain; charset="iso-8859-1"
>
>
> Amigos,
> Segue a dúvida do Analista responsável pela Infra na SDH.
> Vamos debater sobre o assunto?
> Att
>
> De: Andre Henrique dos Santos Castro
> Enviada em: sexta-feira, 29 de janeiro de 2016 17:39
> Para: Rommel Costa Moura
> Cc: Daniel Miranda Pontes Rogerio
> Assunto: Políticas de Backup para o SEI
> Prioridade: Alta
>
> Rommel,
>
> Conforme estávamos conversando, na discussão da nossa política, surgiu um
> ponto crítico relacionado ao armazenamento dos backups do SEI.
>
> A título informacional, hoje a base de dados do SEI está em 300GB. A
> rotina de backup prevista está realizando um backup total quinzenalmente e
> backups incrementais diários.
>
> Considerando o prazo de retenção desses dados, entendemos que o prazo seja
> bem extenso, na ordem de 20 a 30 anos... Ou seja, devemos armazenar em
> fitas de backup um volume mensal na ordem de 800GB, considerando dois
> backups totais e 28 incrementais. Cada fita de backup suporta 1,5TB o que
> nos leva a uma utilização de 1 fita a cada dois meses.
>
> Os pontos a serem considerados então nesse modelo é:
>
>
> 1. Por quanto, de fato, devemos armazenar esses backups?
>
> 2. Além disso, devemos armazenar todos os backups totais e
> incrementais? Imagine o cenário em que 20 anos depois, seja requerido os
> dados do SEI no dia de ontem, pois hoje houve uma alteração indevida em um
> processo e será feita uma auditoria. O nosso backup total aconteceu no
> sábado, logo, necessita-se desse total e dos incrementais de domingo até o
> dia de ontem... Enfim, seria isso mesmo?
>
> 3. De quem é a responsabilidade de armazenamento dessas fitas?
>
> Entendemos que uma alternativa a esse modelo seria o backup remoto em
> outros sites remotos. Entretanto, esses volumes de dados não poderiam ser
> mexidos de maneira alguma durante todo esse período. Para os órgãos que não
> possuem datacenters separados para suportar possíveis desastres, haveria
> uma dependência de parceria com outros órgãos para troca dos dados de
> backup.
>
> Entretanto, entendo que haja um modelo mais eficiente e que deve ser
> discutido a nível de gestão do SEI. Este grupo deveria discutir os pontos
> abaixo:
>
> 1. Criação de um local próprio e específico para armazenamento dos
> backups do SEI dos diversos órgãos da APF, ou pelo menos daqueles que não
> possuem estrutura própria fisicamente redundante.
>
> 2. Definição das estratégias de backup recomendadas para o SEI e
> outras boas práticas relacionadas a essa questão.
>
> Me coloco à disposição para a discussão!
>
> Att,
> André H. S. Castro
> Analista em Tecnologia da Informação
> CGLTI/SGPDH/SDH
> * + 55 61 2027.3979
> Email: andre.castro@sdh.gov.br
>
>
> _______________________________________________
> sei-tecnico mailing list
> sei-tecnico@listas.softwarepublico.gov.br
>https://listas.softwarepublico.gov.br/mailman/cgi-bin/listinfo/sei-tecnico
>
>


--

"Nossas dúvidas são traidoras e nos fazem perder o bem que poderíamos
conquistar, senão fosse o medo de tentar."

William Shakespeare

Prezados,

A documentação de apoio presente no portal referente à backup recomenda a realização de backup da base de dados e dos arquivos. Considerando que o volume de dados e documentos crescem ao longo do tempo com a utilização do sistema e que quanto maior esse volume, maior é o tempo para realizar sua indexação no SOLR, não deveria haver também uma política de backup para os índices gerados no SOLR?

Qual é a estimativa de tempo necessário, por exemplo, para indexar toda a base de dados de 300GB, conforme citada acima, caso seja realizado um restore de dados e arquivos?

Aqui no Ministério da Agricultura a indexação parcial de documentos (aproximadamente 10 mil documentos - número médio de documentos gerados ao longo de uma semana) é realizada em 1h30 aproximadamente. Atualmente temos 7GB de dados e 260GB de arquivos ao todo (3 meses de uso).

Para o SOLR, utilizamos um servidor linux virtualizado, CentOS 6.7 com 32GB de ram, 3.47GHz de processamento com 6 núcleos e servidor tomcat 7.