\section{Discussion and Final Remarks}
\label{sec:discussion}

In this paper we examine the empirical model of project management applied in a
software development case in collaboration between government and academia. We
mapped the practices that harmonized the cultural and organizational differences
of the institutions involved. In the case study, the project team as a whole had
not only distinct mind set, but also different levels of maturity and experience
in topics such as cooperation projects, collaborative development, the adopted
technologies, and FLOSS. To protect the development team, mostly undergraduates
with less experience, boundaries were established in the interaction between
ministry and university. The objectives were: to avoid communication noise, to
maintain team confidence and motivation, and to increase productivity in terms
of developed features.

Although the surveys and interviews were performed around one year after the
project was completed, the strong interaction over the 30 months allowed us to
extract details of the memories of each of the respondents. Still, we recognize
that many details and other evidence may have been lost by this hiatus. In other
hand, the participants also showed a more mature reflection because they could
related the experienced situations in the project with other works performed
after project end.

In this research, the answers evidence lessons learned reported in a previous
work of a part of the authors \cite{meirelles2017spb}. In this previous work,
the lessons learned are reported from a partial point of view, from participants
on the academic side of the project and who at the time took leadership roles.
These new evidences found ratifies this view, welcoming the government side and
others involved.

(Coleta das respostas em português, falta traduzir. Para avaliar conteúdo e relevância)

\begin{comment}

\begin{itemize}
\setlength\itemsep{1em}
\item \textit{How to involve students real-world projects, interacting with real customers}
Em uma das perguntas abertas na pesquisa direcionada aos alunos, os respondentes abordaram a importância que o projeto teve na sua vida profissional: "O projeto me permitiu compreender um pouco sobre a dinâmica do mercado de software em Brasília e, em especial, dentro do serviço público.", "Ótima experiência. Agregou muito valor à minha formação acadêmica e profissional. Replico e repasso os conhecimentos adquiridos ainda hoje, mesmo com mais de um ano do término do projeto.", "Uma das características mais interessantes do projeto foi proporcionar aos alunos uma experiência de desenvolvimento de software muito similar ao que eles escontram em empresas. Isso inclui ter contato com clientes reais, planejar o ciclo de desenvolvimento e participação em times."; "Apesar dos cursos de graduação abordar teorias sobre desenvolvimento de software, a aplicação em um projeto real teve muito impacto positivo no meu desenvolvimento como profissional e me forneceu uma visão de mercado."

\item \textit{The participation of experienced professionals is crucial to succcess of the project}
Além dos resultados positivos sobre a importância da presença dos desenvolvedores seniors na visão dos alunos, em resposta aberta seus benefícios foram ratificados: ""Esse projeto foi essencial na minha formação. O contato prático com o mundo real e pessoas experientes, alinhado a metodologias flexíveis auto organizadas para o desenvolvimento de software proporcionou a produção de resultados rápidos e uma equipe bastante motivada, algo essencial para o sucesso de um projeto.", "Além de me permitir aprender com profissionais mais experientes e em diferentes áreas do processo de desenvolvimento de software."
Este tópico também foi relatado do lado do governo: "Você tinha os revisores, que eram os desenvolvedores originais dos softwares, isso passava confiança e a gente sentia confiança no código."
Por fim, os desenvolvedores senior relataram uma boa relação de aprendizagem com os alunos: "A relação com os alunos era respeitosa. Os alunos estavam abertos e parecia que se sentiam confortáveis para receber e dar orientações e sugestões."

\item \textit{A balanced relationship between academia and industry} 
Um dos desenvolvedores trouxe a tona a prioridade dos compromissos escolares em relação ao projeto: "Dificuldades na comunicação presencial da equipe, por conta de diferentes horários dos alunos. Ausência de alunos em momentos importantes do projeto, por conta de provas e outras demandas universitárias."
Alguns alunos abordaram o avanço profissional e técnico durante o projeto: "A equipe trabalhou em quase todos os momentos no que seria o estado da arte da Engenharia de Software", "O projeto como um todo trouxe bastante experiência técnica para quem estava iniciando no mundo da engenharia de software. Eu e outros colegas atingimos níveis de conhecimento que nos possibilitaram engajar em projetos de software de maneira muito mais impactante e confiante, participando das comunidades dos softwares utilizados e até nos tornando membros mais influentes, com permissão de realizar contribuições diretas no código oficial das plataformas, o que é algo que inspira e motiva ainda mais a colaboração entre membros da equipe e das comunidades de software livre envolvidas."

\item \textit{Managing different organizational cultures}
Os entrevistados do lado do governo retratam o problema de tradução entre os modelos adotados pelo lado do governo e pelo lado da academia: "Não era uma tarefa muito fácil, fazer este DE-PARA, porque a ferramenta de acompanhamento de projeto lá do MPOG é amarrada no modelo tradicional de gerenciamento de projetos", " A gente tinha que documentar, pedir um report para vocês [UnB]. Faziamos um processo de atualização meio que em conjunto, para chegar no equilíbrio pra levar pra reunião do projeto."

\item \textit{Manage higher-level and lower-level goals separately}
Não encontrei

\item \textit{Living will ill-advised political decisions}
Os funcionários do MPOG avaliam os impactos negativos de decisões técnicas tomadas com viés político: "Realmente, a questão do Colab foi o mais impactante [na complexidade] deu um impacto muito grande. Na prática, tomou essa decisão e gastou-se meses para poder fazer ele conversar com as outras ferramentas e esse tempo poderia ter sido gasto fazendo módulos novos, por exemplo, o que a gente tinha previsto, o Mercado Público, que é a questão dos prestadores de serviço lá dentro da ferramenta. Não conseguimos fazer. A gente teve que remover isso do escopo porque não teve não sobrou tempo. A gente gastou tanto esforço evoluindo o Colab (fazendo API, fazendo integração) que não sobrou tempo para fazer. Um negócio que tinham no portal antigo e no novo acabou que não foi feito.", Então ficar atento as premissas, detalhar melhor
os requisitos e tentar o mínimo de influencia política num projeto. Porque essas influencias politicas, elas atrapalham demais, elas criam soluções insustentáveis. Esse caso aí do Colab não é simples. Colab, virou um exemplo, um exemplo de influências políticas que na hora pode ter feito sentido, mas depois gera muito overhead, dor de cabeça."

\item \textit{Consider sustainability from the beginning}
Durante a entrevista, um dos entrevistados do governo ressaltou a preocupação com sustentabilidade: "Porque você pode fazer o negócio mais perfeito possível, mas se você não manter là frente, você tem um problema. Se você não consegue manter, ali na frente você não vai ter uma equipe tão boa para manter, você vai ter um problema."
\end{itemize}

In addition to ratifying the lessons learned, some of the questionnaires or the
interview answers raise negative points that need to be evaluated and better
worked for future collaboration between government and academia. These negative
responses are mainly related to differences in the management approaches of each
organization.

Do lado do governo:

\begin{itemize}
\item \textbf{Detalhamento dos requisitos}
\subitem "Eu acho que é este detalhamento de requisito, eu acho que a gente tinha que exigir mais e melhor detalhamento dos requisitos."
\subitem "Eu acho que, no final, a gente já tava numa liga legal no sentido de ter os requisitos num nível de detalhes necessários. Eu sempre achava que os requisitos não estavam documentados o suficiente pra a visão do cliente na hora do desenvolvimento. A gente desenvolvia, mas, às vezes, não era bem exatamente aquilo que o cliente queria."
\subitem "Nem sempre quando o pedido de mudança partia da equipe isso era debatido ou acordado. Às vezes a gente só descobria lá no final da sprint. A gente tinha alguns probleminhas com isso. [..] Você precisa, sei lá, fazer uma entrevista, detalhar isso melhor, porque você vai codificar e você precisa saber. Ás vezes isso não acontecia e aí o programador fazia da forma que ele achava. Na hora da entrega, na hora de colocar no ar, a gente tinha algumas surpresas, algumas coisas que não estavam legais."
\item \textbf{Discussão de papéis e responsabilidades}
\subitem "Quem que tinha o poder de tomar uma decisão? Não tinha, porque era uma relação muito igual. Os dois órgãos ficavam no mesmo nível hierárquico dentro do plano de trabalho. Mas isso não funciona bem, você tem que deixar bem definido a quem pertence a última palavra nas decisões, porque os conflitos sempre vão acontecer."
\item \textbf{Estabelecer limites sem coagir}
\subitem "Quando tinha o coordenador (que coordenava as equipes), o que sentiamos de ruim era que, quando a gente encaminhava uma pergunta direto para um desenvolvedor, o coordenador respondia. Então isso era meio negativo, porque causava uma dificuldade, a gente se sentia meio coagido de conversar direto com as equipes.
\end{itemize}

Do lado da academia:

\begin{itemize}
\item bla
\end{itemize}

% "No final teve aquele medo, aquela pressão, que não saia recurso. Teve uma desmobilização grande no final porque não estava saindo recurso, teve que liberar os seniors, isso também atrapalhou. Então essa parte aí de política impacta bastante no nosso trabalho no que era entregue. Naquela época, as vezes até tinha o recurso, mas tinha uma resistência da alta administração, agora não tem o recurso."

\end{comment}

