Merge branch 'devel'

Erickson Silva
2 parents a6c9bbbf a537f5f0
Showing 10 changed files with 225 additions and 80 deletions Show diff stats
data/preposicoes.csv
data/regras.xml
install/linux/install.sh
src/AplicaRegras.py
src/ConverteExtenso.py
src/LerDicionarios.py
src/PortGlosa.py
src/ThreadTradutor.py
src/TraduzSentencas.py
src/alexp.py
@@ -13,6 +13,5 @@ pelo
 pela
 pelos
 pelas
-para
 ao
 aos
 \ No newline at end of file
@@ -195,6 +195,46 @@
 				<newtokenpos>next</newtokenpos>
 			</class>
 		</rule>
+		<rule name = "SE"><!-- Eliminar SE -->
+			<active>true</active>
+			<count>1</count>
+			<class>
+				<title>SE</title>
+				<action>remove</action>
+			</class>
+		</rule>
+		<rule name = "CL"><!-- Eliminar conjunção -->
+			<active>true</active>
+			<count>1</count>
+			<class>
+				<title>CL</title>
+				<action>remove</action>
+			</class>
+		</rule>
+		<rule name = "CONJ"><!-- Eliminar conjunção -->
+			<active>true</active>
+			<count>1</count>
+			<class>
+				<title>CONJ</title>
+				<action>remove</action>
+			</class>
+		</rule>
+		<rule name = "+"><!-- Eliminar + -->
+			<active>true</active>
+			<count>1</count>
+			<class>
+				<title>+</title>
+				<action>remove</action>
+			</class>
+		</rule>
+		<rule name = "-R"><!-- Eliminar -R -->
+			<active>true</active>
+			<count>1</count>
+			<class>
+				<title>-R</title>
+				<action>remove</action>
+			</class>
+		</rule>
 		<rule name = "D"><!-- Eliminar artigo definido masculino singular -->
 			<active>true</active>
 			<count>1</count>
@@ -389,7 +429,7 @@
 				<newtokenpos>next</newtokenpos>
 			</class>
 		</rule>
-				<rule name = "SR-P"><!-- tempo verbal - presente com AdvP(t) -->
+		<rule name = "SR-P"><!-- tempo verbal - presente com AdvP(t) -->
 			<active>true</active>
 			<count>1</count>
 			<class>
@@ -922,7 +962,7 @@
 			</class>
 		</rule>
 		<rule name = "VP(VB_ADV-NEG)"><!-- tratamento do adverbio de negação modificador da raiz do verbo  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>VB</title>
@@ -936,7 +976,7 @@
 			</class>
 		</rule>
 		<rule name = "VP(VB_ADV-NEG)"><!-- tratamento do adverbio de negação modificador de expressão facial do verbo -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>VB</title>
@@ -1267,7 +1307,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADV-NEG_ADJ)"><!-- tratamento do adverbio de negação modificador do adjetivo masculino  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1280,7 +1320,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo masculino (inverso)  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ</title>
@@ -1293,7 +1333,7 @@
 			</class>
 		</rule>	
 		<rule name = "AP(ADV-NEG_ADJ-P)"><!-- tratamento do adverbio de negação modificador do adjetivo masculino plural -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1306,7 +1346,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ-P_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo masculino plural (inverso)  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ-P</title>
@@ -1319,7 +1359,7 @@
 			</class>
 		</rule>		
 		<rule name = "AP(ADV-NEG_ADJ-F)"><!-- tratamento do adverbio de negação modificador do adjetivo feminino  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1332,7 +1372,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ-F_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo feminino (inverso)  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ-F</title>
@@ -1345,7 +1385,7 @@
 			</class>
 		</rule>	
 		<rule name = "AP(ADV-NEG_ADJ-F-P)"><!-- tratamento do adverbio de negação modificador do adjetivo feminino plural -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1358,7 +1398,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ-F-P_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo feminino plural (inverso) -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ-F-P</title>
@@ -1371,7 +1411,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADV-NEG_ADJ-G)"><!-- tratamento do adverbio de negação modificador do adjetivo geral  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1384,7 +1424,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ-G_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo geral (inverso)  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ-G</title>
@@ -1397,7 +1437,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADV-NEG_ADJ-G-P)"><!-- tratamento do adverbio de negação modificador do adjetivo geral plural  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADV-NEG</title>
@@ -1410,7 +1450,7 @@
 			</class>
 		</rule>
 		<rule name = "AP(ADJ-G-P_ADV-NEG)"><!-- tratamento do adverbio de negação modificador do adjetivo geral plural (inverso)  -->
-			<active>false</active>
+			<active>true</active>
 			<count>2</count>
 			<class>
 				<title>ADJ-G-P</title>
@@ -11,13 +11,24 @@ read -r -p &quot;Deseja fazer o download das dependências? [Y/n] &quot; response
 	wget 150.165.204.30:8080/translate/linux/aelius-install.tar.gz
+	MACHINE_TYPE=`uname -m`
+	if [ ${MACHINE_TYPE} == 'x86_64' ]; then
+		wget 150.165.204.30:8080/translate/linux/hunpos/x86_64/hunpos-tag
+	else
+		wget 150.165.204.30:8080/translate/linux/hunpos/i386/hunpos-tag
+	fi
+
      read -r -p "Deseja instalar as dependências? [Y/n] " response
 	 response=${response,,} # tolower
 	 if [[ $response =~ ^(yes|y| ) ]]; then
 	    echo -e "\n# Extraindo...\n"
 		tar -xf aelius-install.tar.gz -C .
-
+		mkdir bin
+		mv hunpos-tag bin/
+		chmod 777 bin/hunpos-tag
+	
 		echo -e "# Instalando dependências...\n"
+		sudo apt-get update
 		sudo apt-get install -y python-dev python-setuptools python-pip python-yaml python-numpy python-matplotlib
 		sudo pip install nltk nltk_tgrep --upgrade 
@@ -10,7 +10,7 @@ import platform
 import re
 import xml.etree.ElementTree as ET
 from os.path import expanduser
-from os import environ
+from os import environ, path
 from collections import deque
 from LerDicionarios import *
 from Iterator import *
@@ -41,6 +41,9 @@ class AplicaRegras(object):
       	'''
 		if platform.system() == 'Windows':
 			return ET.parse(environ.get("HOMEDRIVE")+'\\vlibras-libs\\vlibras-translate\data\\regras.xml').getroot()
+		elif "TRANSLATE_DATA" in environ:
+			arq_regras = path.join(environ.get("TRANSLATE_DATA"), "regras.xml")
+			return ET.parse(arq_regras).getroot()
 		return ET.parse(expanduser("~")+'/vlibras-translate/data/regras.xml').getroot()
 	# Aplica regras morfológicas apartir do arquivo regras.xml
@@ -225,14 +228,15 @@ class AplicaRegras(object):
 											node_pai[nodes_positions[count_temp]][0][0].set_label(newprop.text)
 									elif action_text == "concate_neg":
-										print "TODO"
-										
+										token = filter(None, node_pai[nodes_positions[count_temp]].leaves())[0]
+										token_concate = token + "_não"
+										node_pai[nodes_positions[count_temp]][0][0][0] = token_concate
+										# TODO: PRECISA ADD NEWPROP?										
 								if newprop is not None:
 									node_pai[nodes_positions[self.count]].set_label(newprop.text)
 								break
-								
 		return self.converter_arv_para_lista(p_arvore)
 	def adaptar_regras_morfo_arvore(self, lista, arvore):
@@ -255,7 +259,10 @@ class AplicaRegras(object):
 		# Corrige arvore de acordo com a lista após aplicar as regras morfológicas
 		for i in range(0, len(morfo)):
-			if morfo[i] is not None and morfo[i][1] == "NTK":
+			#TODO: Corrigir essa verificação de FUTURO e PASSADO]
+			#TODO: Exclusão do nó inteiro (VBar) - Removendo palavra junto com a marcação de tempo
+			# EU FELIZ PASSADO -> EU FELIZ
+			if morfo[i] is not None and morfo[i][1] == "NTK" and morfo[i][0]:
 				new_node = self.gerar_no(morfo[i])
 				arvore[lista_pos_arv[i-1][:-3]].insert(2, new_node)
 				#arvore[lista_pos_arv[i-1][:-2]].insert(2, new_node)
@@ -403,8 +410,8 @@ class AplicaRegras(object):
 				lista_simplificada = self.converter_extenso(lista_simplificada)
 			except:
 				pass
-				
-		return " ".join([x[0] for x in lista_simplificada])
+
+		return lista_simplificada
 	def analisar_plural(self, token):
@@ -90,6 +90,8 @@ o resultado.
 def convert_extenso(extenso):
 	global newToken, auxToken
 	extensoQuebrado = extenso.lower().split(" ")
+	if len(extensoQuebrado) == 1 and und.has_key(simplifica(extensoQuebrado[0])):
+		return extenso
 	nums = []
 	it = Iterator()
 	it.load(extensoQuebrado)
@@ -6,8 +6,7 @@
 #LAViD - Laboratório de Aplicações de Vídeo Digital
-from os.path import expanduser
-from os import environ
+import os
 import csv
 import platform
@@ -44,8 +43,10 @@ class LerDicionarios(Singleton):
       '''Verifica qual o SO e gera o path de onde se encontra o diretório data.
       '''
       if platform.system() == 'Windows':
-         return environ.get("HOMEDRIVE") + "\\vlibras-libs\\vlibras-translate\data\\"
-      return expanduser("~") + "/vlibras-translate/data/"
+         return os.environ.get("HOMEDRIVE") + "\\vlibras-libs\\vlibras-translate\data\\"
+      elif "TRANSLATE_DATA" in os.environ:
+         return os.environ.get("TRANSLATE_DATA")
+      return os.path.expanduser("~") + "/vlibras-translate/data"
    def carregar_dicionarios(self):
       '''Realiza a leitura dos arquivos e atribui à estruturas de dicionários e sets.
@@ -62,11 +63,14 @@ class LerDicionarios(Singleton):
       self.carregar_verbos_ligacao()     
       self.carregar_verbos_muda_negacao  
+   def montar_diretorio(self, arquivo):
+      return os.path.join(self.path, arquivo)
+
    def carregar_excecoes_plural(self):
       '''Carrega arquivo de exceções de plural.
       '''
       try:
-         self.file = csv.reader(open(self.path+"excecoesPlural.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("excecoesPlural.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_excecoes_plural"
@@ -80,7 +84,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de adverbios de intensidade.
       '''
       try:
-         self.file = csv.reader(open(self.path+"adverbiosIntensidade.csv"), delimiter=";")
+         self.file = csv.reader(open(self.montar_diretorio("adverbiosIntensidade.csv")), delimiter=";")
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_adverbios_intensidade"
@@ -93,7 +97,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de advérbios de tempo.
       '''
       try:
-         self.file = csv.reader(open(self.path+"adverbiosTempo.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("adverbiosTempo.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_adverbios_tempo"
@@ -107,7 +111,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de artigos a serem removidos.
       '''
       try:
-         self.file = csv.reader(open(self.path+"artigos.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("artigos.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_artigos"
@@ -121,7 +125,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de preposições a serem removidas.
       '''
       try:
-         self.file = csv.reader(open(self.path+"preposicoes.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("preposicoes.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_preposicoes"
@@ -135,7 +139,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de sinônimos.
       '''
       try:
-         self.file = csv.reader(open(self.path+"sinonimos.csv"), delimiter=";")
+         self.file = csv.reader(open(self.montar_diretorio("sinonimos.csv")), delimiter=";")
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_sinonimos"
@@ -151,7 +155,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo dos substantivos comuns de 2 generos.
       '''
       try:
-         self.file = csv.reader(open(self.path+"subs2Generos.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("subs2Generos.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_subs_2_generos" 
@@ -165,7 +169,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de verbos no infinitivo.
       '''
       try:
-         self.file = csv.reader(open(self.path+"verbosInfinitivo.csv"), delimiter=";")
+         self.file = csv.reader(open(self.montar_diretorio("verbosInfinitivo.csv")), delimiter=";")
       except IOError, (errno, strerror): 
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_verbos_infinitivo"
@@ -181,7 +185,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de verbos de ligação.
       '''
       try:
-         self.file = csv.reader(open(self.path+"verbosLigacao.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("verbosLigacao.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_verbos_ligacao"
@@ -195,7 +199,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de pronomes de tratamento.
       '''
       try:
-         self.file = csv.reader(open(self.path+"pronomesTratamento.csv"))
+         self.file = csv.reader(open(self.montar_diretorio("pronomesTratamento.csv")))
       except IOError, (errno, strerror):
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_pronomes_tratamento"
@@ -209,7 +213,7 @@ class LerDicionarios(Singleton):
       '''Carrega arquivo de verbos que mudam a negação.
       '''
       try:
-         self.file = csv.reader(open(self.path+"verbosMudaNegacao.csv"), delimiter=";")
+         self.file = csv.reader(open(self.montar_diretorio("verbosMudaNegacao.csv")), delimiter=";")
       except IOError, (errno, strerror): 
          print "I/O error(%s): %s" % (errno, strerror)
          print "carregar_verbos_muda_negacao"
@@ -14,43 +14,50 @@ from LerDicionarios import *
 tradutor = TraduzSentencas()
 dicionario = LerDicionarios()
+taxas = []
-def traduzir(texto, threads=False):
+def traduzir(texto, log=None, threads=False, taxa_qualidade=False):
+	tradutor.set_level(log) if log != None else tradutor.desativar_logging()
 	if texto.isspace() or texto == "":
 		return "ESCOLHER TEXTO CERTO"
 	elif threads:
-		return iniciar_com_threads(texto)
+		return iniciar_com_threads(texto, taxa_qualidade)
 	else:
-		return iniciar_sem_threads(texto)
+		return iniciar_sem_threads(texto, taxa_qualidade)
-def iniciar_com_threads(texto):
+def iniciar_com_threads(texto, taxa_qualidade):
 	texto_quebrado = quebrar_texto(texto)
 	num_threads = len(texto_quebrado)
-	texto_traduzido = []
+	saidas = []
 	threads = []
 	for i in range(num_threads):
 		if texto_quebrado[i] > 0 and texto_quebrado[i] != " ":
-			threads.insert(i, ThreadTradutor(texto_quebrado[i]))
+			threads.insert(i, ThreadTradutor(texto_quebrado[i],taxa_qualidade))
 			threads[i].start()
 	for i in range(num_threads):
 		threads[i].join()
-		texto_traduzido.append(threads[i].obter_glosa())
+		saidas.append(threads[i].obter_glosa())
+
+	if taxa_qualidade:
+		return gerar_taxa_qualidade(saidas)
 	try:
-		return " ".join(texto_traduzido)
+		return " ".join(saidas)
 	except:
 		return None
-def iniciar_sem_threads(texto):
+def iniciar_sem_threads(texto, taxa_qualidade):
 	texto_quebrado = quebrar_texto(texto)
-	texto_traduzido = []
+	saidas = []
 	for texto in texto_quebrado:
-		glosa = tradutor.iniciar_traducao(texto)
-		texto_traduzido.append(glosa)
-	return " ".join(texto_traduzido)
+		saida = tradutor.iniciar_traducao(texto, taxa_qualidade)
+		saidas.append(saida)
+	if taxa_qualidade:
+		return gerar_taxa_qualidade(saidas)
+	return " ".join(saidas)
 def quebrar_texto(texto):
 	if '.' not in texto:
@@ -69,9 +76,24 @@ def quebrar_texto(texto):
 				lista_texto = []
 				continue
 	if lista_texto:
-		sentencas.append( " ".join(lista_texto))
+		sentencas.append(" ".join(lista_texto))
 	return sentencas
+def gerar_taxa_qualidade(lista_saidas):
+	soma_taxas = 0
+	quant_analise_sintatica = 0
+	glosas = []
+	for saida in lista_saidas:
+		glosas.append(saida['glosa'])
+		soma_taxas += saida['taxa']
+		if saida['sintatica'] is True:
+			quant_analise_sintatica += 1
+
+	taxa_sintatica = (float(quant_analise_sintatica)/len(lista_saidas)) * 0.20
+	taxa_sentenca = (float(soma_taxas)/len(lista_saidas)) * 0.80
+	return {'glosa':" ".join(glosas), 'taxa_qualidade': float("%.2f" % (taxa_sintatica+taxa_sentenca))}
+
+
 def ajuda():
 	#TODO: Adicionar um pequeno tuto aqui
 	print "Help"
@@ -12,7 +12,7 @@ from threading import Thread
 class ThreadTradutor(Thread):
 	'''Thread que inicia uma tradução'''
-	def __init__(self, sentenca):
+	def __init__(self, sentenca, taxa):
 		''' Recebe o texto a ser traduzido e o atribui a uma variável.
 		Além disso, instancia variável que será armazenada a glosa e a classe responsável pelo processo de tradução.
 		'''
@@ -20,11 +20,12 @@ class ThreadTradutor(Thread):
 		self.sentenca = sentenca
 		self.glosa = ""
 		self.tradutor = TraduzSentencas()
+		self.taxa_qualidade = taxa
 	def run(self):
 		''' Metódo executado ao 'startar' a Thread. É responsável por iniciar a tradução passando o texto como parâmetro.
 		'''
-		self.glosa = self.tradutor.iniciar_traducao(self.sentenca)
+		self.glosa = self.tradutor.iniciar_traducao(self.sentenca, self.taxa_qualidade)
 	def obter_glosa(self):
 		''' Obtém a glosa após o processo de tradução.
-#!/usr/bin/python
+	#!/usr/bin/python
 # -*- coding: utf-8 -*-
 #Autor: Erickson Silva 
@@ -9,7 +9,12 @@
 import alexp
 from AplicaRegras import *
 import logging
+import logging.handlers
 import traceback
+import subprocess
+import re, string
+import getopt
+import sys
 class TraduzSentencas(object):
 	'''Realiza a tradução do texto em português para glosa
@@ -19,40 +24,88 @@ class TraduzSentencas(object):
 		'''Instancia os aplicadores de regras e sinônimos.
 		'''
 		self.aplic_regras = AplicaRegras()
-		#logging.basicConfig(filename='translate.log',
-        #                    format='%(asctime)s - %(levelname)s:\n\n%(message)s\n\n\n##############################################\n\n',
-        #                    level=logging.ERROR)
-
-	def iniciar_traducao(self, sentenca):
+		self.check_level()
+		
+	def iniciar_traducao(self, sentenca, taxa=False):
 		'''Metódo responsável por executar todos componentes necessários para a geração da glosa.
 		'''
 		try:
+			has_sintatica = True
 			analise_sintatica = alexp.run(sentenca)
 		except Exception as ex:
-			#self.salvar_log(str(traceback.format_exc()))
+			self.salvar_log(str(traceback.format_exc()))
 			analise_sintatica = None
+			has_sintatica = False
 		analise_morfologica = alexp.getAnaliseMorfologica()
-
+		
 		if (isinstance(analise_sintatica,type(None))):
-			#print "# ANÁLISE MORFOLÓGICA"
 			regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)
 		else:
-			#print "# ANÁLISE SINTÁTICA"
 			try:
 				regras_aplicadas = self.aplic_regras.aplicar_regras_sint(analise_morfologica, analise_sintatica)
 			except:
 				regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)
 		sentenca_corrigida = self.aplic_regras.simplificar_sentenca(regras_aplicadas)
-		sentenca_sem_acentos = self.aplic_regras.remover_acento(sentenca_corrigida)
+		glosa = " ".join([x[0] for x in sentenca_corrigida])
+
+		if glosa:
+			if taxa:
+				taxa_qualidade = self.gerar_metrica_qualidade(sentenca_corrigida)
+				return {'glosa':glosa_sem_acentos, 'taxa':taxa_qualidade, 'sintatica':has_sintatica}
+			return glosa.upper().encode('utf-8')
+		return "TEXTO ERRADO ESCOLHER OUTRO"	
-		if sentenca_sem_acentos:
-			return sentenca_sem_acentos.upper().encode('utf-8')
-		return "TEXTO ERRADO ESCOLHER OUTRO"		
 	def salvar_log(self, erro):
 		'''Salva traceback de uma excessão do analisador sintático
 		'''
-		logging.error(erro)
-	
+		logger = logging.getLogger('error-feedback')
+		logger.propagate = False
+		logger.error(erro)
+
+	def criar_logger_error(self):
+		error_log = logging.getLogger('error-feedback')
+		error_log.setLevel(logging.ERROR)
+		##print os.path.dirname(__file__) -- Salvar no direitorio do arquivo .py?
+		error_handler = logging.handlers.RotatingFileHandler('/var/tmp/vlibras-translate.log', maxBytes=1024, backupCount=5)
+		formatter = logging.Formatter('%(asctime)s - %(levelname)s:\n\n%(message)s\n\n\n##############################################\n\n')
+		error_handler.setFormatter(formatter)
+		error_log.addHandler(error_handler)
+
+	def check_level(self):
+	   	for opt in sys.argv[1:]:
+	   		if "--log" in opt:
+	   			self.set_level(opt[6:])
+	   			return
+	   	self.desativar_logging()
+
+	def set_level(self, level):
+		numeric_level = getattr(logging, level.upper(), None)
+		if not isinstance(numeric_level, int):
+	   		raise ValueError('Nível de log inválido: %s' % level)
+	   	logging.disable(logging.NOTSET)
+	   	logging.getLogger().setLevel(numeric_level)
+	   	if numeric_level == 40 or numeric_level == 10:
+	   		self.criar_logger_error()
+
+	def desativar_logging(self):
+		logging.disable(logging.DEBUG)
+	   	logging.disable(logging.INFO)
+	   	logging.disable(logging.WARNING)
+	   	logging.disable(logging.ERROR)
+	   	logging.disable(logging.CRITICAL)
+
+	def gerar_metrica_qualidade(self, lista):
+		#TODO: resolver path do arquivo
+		arqSinais = open("sinais.txt", "r").read().split()
+		quantSinaisTotal = len(lista)
+		quantSinaisEncontradas = 0
+		for x in lista:
+			if x[0].upper()+".anim" in arqSinais:
+				quantSinaisEncontradas += 1
+			else:
+				if x[1] == "NPR":
+					quantSinaisTotal-=1
+		return float(quantSinaisEncontradas)/quantSinaisTotal
@@ -29,12 +29,11 @@
 """
 import re,nltk,platform, time, random
 from os.path import expanduser
-from os import environ
+from os import environ, path
 from Aelius.Extras import carrega
 from Aelius import AnotaCorpus
 from unicodedata import normalize
-
 sentenca_anotada=""
 sleep_times=[0.1,0.2]
@@ -46,7 +45,6 @@ def toqueniza(s):
 def getAnaliseMorfologica():
 	return sentenca_anotada
-	#return [list(x) for x in sentenca_anotada]
 def etiquetaSentenca(s):
 	"""Aplica um dos etiquetadores do Aelius na etiquetagem da sentença dada como lista de tokens.
@@ -56,10 +54,17 @@ def etiquetaSentenca(s):
 	while (anotada[0][1] is None):
 		time.sleep(random.choice(sleep_times))
 		anotada = AnotaCorpus.anota_sentencas([s],etiquetador,"hunpos")[0]
-	#anotada[0] = (anotada[0][0].lower(), anotada[0][1])
-	#return anotada
+	regex = re.compile('[%s]' % re.escape('!"#&\'()*+,-./:;<=>?@[\\]^_`{|}~'))
 	tag_punctuation = [".",",","QT","("]
-	return [[x[0].lower(),x[1]] for x in anotada if x[1] not in tag_punctuation]
+	anotada_corrigida = []
+	for x in anotada:
+		if x[1] not in tag_punctuation:
+			if x[1] == "NUM":
+				anotada_corrigida.append(x)
+				continue
+			tupla = [regex.sub('',x[0]).lower(),x[1]]
+			if tupla[0] != "": anotada_corrigida.append(tupla)
+	return anotada_corrigida
 def geraEntradasLexicais(lista):
 	"""Gera entradas lexicais no formato CFG do NLTK a partir de lista de pares constituídos de tokens e suas etiquetas.
@@ -88,8 +93,9 @@ def encontraArquivo():
 	so = platform.system()
 	if so == 'Windows':
 		return environ.get("HOMEDRIVE") + "\\vlibras-libs\\vlibras-translate\data\cfg.syn.nltk"
-	else:
-		return expanduser("~") + "/vlibras-translate/data/cfg.syn.nltk"
+	elif "TRANSLATE_DATA" in environ:
+		return path.join(environ.get("TRANSLATE_DATA"), "cfg.syn.nltk")
+	return expanduser("~") + "/vlibras-translate/data/cfg.syn.nltk"
 def extraiSintaxe():
 	"""Extrai gramática armazenada em arquivo cujo caminho é definido relativamente ao diretório nltk_data.
@@ -107,7 +113,7 @@ def analisaSentenca(sentenca):
 	"""Retorna lista de árvores de estrutura sintagmática para a sentença dada sob a forma de uma lista de tokens, com base na gramática CFG cujo caminho é especificado como segundo argumento da função. Esse caminho é relativo à pasta nltk_data da instalação local do NLTK. A partir da etiquetagem morfossintática da sentença são geradas entradas lexicais que passam a integrar a gramática CFG. O caminho da gramática e o parser gerado são armazenados como tupla na variável ANALISADORES.
 	"""
 	parser=constroiAnalisador(sentenca)
-	codificada=[removeAcento(w).encode("utf-8") for w in sentenca]
+	codificada=[removeAcento(w[0]).encode("utf-8") for w in sentenca_anotada]
 	trees=parser.parse_one(codificada)
 	return trees
	@@ -13,6 +13,5 @@ pelo		@@ -13,6 +13,5 @@ pelo
13	pela	13	pela
14	pelos	14	pelos
15	pelas	15	pelas
16	-para
17	ao	16	ao
18	aos	17	aos
19	\ No newline at end of file	18	\ No newline at end of file
1	-#!/usr/bin/python	1	+ #!/usr/bin/python
2	# -- coding: utf-8 --	2	# -- coding: utf-8 --
3		3
4	#Autor: Erickson Silva	4	#Autor: Erickson Silva
	@@ -9,7 +9,12 @@		@@ -9,7 +9,12 @@
9	import alexp	9	import alexp
10	from AplicaRegras import *	10	from AplicaRegras import *
11	import logging	11	import logging
		12	+import logging.handlers
12	import traceback	13	import traceback
		14	+import subprocess
		15	+import re, string
		16	+import getopt
		17	+import sys
13		18
14	class TraduzSentencas(object):	19	class TraduzSentencas(object):
15	'''Realiza a tradução do texto em português para glosa	20	'''Realiza a tradução do texto em português para glosa
	@@ -19,40 +24,88 @@ class TraduzSentencas(object):		@@ -19,40 +24,88 @@ class TraduzSentencas(object):
19	'''Instancia os aplicadores de regras e sinônimos.	24	'''Instancia os aplicadores de regras e sinônimos.
20	'''	25	'''
21	self.aplic_regras = AplicaRegras()	26	self.aplic_regras = AplicaRegras()
22	- #logging.basicConfig(filename='translate.log',
23	- # format='%(asctime)s - %(levelname)s:\n\n%(message)s\n\n\n##############################################\n\n',
24	- # level=logging.ERROR)
25	-
26	- def iniciar_traducao(self, sentenca):	27	+ self.check_level()
		28	+
		29	+ def iniciar_traducao(self, sentenca, taxa=False):
27	'''Metódo responsável por executar todos componentes necessários para a geração da glosa.	30	'''Metódo responsável por executar todos componentes necessários para a geração da glosa.
28	'''	31	'''
29	try:	32	try:
		33	+ has_sintatica = True
30	analise_sintatica = alexp.run(sentenca)	34	analise_sintatica = alexp.run(sentenca)
31	except Exception as ex:	35	except Exception as ex:
32	- #self.salvar_log(str(traceback.format_exc()))	36	+ self.salvar_log(str(traceback.format_exc()))
33	analise_sintatica = None	37	analise_sintatica = None
		38	+ has_sintatica = False
34		39
35	analise_morfologica = alexp.getAnaliseMorfologica()	40	analise_morfologica = alexp.getAnaliseMorfologica()
36	-	41	+
37	if (isinstance(analise_sintatica,type(None))):	42	if (isinstance(analise_sintatica,type(None))):
38	- #print "# ANÁLISE MORFOLÓGICA"
39	regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)	43	regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)
40	else:	44	else:
41	- #print "# ANÁLISE SINTÁTICA"
42	try:	45	try:
43	regras_aplicadas = self.aplic_regras.aplicar_regras_sint(analise_morfologica, analise_sintatica)	46	regras_aplicadas = self.aplic_regras.aplicar_regras_sint(analise_morfologica, analise_sintatica)
44	except:	47	except:
45	regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)	48	regras_aplicadas = self.aplic_regras.aplicar_regras_morfo(analise_morfologica)
46		49
47	sentenca_corrigida = self.aplic_regras.simplificar_sentenca(regras_aplicadas)	50	sentenca_corrigida = self.aplic_regras.simplificar_sentenca(regras_aplicadas)
48	- sentenca_sem_acentos = self.aplic_regras.remover_acento(sentenca_corrigida)	51	+ glosa = " ".join([x[0] for x in sentenca_corrigida])
		52	+
		53	+ if glosa:
		54	+ if taxa:
		55	+ taxa_qualidade = self.gerar_metrica_qualidade(sentenca_corrigida)
		56	+ return {'glosa':glosa_sem_acentos, 'taxa':taxa_qualidade, 'sintatica':has_sintatica}
		57	+ return glosa.upper().encode('utf-8')
		58	+ return "TEXTO ERRADO ESCOLHER OUTRO"
49		59
50	- if sentenca_sem_acentos:
51	- return sentenca_sem_acentos.upper().encode('utf-8')
52	- return "TEXTO ERRADO ESCOLHER OUTRO"
53		60
54	def salvar_log(self, erro):	61	def salvar_log(self, erro):
55	'''Salva traceback de uma excessão do analisador sintático	62	'''Salva traceback de uma excessão do analisador sintático
56	'''	63	'''
57	- logging.error(erro)
58	-	64	+ logger = logging.getLogger('error-feedback')
		65	+ logger.propagate = False
		66	+ logger.error(erro)
		67	+
		68	+ def criar_logger_error(self):
		69	+ error_log = logging.getLogger('error-feedback')
		70	+ error_log.setLevel(logging.ERROR)
		71	+ ##print os.path.dirname(__file__) -- Salvar no direitorio do arquivo .py?
		72	+ error_handler = logging.handlers.RotatingFileHandler('/var/tmp/vlibras-translate.log', maxBytes=1024, backupCount=5)
		73	+ formatter = logging.Formatter('%(asctime)s - %(levelname)s:\n\n%(message)s\n\n\n##############################################\n\n')
		74	+ error_handler.setFormatter(formatter)
		75	+ error_log.addHandler(error_handler)
		76	+
		77	+ def check_level(self):
		78	+ for opt in sys.argv[1:]:
		79	+ if "--log" in opt:
		80	+ self.set_level(opt[6:])
		81	+ return
		82	+ self.desativar_logging()
		83	+
		84	+ def set_level(self, level):
		85	+ numeric_level = getattr(logging, level.upper(), None)
		86	+ if not isinstance(numeric_level, int):
		87	+ raise ValueError('Nível de log inválido: %s' % level)
		88	+ logging.disable(logging.NOTSET)
		89	+ logging.getLogger().setLevel(numeric_level)
		90	+ if numeric_level == 40 or numeric_level == 10:
		91	+ self.criar_logger_error()
		92	+
		93	+ def desativar_logging(self):
		94	+ logging.disable(logging.DEBUG)
		95	+ logging.disable(logging.INFO)
		96	+ logging.disable(logging.WARNING)
		97	+ logging.disable(logging.ERROR)
		98	+ logging.disable(logging.CRITICAL)
		99	+
		100	+ def gerar_metrica_qualidade(self, lista):
		101	+ #TODO: resolver path do arquivo
		102	+ arqSinais = open("sinais.txt", "r").read().split()
		103	+ quantSinaisTotal = len(lista)
		104	+ quantSinaisEncontradas = 0
		105	+ for x in lista:
		106	+ if x[0].upper()+".anim" in arqSinais:
		107	+ quantSinaisEncontradas += 1
		108	+ else:
		109	+ if x[1] == "NPR":
		110	+ quantSinaisTotal-=1
		111	+ return float(quantSinaisEncontradas)/quantSinaisTotal