Merge branch 'devel'

Erickson Silva
2 parents 7175a3c1 b6486771
Showing 1 changed file with 1 additions and 1 deletions Show diff stats
src/alexp.py
@@ -41,7 +41,7 @@ def toqueniza(s):
 	"""Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode.
 	"""
 	regex = re.compile('[%s]' % re.escape('“”'))
-	decodificada=regex.sub('-',s.replace("–", "-")).decode("utf-8")
+	decodificada=regex.sub('"',s.replace("–", "-").replace("—", "-")).decode("utf-8")
 	return AnotaCorpus.TOK_PORT.tokenize(decodificada)
  
 def getAnaliseMorfologica():
...	...	@@ -41,7 +41,7 @@ def toqueniza(s):
41	41	"""Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode.
42	42	"""
43	43	regex = re.compile('[%s]' % re.escape('“”'))
44		- decodificada=regex.sub('-',s.replace("–", "-")).decode("utf-8")
	44	+ decodificada=regex.sub('"',s.replace("–", "-").replace("—", "-")).decode("utf-8")
45	45	return AnotaCorpus.TOK_PORT.tokenize(decodificada)
46	46
47	47	def getAnaliseMorfologica():
...	...