Commit f31f5e84399283c125ef148a098011b18b6745e3
Exists in
master
Merge branch 'devel'
Showing
1 changed file
with
1 additions
and
1 deletions
Show diff stats
src/alexp.py
| @@ -41,7 +41,7 @@ def toqueniza(s): | @@ -41,7 +41,7 @@ def toqueniza(s): | ||
| 41 | """Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode. | 41 | """Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode. |
| 42 | """ | 42 | """ |
| 43 | regex = re.compile('[%s]' % re.escape('“”')) | 43 | regex = re.compile('[%s]' % re.escape('“”')) |
| 44 | - decodificada=regex.sub('-',s.replace("–", "-")).decode("utf-8") | 44 | + decodificada=regex.sub('"',s.replace("–", "-").replace("—", "-")).decode("utf-8") |
| 45 | return AnotaCorpus.TOK_PORT.tokenize(decodificada) | 45 | return AnotaCorpus.TOK_PORT.tokenize(decodificada) |
| 46 | 46 | ||
| 47 | def getAnaliseMorfologica(): | 47 | def getAnaliseMorfologica(): |