Commit 1a4a94b62d01c03470290d0d695fedf550f7f749
1 parent
e86fa40a
Exists in
devel
Adiciona remoção de hífen não codificado
Showing
1 changed file
with
1 additions
and
1 deletions
Show diff stats
src/ClassificaSentencas.py
| @@ -44,7 +44,7 @@ class ClassificaSentencas(object): | @@ -44,7 +44,7 @@ class ClassificaSentencas(object): | ||
| 44 | """Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode. | 44 | """Decodifica string utilizando utf-8, retornando uma lista de tokens em unicode. |
| 45 | """ | 45 | """ |
| 46 | try: | 46 | try: |
| 47 | - decodificada = s.translate(None, "“”«»’‘º").decode("utf-8") | 47 | + decodificada = s.translate(None, "“”«»–’‘º").decode("utf-8") |
| 48 | except UnicodeDecodeError: | 48 | except UnicodeDecodeError: |
| 49 | decodificada = s.replace("“","").replace("”","").replace("«","").replace("»","").replace("’","").replace("‘","").replace("º","").decode("utf-8") | 49 | decodificada = s.replace("“","").replace("”","").replace("«","").replace("»","").replace("’","").replace("‘","").replace("º","").decode("utf-8") |
| 50 | except: | 50 | except: |