Merging WSCBot

rickinbsb
1 parent eb4e16dc
Showing 6 changed files with 43 additions and 21 deletions Show diff stats
LICENSE
development.ini
production.ini
wscbot/__main__.py
wscbot/app.py
wscbot/scripts/zipparser.py
 [WSCBot]
 ###Url de acesso ao modulo wscserver (terminar com '/')
-url_wscserver: http://http://10.209.8.39/wscserver/
+url_wscserver: http://localhost/wscserver/
 ###Url de acesso ao Super Gerente
-ip_superg: http://10.209.8.39/lbbulk/reg
+ip_superg: http://localhost/lbbulk/reg
 ###Local do disco onde o arquivo será salvo temporariamente
 filepath: /tmp/extract/
+###Nome da fonte dos dados (precisa ser um nome já existente na base do super-gerente)
+source_name: brlight
+
+###Local temporario para download de arquivos, comente para usar o diretorio temporario padrão do sistema
+tmp_dir: /home/tmp
+
 ###Nome de usuário
 username: rest
@@ -18,7 +24,7 @@ senha: rest
 data: 01-01-1970
 ###Tempo entre as leituras em busca de registros (em segundos)
-sleep_time: 86400
+sleep_time: 60
 [Daemon]
 stdin_path = /dev/null
 [WSCBot]
 ###Url de acesso ao modulo wscserver (terminar com '/')
-url_wscserver: http://10.209.8.39/wscserver/
+url_wscserver: http://localhost/wscserver/
 ###Url de acesso ao Super Gerente
-ip_superg: http://10.209.8.39/lbbulk/reg
+ip_superg: http://localhost/lbbulk/reg
 ###Local do disco onde o arquivo será salvo temporariamente
-filepath: /tmp/extract/
+filepath: /home/extract
+
+###Nome da fonte dos dados (precisa ser um nome já existente na base do super-gerente)
+source_name: cacic_mpog
+
+###Local temporario para download de arquivos, comente para usar o diretorio temporario padrão do sistema
+tmp_dir: /home/tmp
 ###Nome de usuário
 username: rest
@@ -18,7 +24,7 @@ senha: rest
 data: 01-01-1970
 ###Tempo entre as leituras em busca de registros (em segundos)
-sleep_time: 3600
+sleep_time: 86400
 [Daemon]
 stdin_path = /dev/null
@@ -14,9 +14,11 @@ from app import main
 from requests.exceptions import *
 import zipfile
 import lockfile
+import tempfile
+# absolute path to .ini file
+#ini_path='/srv/super-gerente/WSCBot/development.ini'
 ini_path='/srv/bot-super-gerente/WSCBot/production.ini'
-#absolute path to .ini file
@@ -29,10 +31,15 @@ def setconfig(config_file):
     user = {}
     user['url_wscserver'] = config.get('WSCBot', 'url_wscserver')
     user['filepath'] = config.get('WSCBot', 'filepath')
+    if config.has_option('WSCBot', 'tmp_dir'):
+        user['tmp_dir'] = config.get('WSCBot', 'tmp_dir')
+    else:
+        user['tmp_dir'] = tempfile.mkdtemp()
     user['username'] = config.get('WSCBot', 'username')
     user['senha'] = config.get('WSCBot', 'senha')
     user['data'] = config.get('WSCBot', 'data')
     user['ip_superg'] = config.get('WSCBot', 'ip_superg')
+    user['source_name'] = config.get('WSCBot', 'source_name')
     user['sleep_time'] = int(config.get('WSCBot', 'sleep_time'))
     user['stdin_path'] = config.get('Daemon', 'stdin_path')
     user['stdout_path'] = config.get('Daemon', 'stdout_path')
@@ -57,7 +64,7 @@ class App():
             timeron = time.time()
             logger.info ('Iniciando execução')
             try:
-                main(ip_servidor,username,senha,ip_superg,filepath,data)
+                main(ip_servidor,username,senha,ip_superg,filepath,data,tmp_dir,source_name)
             except (ConnectionError, Timeout):
                 logger.error ('Não foi possivel estabelecer conexão com o servidor! ' + domain)
             except zipfile.BadZipfile:
@@ -78,8 +85,10 @@ ip_servidor = user[&#39;url_wscserver&#39;]
 senha = user['senha']
 ip_superg = user['ip_superg']
 sleep_time = user['sleep_time']
+source_name = user['source_name']
 username = user['username']
 filepath = user['filepath']
+tmp_dir = user['tmp_dir']
 data = user['data']
 app = App()
 logger = logging.getLogger("WSCBot")
@@ -11,26 +11,29 @@ from wscbot.scripts import erro
 from wscbot.scripts import rotinas
 from wscbot.scripts.zipparser import ziphandler
-def main(ip_servidor,username,senha,ip_superg,filepath,data):
+
+
+def main(ip_servidor,username,senha,ip_superg,filepath,data,tmp_dir,
+         source_name):
     """
-    Envia uma requisição GET HTTP para o endereço cadastrado,
-    fornecendo como parâmetros da requisição o usuário e senha informados;
-    Pega a resposta da requisição e escreve num arquivo;
-    Criptografa o conteúdo do arquivo com base em uma chave compartilhada com o Super Gerente;
-    Envia o arquivo criptografado para o Super Gerente;
-    Registra a data do envio e o resultado da comunicação.
+    Envia uma requisição GET HTTP para o endereço cadastrado fornecendo
+    como parâmetros da requisição o usuário e senha informados, pega a
+    resposta da requisição e escreve num arquivo. Criptografa o conteúdo
+    do arquivo com base em uma chave compartilhada com o Super Gerente.
+    Envia o arquivo criptografado para o Super Gerente e registra a data
+    do envio e o resultado da comunicação.
     """
     # Faz a requisição do arquivo zip
     zip_path = req.req(ip_servidor, filepath)
-    dicionario = ziphandler(zip_path)
+    dicionario = ziphandler(zip_path, tmp_dir)
     for arquivo in dicionario:
         logger.debug('Inicio do envio de dados')
         coleta = json.loads(dicionario[arquivo])['results']
         for registro in coleta:
+            registro['name_source'] = source_name
             registro = json.dumps(registro)
-
             f = post(ip_superg,data={'json_reg':registro})
             erro.is_error_p(f)
@@ -3,13 +3,12 @@
 import zipfile
 import logging
-import tempfile
 import json
 import os
 from wscbot.scripts.tratamento import t_dados
-def ziphandler(filename):
+def ziphandler(filename, tmp_dir):
     """
     Receive a zip file and parse one file at a time, returning a collection of parsed files.
     """
@@ -17,7 +16,6 @@ def ziphandler(filename):
     z_root = zipfile.ZipFile(filename)
     # Create a temp dir and unzip file contents
-    tmp_dir = tempfile.mkdtemp()
     # registros = {
     #   'import_error' : [],