Automatização de Download e Processamento de Arquivos via Selenium

Automatize o login, download e processamento de arquivos em sites que não oferecem API, utilizando Selenium e Python.

---

Sumário

• Sobre o Projeto
• Funcionalidades
• Pré-requisitos
• Instalação
• Configuração
• Como Usar
• Estrutura do Projeto
• Contribuição
• Licença
• Autor

---

Sobre o Projeto

Este projeto automatiza o processo de login, navegação, download e descompactação de arquivos em sites sem API, utilizando Selenium WebDriver. Ideal para rotinas repetitivas de extração de dados e integração com sistemas internos.

---

Funcionalidades

• Login automático em sites protegidos
• Navegação até páginas de download
• Download seletivo de arquivos via XPath
• Descompactação automática de arquivos ZIP
• Organização e movimentação de arquivos em diretórios específicos
• Registro de logs e envio por e-mail
• Suporte a múltiplos usuários
• Integração com FTP e banco de dados

---

Pré-requisitos

• Python 3.8 ou superior
• Google Chrome (ou navegador compatível)
• Chromedriver compatível com sua versão do navegador

---

Instalação

1. Clone este repositório:

   git clone https://github.com/marquescharlon/WebScraping-Selenium-Python.git
   cd WebScraping-Selenium-Python
   

2. Instale as dependências:

   pip install -r requirements.txt
   

   Caso não exista um requirements.txt, instale manualmente:

   pip install selenium pyodbc beautifulsoup4 pyinstaller
   

3. Baixe e configure o Chromedriver:

   • Faça download do Chromedriver e extraia para selenium_webdriver/
   • Adicione o caminho do chromedriver às variáveis de ambiente do sistema

---

Configuração

Edite o arquivo parameters.py para definir:

• link: URL de login do site
• page_files: URL da página de arquivos (se aplicável)
• Outros parâmetros conforme sua necessidade

---

Como Usar

Execute o script principal:

python automatizacao_edp.py

Para gerar um executável standalone:

pip install pyinstaller
pyinstaller --onefile --noconsole automatizacao_edp.py

Para incluir dependências externas, utilize:
pyinstaller --onefile --noconsole --paths=../ automatizacao_edp.py

---

Estrutura do Projeto

automatizacao_edp.py           # Script principal
parameters.py                  # Parâmetros de configuração
download_files.py              # Download de arquivos
unzip_files.py                 # Descompactação
ftp_server.py                  # Integração FTP
move_files.py                  # Movimentação de arquivos
security.py                    # Segurança/autenticação
img/                           # Imagens e mídia
selenium_webdriver/            # WebDriver e utilitários
...

---

Contribuição

Contribuições são bem-vindas!
Abra uma issue ou envie um pull request seguindo as boas práticas do projeto.

---

Licença

Este projeto está licenciado sob a licença MIT. Veja o arquivo LICENSE para mais detalhes.

---

Autor

Marquescharlon Santos

• GitHub: @marquescharlon
• LinkedIn: @marquescharlon

⭐️ Dê uma estrela se este projeto foi útil para você!