Skip to content

Pull Request para finalizar o desafio#12

Open
jmafort wants to merge 4 commits intob2w-atech:masterfrom
jmafort:master
Open

Pull Request para finalizar o desafio#12
jmafort wants to merge 4 commits intob2w-atech:masterfrom
jmafort:master

Conversation

@jmafort
Copy link
Copy Markdown

@jmafort jmafort commented Aug 2, 2022

Boa noite!

Alguns detalhes sobre meu fork do projeto:

  • Utilizei o 'venv' do Python para gerenciar e isolar as dependências, logo se fizeram necessários alguns arquivos como '.gitignore', para não incluir os arquivos do ambiente virtual no projeto, e 'requirements.txt', para gerenciar as dependências;
  • Também utilizei um arquivo de variável de ambiente para as credenciais do banco de dados. É possível definir um usuário e uma senha para o MongoDB a partir do arquivo '.env.dist';
  • Escolhi utilizar o Docker para fazer todo o setup do MongoDB, incluindo o Mongo-Express para uso de interface gráfica. Por conta disso, há um arquivo 'docker-compose.yml' no projeto que serve para subir o banco de dados através do comando 'docker-compose up -d'. Este arquivo leva em consideração as credenciais do banco dispostas no arquivo '.env'.

Para rodar o projeto localmente eu uso a sequência de comandos a seguir:
python -m venv .venv (cria o ambiente virtual)
.venv/Scripts/activate (ativa o ambiente virtual)
pip install -r requirements.txt (instala as dependências)
docker-compose up -d (sobre o MongoDB)
scrapy crawl quotes (ativa o crawler)
docker exec -it mongodb mongo -u <usuário> -p <senha> (executa o shell do MongoDB dentro do container Docker)
use quotestoscrape (seleciona o banco de dados)
load("queries/citations_collected.js") (Quantas citações foram coletadas?)
load("queries/distinct_tags.js") (Quantas tags distintas foram coletadas?)
load("queries/citations_per_author.js") (Quantas citações por autor foram coletadas?)
load("queries/citations_per_tag") (Quantas citações por tag foram coletadas?)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants