Nova base e novo site apartados para cep.afa.codes

[ppKrauss]

O Novo CEP do Brasil precisa ser mantido em site estável e apartado, ficará sob cep.afa.codes.
A equipe precisa se alinhar para a realização das seguintes tarefas:

1. Preparo das pastas no servidor.
   Pessoas: Carlos Rebolo.
2. Preparo do NGINX para tratar apenas as funcionalidades do "novo CEP" no domínio cep.afa.codes. Tudo como já vinha sendo feito em test.afa.codes.
   Pessoas: Carlos Rebolo
3. Preparo da pasta PHP dedicada com os fontes de página de grade científica. Só precisa funcionar com o Brasil, pode até pintar o fundo de verde e amarelo para não confundir.
   Pessoas: @0e1 pode apenas jogar na pasta o que precisar, por hora não precisa de git. Eu e Carlos acertamos isso depois.
4. Testes: Felipe Reis
5. Documentação e ilustrações em Wikifull depois Slides no "docs.google.com/presentation".

[ppKrauss]

Decisão de projeto:

1. Testar cep.afa.codes como pasta nova dedicada à grade base32 mas só para testar o PHP e javascripts dedicados.
2. Carlos montando tudo do zero na Oracle, uma nova VM no IP 129.148.37.136 tratando os subdominios ceptest.afa.codes (para o futuro PHP) e cepapi.afa.codes para o futuro PostgREST.
3. Migrar cep.afa.codes para Oracle, passando a ser a v1.0.0 produtiva do CEP, e entregando para equipe Arthur

[ppKrauss]

Seguindo o item 1 da decisão de projeto, que é um teste piloto antes da migração para Oracle. Novos isolamentos:

• base de dados cepdb, construída por Claiton "do zero" com CPP em nome de arquivo "cep" separado.
• docker com imagem PostgREST em porta separada. Montado pelo Carlos e apontando para o cepdb.
• pasta /var/www/cep.afa.codes montada por Peter , detalhes abaixo, requerem revisão do index.htm (copiado de de logistic_br)

cep.afa.codes na DigitalOcean

Temporariamente, para piloto, o cep.afa.codes estará na Digital Ocean (se sucesso o Carlos terá subsídios para migrar para Oracle). A seguir demandas e/ou modificações realizadas neste caso temporário.

Javascripts chamados pelo index.html em /var/www/cep.afa.codes:

• antigo html src="/resources/js/def.min.js" com raiz em test.osm.codes, portanto de "/var/www/path??"
  vira src="/resources/def.min.js" com raiz em cep.afa.codes, portanto de "/var/www/cep.afa.codes/resources/def.min.js"

• antigo html src="/scientific/main.min.js" com raiz em test.osm.codes, portanto de "/var/www/path??"
  vira src="/resources/main.min.js" com raiz em cep.afa.codes, portanto de "/var/www/cep.afa.codes/resources/main.min.js"

• Fontes de *.min.js (em qual git se encontram hoje?) também precisam ser revistos e mantidos em git próprio (!) para garantir que os paths e subdominios tenham sido todos migrados.

... demais especificações e diretivas finais desta issue, ver https://github.com/osm-codes/BR-novoCEP

[0e1]

No ar. Exemplo: https://cep.afa.codes/BR~DZ59RVR1

O que foi feito:

• Carlos atualizou o docker-compose
• Criado /etc/nginx/sites-avaliable/cep.afa.codes
• Atualizado certificado para cep.afa.codes e api.cep.afa.codes
• Atualizado index.html em /var/www/cep.afa.codes para consumir dependencias do proprio diretorio
• Copiado para /var/www/cep.afa.codes todos as dependencias .js, .png, etc
• Removido de index.html qualquer mensão a arquivo minificado. Agora consumindo js não minificado.
• Criada a base cepdb conforme passos a baixo

A base cepdb foi criada da seguinte forma (sim, pode ser simplificado e econimizar espaço, mas é forma rápida de criar, dada a urgencia):

# 01. Configurar variáveis
DATALAKE_DBNAME='cepdb'
DATALAKE_DB_PG_VERSION=16
DATALAKE_DOCKER='pgrestcep'
DATALAKE_PROD='dl05s_main'
DB_URL="postgres://postgres@localhost/${DATALAKE_DBNAME}"
DB_PROD_URL="postgres://postgres@localhost/${DATALAKE_PROD}"
DUMP_FOLDER="${HOME}/dump_production"

TB_JURISD='optim.jurisdiction'
TB_GEOM='optim.jurisdiction_geom'
TB_EEZ='optim.jurisdiction_eez'
TB_BUFFER='optim.jurisdiction_geom_buffer'
TB_PACK='optim.donated_packcomponent '
TB_PACK_NOT='optim.donated_packcomponent_not_approved'
TB_PACK_CLOUD='optim.donated_packcomponent_cloudcontrol'
TB_CDATA_PRE='optim.consolidated_data_pre'
TB_CDATA='optim.consolidated_data'
TB_ABBREV='optim.jurisdiction_abbrev_option'
TB_ABBREV_REF='optim.jurisdiction_abbrev_ref'

# Define project mappings
declare -A projects=(
    ["dg"]="digital-guard"
    ["a4a"]="AddressForAll"
    ["osmc"]="osm-codes"
)

# List of repositories to update
repositories=(
    a4a/WS
    a4a/pg_pubLib-v1
    dg/licenses
    dg/preserv
    dg/preserv-BR
    osmc/BR
    osmc/CO_new
    osmc/CM
    osmc/EC_new
    osmc/GGeohash
    osmc/SV
    osmc/UY_new
    osmc/WS
    osmc/gridMap-draftPages
    osmc/NaturalCodes
    osmc/AFAcodes-softwareGen
    osmc/swagger
)

# Base directory for repositories
base_dir="/var/gits"

# 02. Atualizar repositórios

# Loop through each repository
for repo in "${repositories[@]}"; do
    prefix=${repo%%/*}
    project=${projects[$prefix]}

    if [ -z "$project" ]; then
        echo "Unknown project prefix: $prefix. Skipping $repo."
        continue
    fi

    repo_dir="${base_dir}/_${repo}"
    echo "Processing ${repo_dir} for project ${project}"

    if [ -d "$repo_dir" ]; then
        # Update existing repository
        pushd "$repo_dir" > /dev/null
        git remote set-url origin git@github.com:${project}/${repo##*/}.git
        git pull
        popd > /dev/null
    else
        # Clone new repository
        mkdir -p "$repo_dir"
        git clone git@github.com:${project}/${repo##*/}.git "$repo_dir"
    fi
done

# 03. Parar docker
cd /var/gits/_a4a/WS/src/
sudo docker-compose stop ${DATALAKE_DOCKER}

# 04. DUMP da produção
mkdir ${DUMP_FOLDER}
pg_dump --disable-triggers \
        --column-inserts --data-only -t ${TB_JURISD}     ${DB_PROD_URL} > ${DUMP_FOLDER}/${TB_JURISD}
pg_dump --column-inserts --data-only -t ${TB_GEOM}       ${DB_PROD_URL} > ${DUMP_FOLDER}/${TB_GEOM}
pg_dump --column-inserts --data-only -t ${TB_EEZ}        ${DB_PROD_URL} > ${DUMP_FOLDER}/${TB_EEZ}
pg_dump --column-inserts --data-only -t ${TB_BUFFER}     ${DB_PROD_URL} > ${DUMP_FOLDER}/${TB_BUFFER}


# 03. DROP/CREATE
cd /var/gits/_dg/preserv/src
make ini_datalake pg_datalake=${DATALAKE_DBNAME} # Ignorar o erro: null value in column "id" of relation "donor" violates not-null constraint

# 04. Carregar DUMP
psql ${DB_URL} < ${DUMP_FOLDER}/${TB_JURISD} # (FUTURO: carregar de stable)
psql ${DB_URL} < ${DUMP_FOLDER}/${TB_GEOM}   # (FUTURO: carregar de stable)
psql ${DB_URL} < ${DUMP_FOLDER}/${TB_EEZ}    # (FUTURO: carregar de stable)
psql ${DB_URL} < ${DUMP_FOLDER}/${TB_BUFFER}


# 05. Carregar abreviações
concatenar_csvs_sem_cabecalho() {
  local -n arquivos=$1  # Referência ao array passado como argumento
  local destino=$2      # Caminho do arquivo temporário de saída

  for i in "${!arquivos[@]}"; do
    if [[ -f "${arquivos[$i]}" ]]; then
      if [[ $i -eq 0 ]]; then
        cat "${arquivos[$i]}" > "$destino"
      else
        tail -n +2 "${arquivos[$i]}" >> "$destino"
      fi
    else
      echo "Aviso: Arquivo não encontrado: ${arquivos[$i]}" >&2
    fi
  done
}

CSV_FILES=(
  /var/gits/_osmc/BR/data/synonym.csv
  /var/gits/_osmc/CM/data-CC0/synonym.csv
  /var/gits/_osmc/CO_new/data/synonym.csv
  /var/gits/_osmc/SV/data/synonym.csv
  /var/gits/_osmc/EC_new/data/synonym.csv
  /var/gits/_osmc/UY_new/data/synonym.csv
)
TMP_CSV="/tmp/all_synonyms.csv"
concatenar_csvs_sem_cabecalho CSV_FILES "$TMP_CSV"
psql ${DB_URL} -c "TRUNCATE TABLE ${TB_ABBREV_REF} CASCADE;"
psql ${DB_URL} -c "COPY ${TB_ABBREV_REF} FROM '/var/gits/_osmc/BR/data/synonym_ref.csv' WITH DELIMITER ',' CSV HEADER;"
psql ${DB_URL} -c "COPY ${TB_ABBREV}     FROM '$TMP_CSV'                                WITH DELIMITER ',' CSV HEADER;"
rm -f "$TMP_CSV"

# 06. Web service

## 06.1 GERAR software dos países no PK21, conforme https://git.osm.codes/AFAcodes-softwareGen/blob/main/tpl-c/README.md
pushd /var/gits/_osmc/AFAcodes-softwareGen/
git pull

sudo rm -rf /tmp/gridConf* ~/BR
sudo make br-c outPath='/tmp/gridConfC'
sudo mv /tmp/gridConfC/BR ~/

sudo rm -rf /tmp/gridConf* ~/CM
sudo make cm-c outPath='/tmp/gridConfC'
sudo mv /tmp/gridConfC/CM ~/

sudo rm -rf /tmp/gridConf* ~/CO
sudo make co-c outPath='/tmp/gridConfC'
sudo mv /tmp/gridConfC/CO ~/

sudo rm -rf /tmp/gridConf* ~/SV
sudo make sv-c outPath='/tmp/gridConfC'
sudo mv /tmp/gridConfC/SV ~/

## 06.2 INSTALAR software dos países:

run_make() {
  local dir=$1
  pushd "$dir" || exit

  if [[ "$dir" == "BR" ]]; then
    make clean_sql PG_DB="$PG_DB" PG_VERSION="$PG_VERSION"
  fi

  make build                              PG_VERSION="$DATALAKE_DB_PG_VERSION"
  make install                            PG_VERSION="$DATALAKE_DB_PG_VERSION"
  make clean                              PG_VERSION="$DATALAKE_DB_PG_VERSION"
  make load_sql  PG_DB="$DATALAKE_DBNAME" PG_VERSION="$DATALAKE_DB_PG_VERSION"
  make test      PG_DB="$DATALAKE_DBNAME" PG_VERSION="$DATALAKE_DB_PG_VERSION"

  popd || exit
}

for country in BR CM CO SV; do
  run_make "$country"
done

## 06.3 Dependências
psql ${DB_URL} < /var/gits/_osmc/AFAcodes-softwareGen/tpl/src/grid_step01-libCommon.sql
psql ${DB_URL} < /var/gits/_osmc/WS/src/lib-geoUriExt.sql
psql ${DB_URL} < /var/gits/_osmc/WS/src/step01ggeohash-lib.sql

## 06.4 Carregar apis:
psql ${DB_URL} < /var/gits/_osmc/WS/src/step01geoUriExt-api.sql
psql ${DB_URL} < /var/gits/_osmc/WS/src/step01ggeohash-api.sql

# 07 Coberturas:
## 07.1 Coberturas:
CSV_FILES=(
  /var/gits/_osmc/BR/data/citycover.csv
  /var/gits/_osmc/CM/data-restricted/citycover.csv
  /var/gits/_osmc/CO_new/data/citycover.csv
  /var/gits/_osmc/SV/data/citycover.csv
)
TMP_CSV="/tmp/all_cover.csv"

cat <<EOF > "$TMP_CSV"
BR,1,,14a 14b 14e 14f 148 149 14c 14d 142 143 146 147 141 144 145 140T 140P 140N,,,
CM,1,,1fb 1fc 1fd 1fe 1f8 1f9 1fa 1f4 1f5 1f6 1f7 1f1 1f2 1f3 1f0,,,
CO,1,,2C8 2Ca 2C1 2C3 2C9 2Cb 2C4 2C6 2Cc 2Ce 2C5 2C7 2Cd 2C0 2C2 2Cf,,,
SV,1,,390 392 398 39a 397 391 393 399 39b 395 394 396 39c,,,
EOF
psql ${DB_URL} -c"TRUNCATE TABLE osmc.citycover_raw; COPY osmc.citycover_raw FROM '$TMP_CSV' WITH DELIMITER ',' CSV HEADER;"
rm -f "$TMP_CSV"



# 08 Refresh em materialized views:
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW mvwjurisdiction_synonym;"
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW osmc.mvjurisdiction_bbox_border;"
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW osmc.mvwcoverage;"
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW osmc.mvwjurisdiction_geom_buffer_clipped;"
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW osmc.mvwjurisdiction_coverage;"
psql ${DB_URL} -c"REFRESH MATERIALIZED VIEW osmc.mvwjurisdiction_geojson_from_isolabel;"

# 08. Rodar testes
# VERIFICAR psql ${DB_URL} < /var/gits/_osmc/GGeohash/src/step90assert-p1.sql
psql ${DB_URL} < /var/gits/_osmc/WS/src/assert.sql

# 09. Subir docker
cd /var/gits/_a4a/WS/src/
sudo docker-compose  up -d  ${DATALAKE_DOCKER}

[ppKrauss]

@0e1 , sobre Javascript e minimização com terser? indicar como faz por cada JS, por exemplo terser $MyGit/src/main.js --compress --mangle --output /assets/main.min.js. Precisa de clareza de comandos e dos paths, se não estiverem no makefile.

Ver e contribuir com novo branch https://github.com/osm-codes/BR-novoCEP/blob/inicializando/src/index.html
onde ainda precisamos criar pasta de assets (pode ser tudo em uma pasta) ou similar separando do index.

Também indicar de onde veio (fork), no git (e no /var/www/osm.codes se não tiver sincronia garantida com git). Por exemplo o index veio de https://github.com/osm-codes/gridMap-draftPages/blob/main/logistic_br/index.html

[ppKrauss]

Carlos atualizou o docker-compose

Carlos precisa documentar em qual porta criou, que comando usou, se não estiver referido em makefile.

[ppKrauss]

CLOSE? Listar aqui o que falta para fecharmos essa issue

[ppKrauss]

Incluir na base cepdb tabela ou tabelas de grade Brasil, com colunas gid com hInt e colunas code_b32nvu, code_b16h e geom e o que mais for mínimo necessário, até o level das coberturas municipais padronizadas pela base32. Elas são importantes para o framework e análise rápida no QGIS.