¿Cuáles son los 10 tipos de datos más necesarios?

[fesja]

Dentro del objetivo de buscar y formatear datos que otras personas reutilicen, podemos ponernos como objetivo 10 tipos de datos. Y deberían ser claro, lo más reusados. Si conseguimos en un mes tener esos 10 en varios formatos, habremos conseguido una pequeña victoria y ya podremos pensar en objetivos más grandes o complicados.

Ante todo, ¿qué os parece centrarnos en 10 para empezar? Y si sí, ¿cuáles elegimos? A mi se me ocurren:

• Regiones administrativas (Comunidades, provincias, diputaciones, municipios) (Con coordenadas y shapefiles)
• Códigos postales (Con coordenadas y shapefiles)
• Regiones censales (shapefiles).
• Tipos de Calle (los diversos sinónimos que utiliza la administración)
• Listado de Calles
• Playas (como representante de items geográficos)
• Aeropuertos (con codigo IATA)

¿cuál añadiríais más? ¿cambiaríais alguna?

[sergioaguado]

El de playas ya esta en abierto en la página de datos abiertos del gob.

[alorma]

Sueldos, transparencia política

[jpaulet]

Conjuntos prioritarios
El Open Data Charter define como objetivo la publicación de cuatro conjuntos de datos prioritarios de manera inmediata:

• Estadísticas nacionales
• Mapas nacionales
• Datos electorales a nivel nacional
• Presupuestos nacionales

Conjuntos de alto valor
Por otro lado se identifican también catorce áreas temáticas con gran potencial desde el punto de vista de una mejor gobernanza y el fomento de la innovación donde se deberían centrar los esfuerzos de publicación de datos en el futuro próximo:

• Empresas
• Seguridad y Justicia
• Recursos de la tierra
• Educación
• Energía y Medio ambiente
• Finanzas y contratación
• Geoespacial
• Desarrollo global
• Transparencia y democracia
• Sanidad
• Ciencia e investigación
• Estadísticas
• Sociedad y bienestar
• Transporte e infraestructuras

Esto serían 18 campos diferentes, muy amplios.

Por lo tanto, para especificar un poco más y dejarlo en 8:

1 Estadistica Nacional:

Estadísticas nacionales clave como indicadores demográficos y económicos ( PIB , el desempleo, población , etc.). Para satisfacer esta categoría , se deben cumplir los siguientes requisitos mínimos

- PIB para todo el país actualizado al menos cada trimestre
- Las estadísticas de desempleo actualizan al menos cada mes
- Población actualiza al menos una vez al año

2 Presupuesto del Gobierno

Presupuesto nacional del gobierno, para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

Presupuesto previsto dividido por departamento gubernamental y subdepartamento
Actualizado una vez al año.
El presupuesto debe incluir descripciones relativas a las diferentes secciones del presupuesto.

3 Legislación

Esta categoría de datos requiere que todas las leyes y los estatutos nacionales disponibles para estar disponible en línea.

4 Licitaciones

Todas las licitaciones y adjudicaciones del gobierno nacional / autonomico agregados por la oficina. Supervisión de las ofertas pueden ayudar a los nuevos grupos para participar en las licitaciones y aumentar el cumplimiento del gobierno. Los datos presentados en esta categoría deben ser agregados por la oficina, actualizado al menos cada mes y satisfacer los siguientes requisitos mínimos:

Concursos:
    nombre de las ofertas
    Descripción de licitación

Premios:
    Premio del título
    Descripción del premio
    valor de la concesión
    nombre del proveedor

5 Resultados de las elecciones

Esta categoría de datos requiere resultados por circunscripción / comunidades para todas las contiendas electorales nacionales. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

    Como resultado de todas las principales contiendas electorales
    Número de votos registrados
    Número de votos no válidos
    Número de votos nulos

6 Mapa Nacional

Esta categoría de datos requiere un mapa nacional de alto nivel. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

    Escala de 1: 250.000 (1 cm = 2.5km).
    Las marcas de las carreteras nacionales
    Las fronteras nacionales
    Marcado de los arroyos, ríos, lagos, montañas.
    Actualizado al menos una vez al año.

7 Registro de Empresa

Lista de empresas registradas (de responsabilidad limitada). Las presentaciones en esta categoría de datos no necesitan incluir datos financieros detallados, como balance, etc. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

    Nombre de la compañía
    Identificador único de la empresa
    Dirección de la empresa
    Actualizado al menos una vez al mes

8 Ubicación conjuntos de datos

Una base de datos de códigos postales / códigos postales y las localizaciones espaciales correspondientes en términos de una latitud y una longitud (o coordenadas similares en un sistema de coordenadas nacional publicada abiertamente). Si un sistema de código postal / código postal no existe en el país, por favor enviar un conjunto de datos de fronteras administrativas. Los datos presentados en esta categoría deberán cumplir las siguientes condiciones mínimas

    Códigos ZIP
    Dirección
    Coordenadas (latitud y longitud)
    nivel nacional

    actualizado una vez al año

    Límites administrativos
    Polígonos
    nombre del polígono (ciudad, barrio)
    actualizado una vez al año

Información basada en: http://index.okfn.org/dataset/ a partir de datos disponibles en otros países.

A partir de los consejos del OpenSunlight Fundation, en su Open Data Policy Guidelines (http://sunlightfoundation.com/opendataguidelines/examples/#lists-of-holdings), deberíamos disponer de una herramienta para un libre voto de los datos más solicitados:

Especificar los métodos para determinar la prioridad de publicación de los datos

Puede que una simple herramienta web, abierta y colaborativa con una lista de:

'Nombre del Dato a liberar' - Votos

Podría ayudar para el futuro.

[sergioaguado]

El censo algo prioritario diría yo porque es bastante dificil acceder, no hay buena actualización y si no se sabe la gente que habita en un sitio, los demás datos (como votos) carecen de contexto de referencia.

Un saludo: Sergio Aguado Machuca

El 7 abr 2016, a las 14:09, jp_aulet <notifications@github.commailto:notifications@github.com> escribió:

Conjuntos prioritarios
El Open Data Charter define como objetivo la publicación de cuatro conjuntos de datos prioritarios de manera inmediata:

• Estadísticas nacionales
• Mapas nacionales
• Datos electorales a nivel nacional
• Presupuestos nacionales

Conjuntos de alto valor
Por otro lado se identifican también catorce áreas temáticas con gran potencial desde el punto de vista de una mejor gobernanza y el fomento de la innovación donde se deberían centrar los esfuerzos de publicación de datos en el futuro próximo:

• Empresas
• Seguridad y Justicia
• Recursos de la tierra
• Educación
• Energía y Medio ambiente
• Finanzas y contratación
• Geoespacial
• Desarrollo global
• Transparencia y democracia
• Sanidad
• Ciencia e investigación
• Estadísticas
• Sociedad y bienestar
• Transporte e infraestructuras

Esto serían 18 campos diferentes, muy amplios.

Por lo tanto, para especificar un poco más y dejarlo en 8:

1 Estadistica Nacional:

Estadísticas nacionales clave como indicadores demográficos y económicos ( PIB , el desempleo, población , etc.). Para satisfacer esta categoría , se deben cumplir los siguientes requisitos mínimos

• PIB para todo el país actualizado al menos cada trimestre
• Las estadísticas de desempleo actualizan al menos cada mes
• Población actualiza al menos una vez al año

2 Presupuesto del Gobierno

Presupuesto nacional del gobierno, para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

Presupuesto previsto dividido por departamento gubernamental y subdepartamento
Actualizado una vez al año.
El presupuesto debe incluir descripciones relativas a las diferentes secciones del presupuesto.

3 Legislación

Esta categoría de datos requiere que todas las leyes y los estatutos nacionales disponibles para estar disponible en línea.

4 Licitaciones

Todas las licitaciones y adjudicaciones del gobierno nacional / autonomico agregados por la oficina. Supervisión de las ofertas pueden ayudar a los nuevos grupos para participar en las licitaciones y aumentar el cumplimiento del gobierno. Los datos presentados en esta categoría deben ser agregados por la oficina, actualizado al menos cada mes y satisfacer los siguientes requisitos mínimos:

Concursos:
nombre de las ofertas
Descripción de licitación

Premios:
Premio del título
Descripción del premio
valor de la concesión
nombre del proveedor

5 Resultados de las elecciones

Esta categoría de datos requiere resultados por circunscripción / comunidades para todas las contiendas electorales nacionales. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

Como resultado de todas las principales contiendas electorales
Número de votos registrados
Número de votos no válidos
Número de votos nulos

6 Mapa Nacional

Esta categoría de datos requiere un mapa nacional de alto nivel. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

Escala de 1: 250.000 (1 cm = 2.5km).
Las marcas de las carreteras nacionales
Las fronteras nacionales
Marcado de los arroyos, ríos, lagos, montañas.
Actualizado al menos una vez al año.

7 Registro de Empresa

Lista de empresas registradas (de responsabilidad limitada). Las presentaciones en esta categoría de datos no necesitan incluir datos financieros detallados, como balance, etc. Para satisfacer esta categoría, se deben cumplir los siguientes requisitos mínimos:

Nombre de la compañía
Identificador único de la empresa
Dirección de la empresa
Actualizado al menos una vez al mes

8 Ubicación conjuntos de datos

Una base de datos de códigos postales / códigos postales y las localizaciones espaciales correspondientes en términos de una latitud y una longitud (o coordenadas similares en un sistema de coordenadas nacional publicada abiertamente). Si un sistema de código postal / código postal no existe en el país, por favor enviar un conjunto de datos de fronteras administrativas. Los datos presentados en esta categoría deberán cumplir las siguientes condiciones mínimas

Códigos ZIP
Dirección
Coordenadas (latitud y longitud)
nivel nacional

actualizado una vez al año

Límites administrativos
Polígonos
nombre del polígono (ciudad, barrio)
actualizado una vez al año

Información basada en: http://index.okfn.org/dataset/ a partir de datos disponibles en otros países.

A partir de los consejos del OpenSunlight Fundation, en su Open Data Policy Guidelines (http://sunlightfoundation.com/opendataguidelines/examples/#lists-of-holdings), deberíamos disponer de una herramienta para un libre voto de los datos más solicitados:

Especificar los métodos para determinar la prioridad de publicación de los datos

Puede que una simple herramienta web, abierta y colaborativa con una lista de:

'Nombre del Dato a liberar' - Votos

Podría ayudar para el futuro.

You are receiving this because you commented.
Reply to this email directly or view it on GitHubhttps://github.com//issues/6#issuecomment-206841233

[sdemingo]

Aunque puede considerarse dentro de "Presupuestos" yo añadiría sueldos de trabajadores públicos de cualquier nivel adscritos tanto a gobierno central como a consejerías autonómicas.

[jpaulet]

@sergioaguado Si el censo será complicado, ya que la población es facil de conseguir (en todos los niveles de granularidad, desde Estatal a Municipal), pero el censo no.

Una de las opciones (no muy buena) seria dirigirse a: http://www.ine.es/jaxi/tabla.do?path=/t20/e244/avance/p02/l0/&file=1mun00.px&type=pcaxis

Donde existe el censo de población por edad y municipio, y luego restar los números de 0 a 17 años, pero los datos están sólo disponibles hasta el 2011 y tampoco sé si seria válido este método. Però otras fuentes de datos no estan disponibles: http://www.ine.es/ss/Satellite?L=es_ES&c=Page&cid=1259944131822&p=1259944131822&pagename=CensoElectoral%2FINELayout (todos los links fallan).

A nivel de http://datos.gob.es tampoco veo nada a nivel Estatal (ya que los datos existentes son un link a la pagina del INE) y existe esta pagina http://www.ine.es/prodyser/micro_padron.htm pero tampoco parecen muy utiles los datos (formato .TXT).

[sergioaguado]

Buenas

Creo que el INE vende unos CD con esa información de población a nivel de unidad censal.

Por otro lado, los puntos de interés están bastante bien cubiertos con la api de Google yo creo.

---

De: jp_aulet notifications@github.com
Enviado: jueves, 7 de abril de 2016 15:01
Para: codeforspain/datos
Cc: Sergio Aguado
Asunto: Re: [codeforspain/datos] ¿Cuáles son los 10 tipos de datos más necesarios? (#6)

@sergioaguadohttps://github.com/sergioaguado Si el censo será complicado, ya que la población es facil de conseguir (en todos los niveles de granularidad, desde Estatal a Municipal), pero el censo no.

Una de las opciones (no muy buena) seria dirigirse a: http://www.ine.es/jaxi/tabla.do?path=/t20/e244/avance/p02/l0/&file=1mun00.px&type=pcaxis

Donde existe el censo de población por edad y municipio, y luego restar los números de 0 a 17 años, pero los datos están sólo disponibles hasta el 2011 y tampoco sé si seria válido este método. Però otras fuentes de datos no estan disponibles: http://www.ine.es/ss/Satellite?L=es_ES&c=Page&cid=1259944131822&p=1259944131822&pagename=CensoElectoral%2FINELayout (todos los links fallan).

A nivel de http://datos.gob.es tampoco veo nada a nivel Estatal (ya que los datos existentes son un link a la pagina del INE) y existe esta pagina http://www.ine.es/prodyser/micro_padron.htm pero tampoco parecen muy utiles los datos (formato .TXT).

You are receiving this because you were mentioned.
Reply to this email directly or view it on GitHubhttps://github.com//issues/6#issuecomment-206942588

[fesja]

@sergioaguado @jpaulet aquí está el censo 2011 en formato usable https://team.cartodb.com/u/andrew/tables/spain_census2011/public

@jpaulet ójala tuviéramos acceso a todos esos datos! Pero creo que para una primera fase es demasiado aunque sin duda alguna debería ser objetivo a largo plazo. Asi que me parece muy buena idea tenerlos como referencia.

Si que creo que deberíamos enfocarnos ahora en tipos de datos que más se reutilicen. De esos yo diría que son:

Estadística Nacional:

• PIB para todo el país actualizado al menos cada trimestre
• Las estadísticas de desempleo actualizan al menos cada mes
• Población actualiza al menos una vez al año

Presupuesto del Gobierno

• Presupuesto previsto dividido por departamento gubernamental y subdepartamento Actualizado una vez al año.
• El presupuesto debe incluir descripciones relativas a las diferentes secciones del presupuesto.

Resultados de las elecciones

• Como resultado de todas las principales contiendas electorales
• Número de votos registrados
• Número de votos no válidos
• Número de votos nulos

Mapa Nacional

• Escala de 1: 250.000 (1 cm = 2.5km).
• Las marcas de las carreteras nacionales
• Las fronteras nacionales
• Marcado de los arroyos, ríos, lagos, montañas.
• Actualizado una vez al año

Ubicación conjuntos de datos

• Códigos ZIP
  • Dirección
  • Coordenadas (latitud y longitud)
  • Actualizado una vez al año
• Límites administrativos
  • Polígonos
  • Nombre del polígono (ciudad, barrio)
  • Actualizado una vez al año

¿Qué opináis otros?

[fesja]

Buenas,

Tenemos que decidir qué fuentes de datos priorizamos y así empezamos a trabajar. Siguiendo la guía que propuso @jpaulet y mezclando con lo que habéis comentado otros, propongo los siguientes 10 datasets. Si creéis que hay otros más prioritarios, decidlo y lo vemos entre todos! Si los veis bien, dad el ok.

Los ordeno por posible prioridad.

1. Límites administrativos

• Nombre del polígono (comunidad, provincia, diputación, ciudad, barrio)
• Shapefiles
• Actualizado al menos cada año

2. Códigos ZIP

• Coordenadas (latitud y longitud)
• Con ciudades y barrios
• Shapefiles
• Actualizado al menos cada año

3. Regiones censales

• Detalles del censo
• Shapefiles
• Actualizado cuando el censo se actualiza

4. Población

• Por pais, comunidad y ciudades
• Histórico de varios años
• Actualizado al menos cada año

5. PIB

• Por pais, comunidad y ciudades
• Histórico de varios años
• Actualizado al menos cada trimestre

6. Estadísticas de desempleo

• Por pais, comunidad y ciudades
• Histórico de varios años
• Actualizado al menos cada mes

7. Resultados de las elecciones

• Todas las contiendas electorales
• Por pais, comunidad y ciudades
• Incluir número de votos registrados, en blanco, no válidos, nulos

8. Presupuesto del Gobierno

• Dividido por departamento gubernamental y subdepartamento
• El presupuesto debe incluir descripciones relativas a las diferentes secciones del presupuesto.
• Por pais, comunidad, diputaciones y ciudades
• Actualizado una vez al año.

9. Listado de calles – Catrasto?

• Incluir ciudad, código postal
• Actualizar al menos cada año

10. Aeropuertos

• Incluir coordenadas
• Actualizar al menos cada año

[martgnz]

Respecto a la mayoría de datos de @fesja, son encontrables a través de INE. No sé si tenéis pensado crear una manera de automatizar el procesado. Creo que con los códigos postales hay lío porque los vende Correos.

1. Límites Administrativos

Líneas límite incluye bordes y polígonos de municipios, provincias y comunidades autonómas y se actualiza regularmente. Es lo que habitualmente uso para hacer mapas. Necesita un procesado antes, ya que Canarias y la Península van por separado (lo hago con QGIS). Tengo un repo con municipios pero es solo un TopoJSON que voy usando.

Lo mejor sería crear algo estilo US-Atlas.

3. Regiones censales

El INE tiene abiertos los SHP del Censo desde 2011 junto a indicadores interesantes. Repito, lo mejor sería crear un repo con geodatos de España, que usara makefiles para procesarlos.

7. Resultados elecciones

Este es bastante trabajo. La idea sería bajar los datos en bruto de InfoElectoral y procesarlos, pero están desactualizados, creo. En EEUU existe un proyecto llamado OpenElections que se dedica precisamente a esto.

[tinproject]

Hola! Esto probablemente debería ir en #7 pero aquí está más en contexto.

En mi opinión no habría que utilizar Shapefiles, ya que aunque es un estándar de facto, es un formato propietario. En su lugar lo propio sería usar GeoJSON (http://geojson.org) que se renderiza directamente por GitHub y además está en proceso de estandarización por el W3C.

[martgnz]

No he dicho que tengamos que usar shapefiles. Pero lamentablemente las administraciones sirven este tipo de ficheros.

La idea es crear un makefile que se baje los shapefiles, los convierta con ogr2ogr o similar y tengas un GeoJSON o TopoJSON como resultado. Si no hacemos un proceso reproducible con los datos (como esto) será imposible controlar para el usuario la simplificación o las propiedades del JSON.

[fesja]

Os muevo la conversación a #7 para que no mezclemos :)

@martgnz Estoy totalmente de acuerdo con lo de automatizar los procesos. Hay otra conversación abierta en #9 sobre esto precisamente. Una de las grandes preguntas, que hay que ir dato por dato, y a nivel general empezamos a hablar en #8, es cuando enlazamos a la fuente original y cuando reformateamos.

Cuando acordemos las fuentes prioritarias, creamos una issue por cada uno y ahi debatimos los problemas, formatos, soluciones, etc.

¿os parecen bien entonces esas 10 fuentes? ¿no echáis de menos otra o quitaríais alguna?

[dcabo]

Los Presupuestos Generales del Estado (el punto 8) están disponibles en formato abierto (CSV, separado con puntos y comas) aquí. También está ahí el código que uso para escrapear la web oficial.