Proposed format for input into NLP project

[Zecro-0]

We discussed amongst the NLP team what format could be useful for input into the NLP project. In the end we thought that perhaps a JSON format with the following loose-structure would be good:

{
link: <insert the link to the page that data was scraped from>,
text: "plain text of what was scraped",
raw: <link to the raw file of the scraped data>
}

Please suggest any additional ideas or changes.

[isaksandegren]

Är ni säkra på att ni vill ha hela html texten? Vi kan endast skicka den synliga texten på sidorna. Tänker om det blir lättare med mindre filer.

[Zecro-0]

Det enda vi behöver är länken till hemsidan tillsammans med HTML information. Utöver det kan ni fundera på hur man kan ta ut viktig information för klassificering av företagets aktivitet. Men det viktigaste är att det finns bra dokumentation för hur ni formaterar informationen. Så om ni vill lägga till saker så går det bra, bara det är tydligt hur vi kommer åt allt.