load actual data

[epogrebnyak]

In parsers repository we have a method to generate full dataset for the database and a slice of dataset after a specific date.

What is a way to put it in actual database (sqlite in our case) ?

[epogrebnyak]

The actual data sits here:

https://github.com/mini-kep/parsers/blob/master/parsers/runner.py#L170-L171

gen = Dataset.yield_dicts()

[Rub4ek]

Setup script for parsers: mini-kep/parsers#23

[Rub4ek]

Ok, now we can add parsers to requirements.txt:

git+git://github.com/mini-kep/parsers.git@d04d20c4b1240ccf700bd5b6d6c64346d05f624a#egg=mini-kep-parsers

[epogrebnyak]

а без коммита не пройдет?

git+git://github.com/mini-kep/parsers.git

[Rub4ek]

а без коммита не пройдет?

Пройдет. И будет брать последний коммит. Но как по мне лучше всегда фиксировать версию, что бы случайно не сломать что-либо каким-то обратно несовместимым изменением в зависимости.

[epogrebnyak]

я, понял, так правда надежнее, типа релиза

[epogrebnyak]

хороший способ передать код парсеров в дургие проекты, я как-то не додумался, хотел готовиться через Pypi гонять

[epogrebnyak]

добавишь в requirements.txt?

[Rub4ek]

ну как будет выполняться данная задача (to generate full dataset to put it in actual database), так и добавим

[epogrebnyak]

смотри, @tinivir выбыла до следующей недели, если готов - делай свою версию этого ишью сегодня - завтра и будем на след неделе вместе смотреть