Vanhojen koetiedostojen ja vastaustiedostojen siivoaminen

[miguit]

Selvitys ja suunnitelma siitä kuinka vanhat koetiedostot poistetaan koululla sijaitsevilta palvelimilta minkäkin ajan päästä ja sama koskee myös koetiedostoja. Aiemmin koeajakajan osaltahan muistaakseni KTP jakokansiossa olleet kokeet poistettiin päivittäin. Olisiko tämä edelleen oikea tapa?

Pitäisi päättää millä aikavälillä myös palvelimella olevat viiden minuutin välein otetut vastaukset poistetaan. Mitä säilytetään ja kuinka kauan. Poistetaanko palvelimella olevat välitalletustiedot esimerkiksi viikonloppuisin vai esimerkiksi seitsemän päivän päästä.

Myös lopulliset final-vastauspaketit varmaan syytä poistaa viimeistään kahden viikon päästä.

[miguit]

Automaattisen siivouslogiikan toteutus ja levynkäytön optimointi
Kuvaus:
Palvelimen levytila täyttyy vanhoista koetiedostoista, koepaketeista ja orvoksi jääneistä tiedostoista (orphan files). Lisäksi suurikokoiset välivastaukset aiheuttavat merkittävää verkkokuormaa ja levyn täyttymistä kokeiden aikana. Järjestelmään on toteutettava automaattinen siivousprosessi levynhallinnan ja suorituskyvyn varmistamiseksi.

1. Datan säilytysajat ja poistolista
   Toteutetaan skripti tai taustaprosessi, joka poistaa tiedostot seuraavan aikataulun mukaisesti:

Koetiedostot ja -paketit: Poisto 2 vrk kuluttua luomisesta. (Lyhyt kierto riittää, koska data onoma.abitti.fi-palvelussa).

Orphan-tiedostot (isännättömät tiedostot): Poisto viimeistään 7 vrk kuluttua.
Miksi näitä edes tulee ilmeisesti BUGI

Huom: Säilytetään aina sarjan viimeisin versio 7 vuorokauteen asti, jotta vastausten kuuluvuus voidaan varmistaa vikatilanteissa.

Välivastaukset: Poisto < 48 h kokeen päättymisestä tai heti, kun lopullinen vastaus on vahvistettu.(jos tila on loppumassa)

Yleinen takaraja: Kaikki kokeeseen liittyvä data poistetaan palvelimelta viimeistään 14 vrk kuluttua.

2. Suorituskyvyn optimointi (Välivastaukset)
   Välivastausten koko (esim. 500 Mt) 5 minuutin välein voi aiheuttaa kestämättömän kuorman (n. 15 Mbps jatkuva lähetysnopeus per paketti).

Rajoitin?: Asetetaan hälytysraja, jos yksittäisen vastauspaketin koko ylittää 500 Mt, jotta verkon tukkeutuminen voidaan ennakoida voidaanko vastauksia lähettää harvemmin?

3. Tavoite
   Varmistaa, ettei palvelimen levy täyty (Disk Full -virheet).

Vähentää tarpeetonta data-ajoa konesaliin.

Automatisoida ylläpitotyö, jota nyt joudutaan tekemään manuaalisesti.

[tuomasjjrasanen]

masterissa nyt toteutettu:

• koetiedostoja ei siivota
• onnistuneesti käytetyt koepakettitiedostot poistetaan 1vrk:n jälkeen
• vastaustiedostot poistetaan 2vkon jälkeen

[tuomasjjrasanen]

Nämä tulevat mukaan tulevaan versioon 0.4.0.

0.3.x -sarjaan en näitä ota, koska sen on tarkoitus pysyä tunnettuna stabiilina ja sen oletettava viimeinen versio 0.3.10 tulee mukaan seuraavaan päätekuvaan

[tuomasjjrasanen]

Mikäli lähetyskaistaa halutaan rajoittaa, niin sanoisin että parempi avata sille uusi tiketti.