Pāriet uz saturu

Kontrolsummu datņu veidošana: Atšķirības starp versijām

No ''Latvijas Nacionālā bibliotēka''
Azogla (diskusija | devums)
Jauna lapa: <big>''<span style="color:#d00000; font-weight:bold; font-size:120%;">Aktualizēts <u>{{REVISIONDAY2}}.{{REVISIONMONTH}}.{{REVISIONYEAR}}</u></span>'' — [{{fullurl:Kontrolsummu datņu veidošana|action=history}} skatīt izmaiņu vēsturi]''</big> <div style="border: 2px solid #d33; background-color: #fee; padding: 0.8em; border-radius: 6px;">'''⚠️ Šī lapa joprojām ir izstrādes stadijā.'''</div> Ja arhīvdatņu un Lietotājdatņu veidošan...
 
Azogla (diskusija | devums)
 
(2 starpversijas, ko mainījis tas pats dalībnieks, nav parādītas)
1. rindiņa: 1. rindiņa:
<big>''<span style="color:#d00000; font-weight:bold; font-size:120%;">Aktualizēts <u>{{REVISIONDAY2}}.{{REVISIONMONTH}}.{{REVISIONYEAR}}</u></span>'' — [{{fullurl:Kontrolsummu datņu veidošana|action=history}} skatīt izmaiņu vēsturi]''</big>
<big>''<span style="color:#d00000; font-weight:bold; font-size:120%;">Aktualizēts <u>{{REVISIONDAY2}}.{{REVISIONMONTH}}.{{REVISIONYEAR}}</u></span>'' — [{{fullurl:Kontrolsummu datņu veidošana|action=history}} skatīt izmaiņu vēsturi]''</big>
<div style="border: 2px solid #d33; background-color: #fee; padding: 0.8em; border-radius: 6px;">'''⚠️ Šī lapa joprojām ir izstrādes stadijā.'''</div>
<div style="border: 2px solid #d33; background-color: #fee; padding: 0.8em; border-radius: 6px;">'''⚠️ Šī lapa joprojām ir izstrādes stadijā.'''</div>
Ja [[Arhīvdatņu veidošana|arhīvdatņu]] un [[Lietotājdatņu veidošana|lietotājdatņu]] apjoms ir liels (lielumu nosaka katra institūcija atseviški, piemēram, sākot no 5MB), tad ieteicams veidot datņu [[Kontrolsummu datņu veidošana|kontrolsummu]] datnes, kas nodrošina datņu pārvietošanas vai pārsūtīšanas pilnības kontroli, t.i. tiek gūta pārliecība, ka pārvietotā vai saņemtā lielapjoma datne nav izmainījusies/bojāta.
Digitālās saglabāšanas procesā ir kritiski svarīgi nodrošināt, lai radītās arhīvdatnes un metadati to dzīves ciklā netiktu nejauši modificēti, sabojāti vai pazaudēti. Šo neaizskaramības un autentiskuma kontroli nodrošina '''kontrolsummas''' (''checksums'') – unikāli digitālie "pirkstu nospiedumi", ko ģenerē specializēti kriptogrāfiskie algoritmi.
Pieejamākais veids izmantot brīvi pieejamos [[Kontrolsummu datņu veidošana|kontrolsummu]] kalkulatorus, iespējamais formāts – md5.
 
Datņu pilnība/kvalitātes pārbaudi nodrošina secīgi izpildot:
=== Apjoma un lietojamības nosacījumi ===
* Datu avota datnes turētājs aprēķina datnes [[Kontrolsummu datņu veidošana|kontrolsummu]], iegūstot jaunu kontrolsummas datni,
* '''Obligātums visām arhīvdatnēm:''' Kontrolsummu ģenerēšana ir obligāts priekšnosacījums '''visām arhīvdatnēm bez izņēmuma''', nevis tikai failiem no noteikta izmēra (piemēram, 5 MB). Pat dažu kilobaitu liels metadatu XML fails vai neliels attēls prasa integritātes kontroli.
* Avota un kontrolsummas datnes avota turētājs nodod / nosūta datu saņēmējam,
* '''Pielietojums:''' Kontrolsummas izmanto datņu masveida pārvietošanas, tīkla pārraides (piemēram, augšupielādējot mākoņkrātuvēs vai nododot ārpakalpojumu sniedzējam), kā arī regulāru automātisko sistēmas auditu (''fixity checking'') laikā digitālajā arhīvā.
* Datu saņēmējs pārbauda avota datne atbilstību kontrolsummai.
 
Vairāk un detalizētāka tehniskā informācija pieejama internetā, piemēram, https://docs.fileformat.com/misc/md5/.
== Aktuālie algoritmi un standarti ==
 
Tehnoloģiju attīstības un drošības risku dēļ algoritmu izvēle ir būtiski mainījusies:
 
* '''Novecojis standarts (MD5):''' Vēsturiski populārais `MD5` algoritms mūsdienās vairs netiek rekomendēts kritisku datu integritātes pārbaudei kriptogrāfiskās ievainojamības un kolīziju (''collisions'') riska dēļ. To var izmantot tikai kā ātru palīgrīku lokālai datņu pārsūtīšanas validācijai.
* '''Mūsdienu industrijas standarti:''' Kultūras mantojuma ilglaicīgai saglabāšanai un drošībai obligāti ieteicams izmantot '''SHA-2''' saimes algoritmus:
** '''SHA-256''' – optimāls balanss starp aprēķinu ātrumu un drošību, plaši integrēts digitālo arhīvu sistēmās.
** '''SHA-512''' augstākā līmeņa drošība, ieteicama īpaši lieliem datu masīviem (kino un video arhīvdatnēm).
 
== Darba plūsma: Integritātes pārbaudes secīgie posmi ==
 
Datņu pilnības un nemainības pārbaude tiek nodrošināta, secīgi izpildot trīs posmu tehnoloģisko ķēdi:
 
=== 1. posms: Kontrolsummas ģenerēšana (Datu avotā) ===
Uzreiz pēc datnes izveides vai pēcapstrādes pabeigšanas, datu turētājs (digitalizācijas speciālists vai automatizēta sistēma) ar specializētu rīku aprēķina datnes sākotnējo kontrolsummu. Rezultāts tiek saglabāts kā atsevišķa teksta datne (piemēram, `manifest.sha256`) vai ierakstīts tieši sistēmas metadatu bāzē.
 
=== 2. posms: Datu un pavaddatņu nodošana ===
Datu avota turētājs nosūta vai nodod saņēmējam (institūcijas digitālajam arhīvam, pasūtītājam) abas komponentes kopā:
# Pašu digitalizēto objektu (arhīvdatni/lietotādatni);
# Tam piesaistīto kontrolsummas vērtību vai manifesta datni.
 
=== 3. posms: Validācija un verifikācija (Datu saņemšanā) ===
Datu saņēmējs savā pusē, izmantojot to pašu algoritmu (piemēram, SHA-256), vēlreiz aprēķina saņemtā objekta kontrolsummu un salīdzina to ar atsūtīto vērtību:
* '''Rezultāts sakrīt:''' Datne ir identiska, pārsūtīšana bijusi veiksmīga.
* '''Rezultāts nesakrīt (kaut par vienu simbolu):''' Datne ir bojāta, nepilnīga vai mainīta. Tā tiek noraidīta, un process ir jāatkārto.
 
== Automatizācijas rīki un integrācija ==
 
Manuāla kontrolsummu rēķināšana ar kalkulatoriem pieļaujama tikai nelieliem testa apjomiem. Masveida ražošanā jāizmanto automatizēti un standartizēti risinājumi:
 
* '''BagIt standarts (IETF RFC 8493):''' Starptautiski atzīts digitālo objektu pakošanas formāts. Tas automātiski strukturē mapes saturu, ģenerē nepieciešamos manifestus ar kontrolsummām un nodrošina standartizētu datu apmaiņu starp KMI un digitālajiem arhīviem.
* '''Komandrindas un automatizācijas rīki:'''
** ''Linux/macOS:'' Integrētie rīki `sha256sum` vai `shasum -a 256`.
** ''Windows:'' `CertUtil -hashfile [datne] SHA256` vai specializētas atvērtā koda grafiskās saskarnes programmas (piemēram, ''QuickSFV'', ''HashCheck'').
* '''Digitālo arhīvu iebūvētās sistēmas:''' Mūsdienu repozitoriju platformas (piemēram, ''Archivematica'', ''Roda'') un mākoņkrātuves veic pilnībā automatizētu, regulāru kontrolsummu pārrēķināšanu fonā (''background scrubbing''), lai savlaicīgi detektētu datu fizisku degradāciju (''bit rot'') uz datu nesējiem.
 
[[Kategorija:Digitalizācija]]
[[Kategorija:Datu drošība]]
[[Kategorija:Kvalitātes kontrole]]
[[Kategorija:Digitālā saglabāšana]]


== Skatīt arī ==
== Skatīt arī ==

Pašreizējā versija, 2026. gada 22. maijs, plkst. 14.53

Aktualizēts 22.05.2026skatīt izmaiņu vēsturi

⚠️ Šī lapa joprojām ir izstrādes stadijā.

Digitālās saglabāšanas procesā ir kritiski svarīgi nodrošināt, lai radītās arhīvdatnes un metadati to dzīves ciklā netiktu nejauši modificēti, sabojāti vai pazaudēti. Šo neaizskaramības un autentiskuma kontroli nodrošina kontrolsummas (checksums) – unikāli digitālie "pirkstu nospiedumi", ko ģenerē specializēti kriptogrāfiskie algoritmi.

Apjoma un lietojamības nosacījumi

  • Obligātums visām arhīvdatnēm: Kontrolsummu ģenerēšana ir obligāts priekšnosacījums visām arhīvdatnēm bez izņēmuma, nevis tikai failiem no noteikta izmēra (piemēram, 5 MB). Pat dažu kilobaitu liels metadatu XML fails vai neliels attēls prasa integritātes kontroli.
  • Pielietojums: Kontrolsummas izmanto datņu masveida pārvietošanas, tīkla pārraides (piemēram, augšupielādējot mākoņkrātuvēs vai nododot ārpakalpojumu sniedzējam), kā arī regulāru automātisko sistēmas auditu (fixity checking) laikā digitālajā arhīvā.

Aktuālie algoritmi un standarti

Tehnoloģiju attīstības un drošības risku dēļ algoritmu izvēle ir būtiski mainījusies:

  • Novecojis standarts (MD5): Vēsturiski populārais `MD5` algoritms mūsdienās vairs netiek rekomendēts kritisku datu integritātes pārbaudei kriptogrāfiskās ievainojamības un kolīziju (collisions) riska dēļ. To var izmantot tikai kā ātru palīgrīku lokālai datņu pārsūtīšanas validācijai.
  • Mūsdienu industrijas standarti: Kultūras mantojuma ilglaicīgai saglabāšanai un drošībai obligāti ieteicams izmantot SHA-2 saimes algoritmus:
    • SHA-256 – optimāls balanss starp aprēķinu ātrumu un drošību, plaši integrēts digitālo arhīvu sistēmās.
    • SHA-512 – augstākā līmeņa drošība, ieteicama īpaši lieliem datu masīviem (kino un video arhīvdatnēm).

Darba plūsma: Integritātes pārbaudes secīgie posmi

Datņu pilnības un nemainības pārbaude tiek nodrošināta, secīgi izpildot trīs posmu tehnoloģisko ķēdi:

1. posms: Kontrolsummas ģenerēšana (Datu avotā)

Uzreiz pēc datnes izveides vai pēcapstrādes pabeigšanas, datu turētājs (digitalizācijas speciālists vai automatizēta sistēma) ar specializētu rīku aprēķina datnes sākotnējo kontrolsummu. Rezultāts tiek saglabāts kā atsevišķa teksta datne (piemēram, `manifest.sha256`) vai ierakstīts tieši sistēmas metadatu bāzē.

2. posms: Datu un pavaddatņu nodošana

Datu avota turētājs nosūta vai nodod saņēmējam (institūcijas digitālajam arhīvam, pasūtītājam) abas komponentes kopā:

  1. Pašu digitalizēto objektu (arhīvdatni/lietotādatni);
  2. Tam piesaistīto kontrolsummas vērtību vai manifesta datni.

3. posms: Validācija un verifikācija (Datu saņemšanā)

Datu saņēmējs savā pusē, izmantojot to pašu algoritmu (piemēram, SHA-256), vēlreiz aprēķina saņemtā objekta kontrolsummu un salīdzina to ar atsūtīto vērtību:

  • Rezultāts sakrīt: Datne ir identiska, pārsūtīšana bijusi veiksmīga.
  • Rezultāts nesakrīt (kaut par vienu simbolu): Datne ir bojāta, nepilnīga vai mainīta. Tā tiek noraidīta, un process ir jāatkārto.

Automatizācijas rīki un integrācija

Manuāla kontrolsummu rēķināšana ar kalkulatoriem pieļaujama tikai nelieliem testa apjomiem. Masveida ražošanā jāizmanto automatizēti un standartizēti risinājumi:

  • BagIt standarts (IETF RFC 8493): Starptautiski atzīts digitālo objektu pakošanas formāts. Tas automātiski strukturē mapes saturu, ģenerē nepieciešamos manifestus ar kontrolsummām un nodrošina standartizētu datu apmaiņu starp KMI un digitālajiem arhīviem.
  • Komandrindas un automatizācijas rīki:
    • Linux/macOS: Integrētie rīki `sha256sum` vai `shasum -a 256`.
    • Windows: `CertUtil -hashfile [datne] SHA256` vai specializētas atvērtā koda grafiskās saskarnes programmas (piemēram, QuickSFV, HashCheck).
  • Digitālo arhīvu iebūvētās sistēmas: Mūsdienu repozitoriju platformas (piemēram, Archivematica, Roda) un mākoņkrātuves veic pilnībā automatizētu, regulāru kontrolsummu pārrēķināšanu fonā (background scrubbing), lai savlaicīgi detektētu datu fizisku degradāciju (bit rot) uz datu nesējiem.

Skatīt arī