Export Landelijk Datawarehouse (LDWH)

Laatst bijgewerkt op
Als PDF opslaan

Algemeen

Het LDWH-systeem wordt door BNL gebruikt om (statistische) data uit de lokale bibliotheeksystemen in een landelijk systeem te verzamelen. Doelstelling hiervan is om een deel van de landelijke rapportages hieruit te kunnen ontlenen en om aan bibliotheken een rapportagetool te bieden voor het genereren van management-informatie. Voor gebruikers van schoolWise wordt deze export ook gebruikt om gegevens uit schoolWise door te geven voor de (landelijke) Onderwijsmonitor. BNL zal hierbij zorgen voor de koppeling tussen het LDWH en de Onderwijsmonitor. Voor schoolWise-gebruikers zal de BRINcode van de school als “filiaal” worden doorgegeven. Verder zal de code van de groep (uit EDUKLS) worden doorgegeven.

Vanuit de LDWH-export-functie in OCLC Wise moet periodiek een set met gegevens worden geleverd. Deze gegevens kunnen alleen via een FTP-uitwisseling worden geleverd aan BNL. De installatie van deze FTP-uitwisseling is geen onderdeel van deze beschrijving.

Verder zullen voordat wordt gestart met de uitwisseling in het LDWH de zogenaamde “mappingbestanden” moeten worden ingevuld. In deze bestanden wordt een vertaling gemaakt van de coderingen vanuit OCLC Wise naar de coderingen en omschrijving in het LDWH. OCLC heeft geen rol bij het invullen van deze mappingbestanden. Hiervoor moet contact met BNL (of de Provinciale Infrastructuur Coördinator) worden opgenomen. Indien de mapping bestanden niet juist en/of onvoldoende zijn ingevoerd kan dit leiden tot een gehele en/of gedeeltelijke uitsluiting van gegevens voor het LDWH.

Op verzoek van BNL zijn er nog aanpassingen gemaakt waardoor “afgevoerde” leners maar eenmaal worden meegenomen in een export.

Instellingen voor het aansluiten op het LDWH

Benodigde licentie per instantie:

Licentie	Uitleg
BNL_FT_LDWH	Koppeling met Datawarehouse van BNL via FTP. Deze licentie moet op instantieniveau worden gezet.

Instellingen van de ISIL-codes

ISIL codes dienen ofwel volledig ofwel als 4-cijferige code te worden ingevuld. Een 4-cijferige code 1234 wordt geïnterpreteerd als NL-0812340000, dat wil zeggen: voorzien van prefix NL-08 (openbare bibliotheken) en suffix 0000 (locatiecode niet gespecificeerd). Voor provinciale systemen dient de NL-07 code dus volledig te worden ingevuld waar van toepassing.

In de tabel wise_systeem dient de ISIL-code van de systeemhouder te worden ingevuld (kan niet via de manager maar moet via mysql).
In de tabel instanties dient per instantie de ISIL te worden ingevuld (kan via de manager).

Toelichting op de werking

Volgens de documentatie van BNL moeten voor een initiële dump de gegevens worden aangeleverd vanaf 1 januari 2012. In de tabel 'wise_systeem' in rubriek dwh_ontlading wordt bijgehouden t/m welke datum de vorige ontlading heeft plaatsgevonden. Als deze datum leeg is zal OCLC Wise aannemen dat vanaf 1 januari van het lopende jaar moet worden ontladen.

Bij het aanmaken van een export zal OCLC Wise altijd de gegevens van de laatste zeven dagen NIET meenemen. De reden hiervoor is dat door het verwerken van noodbestanden en het verwerken van mutaties met een werkdatum in het verleden een actiedatum in het verleden wordt opgenomen in de transacties.

Door steeds met een marge van zeven dagen te werken zullen bij normaal gebruik van OCLC Wise alle mutaties voor een periode een keer meegaan in de export. Na het uitvoeren van de export zal OCLC Wise de gebruikte selectiedatum (= systeemdatum minus zeven dagen) wegschrijven in de rubriek: dhw_ontlading.

Het veld "dwh_ontlading" in de tabel "wise_systeem" wordt standaard door OCLC Wise bijgehouden en kan eventueel handmatig van een andere datum worden voorzien waardoor de te leveren periode wordt vergroot. De export wordt ALTIJD voor het gehele systeem voor alle instanties met een licentie aangemaakt. Bij maken van een dump zal OCLC Wise eerst de (rapportage)periode bepalen waarover de dump moet worden gemaakt. Deze periode is de dag na de laatste ontlaaddatum t/m de selectiedatum (systeemdatum minus zeven dagen).

Wat gaat er mee in de dump:
In de export worden gegevens van schoolWise en Wise meegenomen. Voor een schoolWise-vestiging moet de juiste BRIN/afdelingscode zijn opgenomen bij de vestiging. Alle klanten met een geldige Wise-rol en/of een geldige schoolWise-rol op de selectiedatum zullen worden opgenomen in de export. Als een klant is uitgestroomd in de rapportageperiode zal deze klant ook worden meegenomen. In de dump zal dan de uitstroomdatum worden gevuld. Bij een dubbelrol zal de oudste inschrijfdatum van deze rollen worden meegegeven. Op basis van de geldigheid van de rollen op de selectiedatum zal de klantgegevens worden opgenomen in de dump. Van deze klanten zullen alle transacties in de rapportageperiode worden meegenomen. Van de exemplaren zullen alle worden opgenomen die “geldig” zijn op de selectiedatum. Hierbij worden tijdelijke en bestelde exemplaren niet meegenomen. Verder zullen de afgevoerde en vermiste exemplaren (status A,V en M) worden meegenomen die in de rapportageperiode zijn afgeschreven / vermist verklaard.

Export van transacties:
Alleen de transacties uit loghfdnu worden meegenomen in de export. Alle actiesoorten worden geëxporteerd.
Alleen transacties waarvan zowel de klant als het exemplaar worden geëxporteerd zullen worden meegenomen.
Als een vestiging dus wordt uitgesloten (zie Blokkeren van (school)vestigingen voor de LDWH datadump), dan zullen transacties betreffende leners en exemplaren van die vestiging dus niet meegenomen worden.

Export van sekse:
Alle voorkomende sekse soorten worden geëxporteerd. voor de initiële dump kan ook loghfdnu_archief onderzocht worden

Programmatuur en directories:
* in /home/hka/bxmdb/tools wordt het script 'bnl_ft_dwh.pl' geïnstalleerd, dat gebruikt kan worden voor het aanmaken van de bestanden. Per systeem worden drie bestanden aangemaakt in de map /home/bxmas/bnl_ldwh (deze map wordt door het script gegenereerd). Bestanden krijgen een volgnummer binnen de datum.

Uitvoeren van de initiële dump

Hierbij wordt naast bestand loghfdnu ook het bestand loghfdnu_archief onderzocht op relevante gegevens. Dit gaat - handmatig - als volgt:

# cd /home/hka/bxmdb/tools
# ./bnl_ft_dwh.pl --schema bicat --init 2012-01-01

Effect van het script:

** Dumpen van BNL_LDWH voor de volgende Instanties: **
Instantie I000 - NL-0835370000 - Ede
Instantie I012 - NL-0870430000 - Barneveld
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Klant-20120312-2.csv
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Exemplaar-20120312-2.csv
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Transactie-20120312-2.csv

Deze data bestanden kunnen vervolgens aan BNL worden aangeboden volgens de procedure die u door BNL of door uw Provinciale Coördinator Infrastructuur (PCI) is aangereikt (middels SFTP). Hierbij moeten ook de zogenaamde mapping-tabellen worden aangeleverd. Bij de opbouw van deze mapping-tabellen is OCLC verder niet betrokken.

Uitvoeren van de reguliere scripts

Hierbij wordt uitsluitend het bestand loghfdnu onderzocht op relevante gegevens.

Dit gaat - handmatig - als volgt, uitvoer van het script in bold
# cd /home/hka/bxmdb/tools
# ./bnl_ft_dwh.pl --schema bicat

** Dumpen van BNL_LDWH voor de volgende Instanties: **
Instantie I000 - NL-0835370000 - Ede
Instantie I012 - NL-0870430000 - Barneveld
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Klant-20120312-2.csv
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Exemplaar-20120312-2.csv
BESTAND: /home/bxmas/bnl_ldwh/dwh-NL-0835370000-Transactie-20120312-2.csv

Deze data bestanden kunnen vervolgens aan BNL worden aangeboden volgens de procedure die u door BNL of door uw Provinciale Coördinator Infrastructuur (PCI) is aangereikt (middels SFTP). Hierbij moeten ook de zogenaamde mapping-tabellen worden aangeleverd. Bij de opbouw van deze mapping-tabellen is OCLC verder niet betrokken.

Blokkeren van (school)vestigingen voor de LDWH datadump

Het is mogelijk om in de datadump vestigingen uit te zonderen.
Het kan hierbij om alle soorten vestigingen gaan, maar de vraag naar deze voorziening ontstond in het kader van schoolWise en privacy.
Het blokkeren van vestigingen voor de LDWH datadump gaat via een extra tabel die uitsluitend via de database is te muteren. Dit is een zeer simpele tabel die alleen een kolom met vestigingsnummers bevat.

SELECT * FROM datawarehouse_blok_vestigingen;

De werking van deze blokkade houdt in, dat er geen leengegevens uit de geblokkeerde EDUB-vestigingen meer worden meegeleverd. De leengegevens uit de sector BIEB van leerlingen met een dubbele rol worden wel meegeleverd in de Datadump. Tenzij de leengegevens gaan over een exemplaar wat eigendom is van een geblokkeerde vestiging.