SkoHub
Das SkoHub-Docker-Vocabs Repo, das genutzt wird, um SKOS Vokabulare mit SkoHub Vocabs ohne eigene Infrastruktur veröffentlichen zu können, ist so überarbeitet worden, dass nach dem Fork des Repos keine Änderungen mehr in YAML-Dateien vorgenommen werden müssen. Das kann den Ablauf bei Workshops extrem vereinfachen und reduziert, die Möglichkeit Fehler zu machen. Die nötigen Schritte in der README konnten damit auch deutlich reduziert werden.
To Do:
- Hard refreshing / Shift + F5 in Troubleshooting erwähnen /verschieben?)
Nach dem Merge von https://github.com/skohub-io/skohub-docker-vocabs/pull/22 wird es außerdem möglich sein, dass auch die Domain einer GitHub Pages URL direkt auf ein Vokabular verweisen kann. Damit wäre es (wenn auch nicht als best-practice empfohlen) möglich, dass jemand seine/ihre Vokabulare komplett ohne eigene Infrastruktur hosten kann, sodass auch die URLs auflösen (auch dank der Änderung, dass wir keine language tags in den URIs mehr haben). Beispiel: https://sroertgen.github.io/skohub-docker-vocabs-test/colour-with-hierarchy/violet
KIM-Gruppen und OER-Strategie
Auf einer Beiratssitzung mit BMBF und DLR im Vorfeld des OER Camps in Hamburg ist deutlich geworden, dass das BMBF mittlerweile verstanden hat, dass in den KIM-Gruppen (OER-Metadatengruppe und Curricula-Gruppe) relevante Arbeit passiert und das tatsächlich ganz sinnvoll ist. Es wird darüber nachgedacht, Informationen zu den Gruppen auf einer noch entstehenden Seite zur OER-Strategie zu publizieren, um es Einsteiger*innen im Thema zu vereinfachen, Menschen zu finden, um sich zum Thema auszutauschen.
Es wird auch darüber nachgedacht, ob es sinnvoll ist, die Gruppen direkt in Förderhinweisen zu erwähnen, damit sie sich weiter als Austauschort zum Thema etablieren. Insgesamt klingt das alles nach Entwicklungen in die richtige Richtung.
RPPD
https://rpb-cms.lobid.org/admin/content-manager/collectionType/api::person.person
Lookup-Anpassungen für RPPD-Maske: Lookup per ID, GND-Berufe als Quelle - RPB-135Abrufen der Vorgangsdetails... STATUS
Transformation zu URIs für RPPD Lookup-Felder - RPB-142Abrufen der Vorgangsdetails... STATUS
Feldnamen und Content Type/API-Routen aufräumen - RPB-143Abrufen der Vorgangsdetails... STATUS
- auch API-Response ist damit gut lesbar: https://rpb-cms.lobid.org/api/persons?populate=*
RPPD-Pflichtfelder und Validierung / Publishing in Maske - RPB-145Abrufen der Vorgangsdetails... STATUS
- Strapi-Export-Workflow nach lobid aufsetzen - RPB-59Abrufen der Vorgangsdetails... STATUS
Metafacture
Neue Metafacture Releases: Core 6.0.0, Fix 1.0.0, Playground 1.0.0
To Do:
- Beim Playground Link auf GitHub-Repo ergänzen: https://github.com/metafacture/metafacture-playground/issues/162
- Dark Playground Theme unterstützen: https://github.com/metafacture/metafacture-playground/issues/163
oersi-marc
Repo: https://gitlab.com/oersi/oersi-marc
Branch mit erster Transformation: https://gitlab.com/oersi/oersi-marc/-/tree/2-createBasicTransformation?ref_type=heads
Admin
Apihealth Seite
- Basiert auf Monit-Emails
- Feedback:
- Mit History
- Abschnitte: Production & Fallback-Server
- Links rausnehmen oder auf Dienste zeigen lassen
Update Java 8 auf Java 11 gestartet
- für lobid-resources schon umgesetzt
SkoHub
- deprecated concepts
- https://w3id.org/kim/hochschulfaechersystematik/n241
- https://w3id.org/kim/hochschulfaechersystematik/n241.json
owl:deprecated
dct:isReplacedBy
- all vocabs endpoint (reconcile and skohub)
- Vocabs: https://test.skohub.io/vocabs
- Reconcile: https://reconcile-test.skohub.io/vocabs
- Info und Beispiele für Skohub Reconcile
- SkoHub Reconcile Blog Post: https://blog.skohub.io/2024-01-18-reconcile/
RPB
- Strapi: Label und Link für URI-Felder anzeigen - RPB-87Abrufen der Vorgangsdetails... STATUS
- Strapi: Prod/Test in Prod-Mode, Import mit Auth - RPB-130Abrufen der Vorgangsdetails... STATUS
- SWN nach SKOS überführen, Strapi-Import & Lookup in Fachgebiete - RPB-136Abrufen der Vorgangsdetails... STATUS
- Links von z.B. https://www.regionalgeschichte.net/mittelrhein/hirzenach.html gefixt - RPB-138Abrufen der Vorgangsdetails... STATUS
SkoHub
SkoHub Vocabs
- e.g. https://test.skohub.io/dini-ag-kim/hochschulfaechersystematik/heads/33-id-n302-medienwissenschaft-ist-doppelt/w3id.org/kim/hochschulfaechersystematik/scheme.html
- Umbau i18n
- Blogbeitrag: https://blog.skohub.io/2024-01-24-uris-without-language-tags/
- language tags in der URL (z.b. ...de.html) sind verschwunden
- ?lang= zur Verlinkung eine rbestimmten Sprachsicht
- Build-Dauer und- Größe wurde dadurch teils erheblich reduziert, weil nicht mehr für jedes Konzept pro Sprache eine Seite gebaut wird
- index.html reicht jetzt , kein index.de.html nötig. Damit ist es standardkonformer.
SkoHub-Webhook
- rebuild script
- cleanup script
- entfernen der ANSI-Chars vom build log
- Endpunkt um alle Vokabulare zu sehen
- Logging eingeführt/verbessert
SkoHub Reconcile
- Upload per URL: https://reconcile-publish-test.skohub.io/
NWBib
- Zeitschriftenliste aus Query statt CSV, Sortierung (#611) https://nwbib.de/journals
- Div. kleinere Anpassungen NWBib-Oberfläche
- Show item details for containedIn regardless of type (#618)
- Show manufacture details like publication (#627)
- Filter "Freie Verschlagwortung" / Q47524318 in details view (#635)
- Replace Mapbox-based MakiMarkers with local icon (#637)
- Fix display of ISBNs and related publications (#636)
- Hannahs Masterarbeit geht los, Fokus auf Konzept zu 1.) Links aus Wikipedia in die NWBib & 2.) Ergänzung von Orts-Seiten mit Infos/Bildern aus Wikidata
RPB/RPPD
- Täglich frische Indexe, dadurch Löschungen nachvollzogen (RPB-109)
- Sortierung der Raumsystematik (z.T. alphabetisch, z.T. systematisch) (RPB-47) https://rpb.lbz-rlp.de/spatial
- Erfassung RPPD: zusätzliche Lookup-Quellen und Felder konfiguriert (RPB-128) https://rpb-cms-test.lobid.org/
RESODATE
- erste Schritte: Schemaanpassungen (https://gitlab.com/TIBHannover/resodate)
Metadaten.nrw
- Webseite wurde gerade gelauncht: https://metadaten.nrw/
- Projekt ist offiziell abgeschlossen, Abschlussbericht muss noch geschrieben und ans MKW gegeben werden
- Adrian konnte auch gut Inhalte modifizieren und ergänzen. Svelte gibt gute Fehlermeldungen, wenn was nicht stimmt.
metadaten.community
- https://metadaten.community
- Launch Ende November/Anfang Dezember
- Adrian & Phu als Admins; schon einen externen Moderator (Christian Erlinger)
- 27.11. Präsentation auf der KIM-Sitzung
- 6.12. vBib-Session
- Stand:
- 92 registrierte Nutzer:innen
- Bisher 57 Themen; einige aktive Nutzer:innen, eher die üblichen Verdächtigen
- Nutzung für die OER-Metadaten AG: Termine, Agenda, Notizen. Momentan noch parallel mit Mailingliste
- Offene To Dos:
- lobid-Mailingliste auf Forum umziehen: https://github.com/hbz/metadaten.community/issues/6
- hbz-Infoveranstaltung terminieren und vorbereiten
- Leute aus der Metadaten-Lehre anschreiben, siehe https://dienst-wiki.hbz-nrw.de/display/SEM/Kontakte
- GESIS kontaktieren
- Hinweis auf lod-hbz-Mailingliste
- Nutzer:inneliste für Registrierte freischalten
RPB/RPPD
Strapi-Lookup-Plugin
- https://rpb-cms-test.lobid.org/admin/
- Code: https://github.com/hbz/strapi-rpb/tree/main/src/plugins/lookup
- Strapi-Plugins sind React-Anwendungen
- Frage Adrian: Sollten wir nicht noch eine Auswahlmöglichkeit GND-Personen ergänzen?
RPB-Daten-Anpassungen
- Für Nutzung der RPB durch DigiBib
RPPD-Suchoberfläche
- Kontakte, Impressum, Datenschutz
- Biogramm- und Datumsformatierung
- Verlinkung über BEACONS
- Erweiterte Suche, Facette für Geschlecht
- Jubiläumsanzeige
Metafacture
Metafacture Playground
- Nutzt jetzt neueste metafacture-core und -fix Releases
- Bug Fixes
- No display of loading result (https://github.com/metafacture/metafacture-playground/issues/127)
- Delete old result, when clicking Process (https://github.com/metafacture/metafacture-playground/issues/129)
- Do not show old results if process is failing (https://github.com/metafacture/metafacture-playground/issues/117)
- Delete old error message or warning when clicking process
(https://github.com/metafacture/metafacture-playground/issues/126)
- Add flux commands examples (https://github.com/metafacture/metafacture-playground/pull/148)
- _ in examples are turned into whitespaces (https://github.com/metafacture/metafacture-playground/issues/153)
- execute all examples as integration tests (https://github.com/metafacture/metafacture-playground/issues/121)
Metafacture Fix Extension
- Snippet geupdatet: do bind
- nicht unter Windows bauen
Metafacture-Doku
- flux- und fix-Doku verlinkt nun auf Playground-Beispiele und Java-Implementierungen, siehe z.B. https://github.com/metafacture/metafacture-documentation/blob/master/flux-commands.md
Statistik
- generiert mit GoAccess und Shell-Skripten auf gaia
- basiert auf Apache access logs, seit 2023-11 gibt es getrennte access logs für (fast) jeden Service, z .B. lobid-gnd, vorher eine access log für alles (was über den Proxy erreichbar ist)
- monatliche Reports; Gesamtauswertung für 2023 jetzt vorhanden
- Zugriff auf die GoAccess-Reports im hbz-Netz: http://gaia.hbz-nrw.de/stats/
Mastodon statt Twitter
- https://github.com/hbz/lobid/issues/483
- lobid-org-(& Metafacture)Twitter-Konto: Wird immer noch nicht gelöscht aber allen entfolgt und – wenn Fediverse Handle vorhanden – dort gefolgt.
KIM-Blog Entwurf
- https://dini-ag-kim.github.io/blog/
- Hinweis von Alex Jahnke, dass es auch bereits einen anderen DINI-Blog gibt: https://wiki.dnb.de/display/DINIAGKIM/2023-11-27+Sitzung+der+DINI+AG+KIM#id-20231127SitzungderDINIAGKIM-SocialMedia/Blog/KIM-Seite
SkoHub ohne Apache (WIP):
- https://test.skohub.io/sroertgen/test-vocabs/heads/main/w3id.org/kim/hochschulfaechersystematik/scheme.html (← kein .de.html mehr)
- Bei Hash URIs gab es noch Probleme, die jetzt aber gefixt sind: https://github.com/skohub-io/skohub-vocabs/issues/280
- Klar wurde: End-to-End-Tests für Hash URIs müssen ergänzt werden
Metadaten NRW Redesign
- https://stage.metadaten.nrw/
- mobile first
Discourse-Forum
- https://metadaten.community/, https://test.metadaten.community/, https://dev.metadaten.community/
- drei getrennte, voneinander unabhängige Instanzen
- E-Mail-Versand steht noch aus
- Login mit ORCID geht (leider wird nur der Name übernommen)
- gerne anmelden
- Planung: Aufnahme Veranstaltungskalender → Daten können dann evtl auch in metadaten.nrw verwendet werden
- Vorstellung des Forums bei der DINI-AG-KIM-Sitzung am 27.11. und vBib-Session am 6.12.
RPPD
- läuft: http://www.rppd-rlp.de
GND
- lobid-gnd Updates minütlich einstellbar https://github.com/hbz/lobid-gnd/issues/350
- Stündlich reicht aus.
RPB/BiblioVino
- Hintergrund: alte RPB und BiblioVino seit ca. 2 Wochen wegen Sicherheitsbedenken abgeschaltet
- Daher Planänderung: Katalogisierung intern erstmal weiter per Allegro, UIs von uns
- Umstellung der alten Domains auf uns aktuell in Arbeit, z.T. SSL-Probleme
- lobid-Integration verschoben, stattdessen komplett eigener Index konform mit dem lobid-Datenmodell
- RPB-Oberfläche: https://rpb.lobid.org/
- BiblioVino: https://wein.lobid.org/ 🍷
- To Do: Oberfläche für Rheinland-Pfälzische Personendatenbank (RPPD); Plan: Überführung in lobid-gnd Datenmodell und Anpassung der lobid-gnd-Oberfläche
SkoHub
- Shapes
- RDF Shapes dienen der Validierung von Knoten in einem RDF-Graphen
- Es gibt zwei Shape-Spezifikationen: Shacl und ShEx
- Wir haben uns für Shacl entschieden, weil es das bessere Tooling hat (wenn es aber auch bei Shacl noch verbesserungsfähig ist). Insgesamt ist das Tooling rund um Shapes noch nicht annähernd so wie bei JSON-Schema.
- SKOS Shape
- Entwicklung einer generischen SKOS-Shape auf Basis der SKOS Reference
- https://github.com/skohub-io/shapes
- SkoHub Shape
- Entwicklung einer SkoHub spezifischen Shape und Einbindung in SkoHub Vocabs
- https://github.com/skohub-io/skohub-vocabs#validation-of-skos-files
- Custom Domain
- https://github.com/skohub-io/skohub-vocabs#custom-domain
- Anforderung kam von Sodix, die das auch schon umgesetzt haben, siehe https://vocabs.sodix.de/index.de.html
- Dokumentation: Hinzufügen zusätzlicher Attribute in einer SkoHub-Vocabs-Instanz
AMB
- Version 1.0 veröffentlicht
- https://dini-ag-kim.github.io/amb/latest/
Curricula Gruppe
- https://w3id.org/curriculum/1.1.0
- Entwurf einer Ontologie
- Umgesetzt von Yovisto
- FWU hat großes Projekt, in dem Ähnliches umgesetzt werden soll. Da die Curricula AG sowie WLO/Yovisto) Tatsachen geschaffen haben, wird FWU sich daran orientieren müssen.
- FWU wird deshalb auch auf Linked Data setzen.
- FWU macht Sodix-Projekt mit der Suchmaschine Mundo.
Metafacture / Tutorial
- https://github.com/TobiasNx/metafacture-tutorial
- Ist jetzt in die Metafacture-Organisation umgezogen und mit GitHub-Pages gebaut: https://metafacture.github.io/metafacture-tutorial/
- Petra hat es schon erfolgreich genutzt.
- To Do: Tutorial unter metafacture.org integrieren.
- flux-commands.md bekommt Links zum Playground, um Beispiele zu sehen
SWIB23
- sehr gut gelaufen
- viele neue Follower für SkoHub und SWIB auf Mastodon
- neue Projektideen angedacht und mit anderen dazu vernetzt (siehe internes Dokument)
- Breakout Session zum Aufbau von Beast Practices für Transformationsworkflows: https://pad.lobid.org/ES5n5GS2R1mCn37c1Qbc2w#
- 20 Teilnehmer*innen, großes Interesse
- Lösungen noch nicht in Sicht
- gemeinsamer Chat wäre nützlich
- Forumsidee wurde von deutschsprachigen befürwortet
- Lightning Talk zu SkoHub: https://pad.gwdg.de/p/0ytHDo597
- Breakout Session zur SWIB-Zukunft
- 10 Teilnehmer*innen, Großteil aus dem PC/Orga
- Alan Ang von Wikimedia teilte einige Erfahrungen
- interessant z.B. Lars Svenson wieder in der DNB
- Nils und Joao von Philo Köln wollen ein Treffen um Metafacture u.a. vorgestellt zu bekommen
- Metafacture-Workshop: Wunsch nach UNIMARC und LIDO - letzteres geht wenn "recordtagname" für handle-marcxml richtig definiert istl
Metafacture Playground
- Input- und Transformation-Daten werden nun über Flux-Variablen geladen
- API ist dokumentiert: https://github.com/metafacture/metafacture-playground/#use-metafacture-playground-api
- Sicherheit verbessert
Klick-Prototyp metadaten.nrw
- Auf Basis von effective webworks Design-Entwurf
- Mit Figma, man kann sich durchklicken
- "offen" rausnehmen
- zbw und library carpentry bei workshops rausschmeißen
- Praxisbeispiele ausklappbar gestalten
- Filter oben raus
Skohub
- nun auch andere Felder (konfigurierbar) durchsuchbar
- per fuseki inferenzieren (?!) um zu validieren
- reconciliation-Endpint downgraden um openrefine kompatibel zu werden
RPB
- per Strapi katalogisieren
- Lookups um IDs zu bekommen; geht schon für viele Felder
- GND Lookups werden aber wohl nicht möglich sein
- komplexere Abfragen, filtern: direkt möglich
- 400k Dokumente ohne Performanzprobleme bei nur 4GB RAM.
SkoHub
- Andreas testet reconcile 🎉
- hat auch Bugs gefunden, die ich dann fixen konnte
- Nutzung des Query Schemas aus der Reconciliation API Spec zur Validierung
- FWU benutzt Skohub: https://vocabs.sodix.de
- Next: Hinzufügen von Suchmöglichkeiten auch über andere Labels, Notations, etc
Server-Log-Auswertung
- Hintergrund: innerhalb 2 Stunden an einem Freitag ist der Webserver abgeschmiert, Grund wahrscheinlich Kernel-Problem (siehe https://dienst-wiki.hbz-nrw.de/x/ZwC0Uw)
- Außerdem sind die Zugriffe stark angestiegen, weshalb mehr RAM verbaut wurde (jetzt 16 GB) https://dienst-wiki.hbz-nrw.de/display/SEM/HTTP-Status+Code+502
- Pascal hat Skript geschrieben, dass alle 10 Sekunden folgende Infos loggt: Datum, Memory Usage insgesamt, Memory pro Request, Anzahl gleichzeitiger Requests https://dienst-wiki.hbz-nrw.de/display/SEM/Paar+Zahlen
- Dokumentation auf Administrationsseite im internen Wiki:
- sollte für docker (bzw. skohub module) noch besser dokumentiert werden https://dienst-wiki.hbz-nrw.de/display/SEM/Docker
SWIB-Zukunftsplanung
- Slide-Entwurf Lightning Talk als Einladung zur Breakout Session: https://pad.gwdg.de/p/YvwaHDrg4#/
- Frage für Board, das Teilnehmer:innen während der Konferenz befüllen sollen:
What does a future SWIB look like that is
international
inclusive
interactive
and climate-friendly?
Let us know your ideas, wishes, concerns, visions, … !
- Idee: Dezentrale persönliche / lokale veranstaltungen orghanisieren neben einem Online Hauptevent
Anwesend: Adrian, Anna, Tobias, Katinka, Phu
Styling von HedgeDoc-Slides (Anna)
- Anpassung von Slides durch HTML im Markdown
- erste Umsetzung eines hbz-Stylesheets: https://pad.lobid.org/K2j3IpugSReU1KHX7WgycA?both#
- siehe auch https://dienst-wiki.hbz-nrw.de/display/SEM/HedgeDoc+-+How+to+create+slides
- neue Font-Family auf pad.lobid.org installiert (OpenSans)
- Ziel: Custom Themes für hbz und Dienste/Tools im hbz-eigenen HedgeDoc
hbz/MI-HedgeDoc-Instanz (Phu)
- läuft momentan auf Testserver
- Nutzung wurde dem IT-Ausschuss angezeigt
- Wird im September vorgestellt
- Plan: Adrian/Anna stellen Slides mit Custom Themes in AG Kommunkation vor
- Ziel: hbz-HedgeDoc gehostet von ZIT (evtl. kooperativ mit MI)
Metafacture Playground (Katinka)
- Sicherheitslücke ist jetzt mit Security Manager in Produktion geschlossen
- Beispiel-Workflows sind nun unter einer kurzen URL verfügbar (mit Parameter ?example)
- für geteilte Workflows sind die URLs immer noch lang. Evtl. brauchen wir da noch ein Ticket. Möglichweise ist das aber auch gar nicht nötig, wenn wir dahin gehen Workflows zu speichern und von einer URL zu laden
- https://metafacture.org/ide-extensions/index.html ist aktualisiert/repariert
Strapi für Inhalte der neuen hbz-Webseite (Adrian)
- https://dienst-wiki.hbz-nrw.de/display/EK/hbz-Services+erfassen
- Erste Version des Metadatenschemas (adaptiert von der ULB Münster ) in Strapi
- Testeingabe hat begonnen
Metafacture-Doku (Tobias)
- mehr Übersicht im Wiki: https://github.com/metafacture/metafacture-core/wiki
- Wiki soll aber perspektivisch deprecated sein, weil es sich hauptäschlich um Morph dreht
- Plan: Markdown-Dateien im metafacture-documentation, die dann in die Webseite geladen werden (momentan wird das Repo unter "Documentation" auf der Webseite verlinkt)
- Ziel: in vier Wochen erste Version auf Webseite
Phu: HTTP-Proxy
Für schnelleren HTTP-Zugriff aus hbz-Netz heraus (VPN oder vor Ort) den http-Proxy nutzen:
Auf linux-Systemen die Umgebungsvariable http_proxy setzen:
export http_proxy="http://http-proxy.hbz-nrw.de:3128/"
Prüfen:
echo $http_proxy
Wieder deaktivieren:
unset http_proxy
siehe Info im Dienst-Wiki https://dienst-wiki.hbz-nrw.de/display/ITOPS/http-proxy
Für den hbz-internen http-Verkehr ist der Proxy nicht notwendig.
Tobias: lobid-organisations
- Umstellung lobid-organisations von Morph auf Fix, damit auch Probleme viel einfacher lösbar.
- Dabei Erledigung vieler, meist sehr alter Tickets, siehe Meilenstein: https://github.com/hbz/lobid-organisations/milestone/1
- Wunsch von Phu: Überblick über die ETL Workflows: Was übernimmt Flux, was Java, was Fix, was Shell-Skripte?
- Vorschlag: Tobias aktualisiert README und Phu reviewt, indem er sein Verständnis des Workflows wiedergibt
- Kurze Diskussion zur Geschichte der Metafacture-Nutzung durch Dortmund: D:Swarm, Metafacture intern, dann umgestiegen weil D:Swarm im Browser Probleme gemacht hat und dann auch das Projekt ausgelaufen und eingestellt wurde; graphische Editoren auf dem Desktop durchaus verbreitet, aber in unserem Umfeld war Browser gefragt; so kam Fokus auf textuelle Modellierung, Flux und Fix.
lobid-organisations Fix-Umstellung
- Von Metafacture 4 geupdatet (7 Jahre)
- Umstellung von Morph auf Fix in Arbeit
- Pascal war beim Updaten in der dependency hell, brauchte exclusions von transitiven dependencies in build.sbt, für bestimmte Play-Version, im Netz gesucht, Doku etc., ohne Erfolg; dann: ChatGPT, BTW: Rollenspielmeister programmiert so; Hilfe bei braunen Blättern war gut; also gutes gehört von ChatGPT und deshalb hier benutzt: ca 10 Minuten Dialog, am Ende die richtige Lösung gefunden
- Tobias: openAI ist ja umstritten; Anna: auch bei Effective Webwork erwähnt als Hilfe zur Erstellung von Texten fürs Web; Pascal fragt ChatGPT zu Metafacture, etc.; ChatGPT meint zu wissen wie man ein Fix-Skript schreibt, schreibt aber ausgedachten Quatsch; Diskussion Problematik Training als schlecht bezahlte, traumatisierende Arbeit
RPB: Fix-Macros
- Übersichtliche Aufrufe durch Fix-Macro
- https://github.com/hbz/rpb/blob/rpb-58-arrays/conf/rpb-titel-to-strapi.fix
fail2ban
- Zum Schutz vor Attacken
- Hat Pascal und Fabian auch schon (versehentlich) geblockt
- Fast alle Dienste gehen über den Proxyserver "emphytos". Da läuft seit kurzem fail2ban, das die Apache-logs auswertet. Wenn z.B. eine Anfrage nach einer Passwortdatei versucht wird erkennt das fail2ban und blockt die IP des Anfragenden für 10 Minuten. Wenn diese IP häufiger geblockt wurde dann wird durch die jail "recidive" die Blockdauer erhöht.
- Ein "jail" (ein Filter plus definierte Aktionen) soll DOS Attacken mitigieren. Momentan sind 100 Anfragen pro Sekunde pro IP erlaubt.
- apache ist so konfiguriert ("MaxRequestWorkers"), dass 400 Anfragen gleichzeitig abgearbeitet werden. Wenn es mehr sind kommen die in eine Warteschleife.
- Wir hoffen, dass mit dem Einsatz von fail2ban die Last auf den Server und log-Dateien kleiner werden, weil IPs geblockt werden, die immer wieder unzulässige Anfragen stellen.
- zurzeit Last-Tests mit Apache Bench (ab) und eigenen Skripten
CSVEncoder
- präsentiert von Pascal & Tobias
- Beim BiblioCon-Workshop konnte zum ersten mal nicht nur CSV-Dekodierung gezeigt werden, sondern auch -Enkodierung
- funktioniert jetzt im Test-Playground
- Wurde in metafacture-core übernommen von https://github.com/metafacture/metafacture-csv-plugin
- Ticket: https://github.com/metafacture/metafacture-core/issues/483
metadaten.nrw: Landing Page
- präsentiert von Anna und Phu
- https://stage.metadaten.nrw/
- Keine direkte Arbeit am CSS, sondern alles über die Klassen im HTML, über das Tailwind
- Hinweis, dass momentan mindestens vier verschiedene Frontend Frameworks in der Gruppe benutzt werden: Bootstrap (lobid), React (SkoHub), Semantic UI (Metafacture Playground), Svelte und Tailwind (Metadaten.nrw)
Metafacture Playground
- Blog Post zu Release: https://blog.metafacture.org/metafacture-playground-0.1.0/
Hannahs Projekt
- ULB Düsseldorf, NWBib-Redaktion & MALIS-Studentin, macht Praxisprojekt
- NWBib-Sachsystematik: Verwendungshinweise in der Inhaltserschließung ergänzen, Definitionen und Verlinkung zu Wikidata
- Laufzeit: bis Ende August, zehn Stunden pro Woche
- Board: https://github.com/orgs/hbz/projects/13
RPB
- Fäden wieder aufgenommen, wie geht es weiter, Überblick, offene PRs gemerged
- Reconciliation-Ergebnisse müssen umgesetzt werden, z.B. indem perspektivisch Bulk-Updates in ZDB eingespielt
- Strapi steht noch aus
- Neues Thema: Matching einer Liste ausgewerteter Zeitschriften auf ZDB
NWBib / lobid-resources
- viele Tickets im Nachklang des Alma-Umstiegs, teilweise aus dem Umstieg resultierende Probleme aber es sind auch alte Dinge aufgefallen
Berichtszeitraum: 01.03.2023 – 31.05.2023
Mit dem für Anfang Mai terminierten Umstieg von Aleph auf Alma als Master-Instanz für die Verbunddaten sind wir in die „heiße Phase“ des Alma-Umstiegs gekommen. Dafür haben wir zum einen viele letzte Anpassungen gemacht und in einem Blogpost den Switch angekündigt und die stattfindenden API-Änderungen dokumentiert: https://blog.lobid.org/2023/04/11/lobid-alma.html
Der Umstieg hat weitestgehend problemlos geklappt. Sowohl unsere Anwendungen (lobid-resources und NWBib) als auch andere API-Nutzer:innen (z.B. Edoweb, Biographisches Portal NRW) konnten ohne große Schwierigkeiten und mit nur kleineren Anpassungen umsteigen. Dies zeigt, wie sinnvoll und ressourcenschonend die Nutzung von lobid-resources für die Verbunddaten sein kann, weil das dahinterliegende System (Aleph, Alma) weggekapselt ist. Lediglich kleinere Anpassungen mussten im lobid- und NWBib-UI gemacht werden.
Nach dem Umstieg haben lobid-resources-Nutzer:innen natürlich nochmal genauer auf die Daten geschaut und kleinere Unstimmigkeiten oder fehlende Informationen gemeldet. Wir haben schnell reagiert und die nötigen Ergänzungen und Korrekturen vorgenommen.
Im Zuge der Umstellung von lobid-resources auf Alma haben wir mit der DigiBib eine große Nutzerin gewonnen: Der DigiBib-Reiter "Hochschulbibliotheken", der den Verbundkatalog des hbz exponiert, basiert nun auf dem lobid-Index. Im Vorfeld haben die Gruppen Portale und Metadateninfrastruktur über viele Monate gemeinsam an der Optimierung der durch lobid bereitgestellten Verbunddaten gearbeitet.
Im Projekt zur Migration der Rheinland-Pfälzischen Bibliographie (RPB) aus Allegro hinaus wurde klar, dass eine Deduplizierung nötig ist für das korrekte Einspielen der Daten in lobid. Dafür hat die Gruppe für lobid-resources einen Reconciliation Endpoint aufgesetzt. LBZ-Kolleg:innen haben ihn bereits verwendet, um mit OpenRefine Periodika und mehrbändige Werke aus der RPB mit den Verbunddaten abzugleichen. OpenRefine hat sich dabei als geeignet, sehr hilfreich und komfortabel herausgestellt. Außerdem haben wir erste Tests des Headless CMS Strapi für die vorübergehe Nutzung als RPB-Katalogisierungsoberfläche durchgeführt.
Bei Metafacture wurde mit einer Getting-Started-Seite (https://metafacture.org/getting-started.html) erste Schritte gemacht, um den Einstieg in die Metafacture-Nutzung zu erleichtern. Zudem hat der Metafacture Playground (https://metafacture.org/playground) seinen Beta-Status verlassen, nachdem einige Bugs behoben wurden.
Bei SkoHub wurde die Reconciliation-Funktionalität für SKOS-Vokabulare auf eine Alpha-Version gebracht und erste erfolgreiche Tests durchgeführt.
Beim OER Search Index (OERSI), für dessen Bereitstellung die Gruppe mit der TIB kooperiert, wurden drei neue OER-Quellen ergänzt (OER von Lehrenden der Universität Wien, Language Science Press und Open Education Platform for Management Schools). Ende März fand eine Retrospektive in Bezug auf die technische Umsetzung statt, an der das OERSI-Team von hbz und TIB teilgenommen hat. Im Anschluss daran wurden einige Verbesserungen vorgenommen.
Im Zuge des metadaten.nrw-Projekts zum Aufbau eines Hubs für Metadatenkompetenz und innovative Dienste des hbz rund um nachhaltige offene Metadatenpraktiken wurde ein Prototyp der metadaten.nrw-Webseite angelegt. Gleichzeitig wurde auch hier Strapi getestet, um perspektivisch Content Types und Website-Inhalte für die Website damit zu pflegen. Für den 1. Juni ist ein Silent Launch einer ersten Homepage geplant, der Launch der Gesamtwebseite soll am 1. Oktober stattfinden.
Im Bereich DevOps haben wir begonnen, Ansible zum Einrichten und Administrieren der Server aufzusetzen und Dienste mit Docker bereitzustellen.
Auch in diesem Berichtszeitraum wurde die Organisation und die Prozesse der Gruppe weiter angepasst, um dem Wachstum der Gruppe Rechnung zu tragen. Nach Diskussionen in Gruppen-Retrospektiven wurde folgendes angepasst: Wir haben nun einen dreiwöchigen Planungszyklus (anstatt bisher 14tägig). Mit dem Fokus auf kleine Projekt-/Produkt-orientierte Teams haben wir komplett auf ein gemeinsames Gruppen-Standup verzichtet. Um weiterhin in der Gesamtgruppe im Austausch zu bleiben, treffen wir uns unverbindlich einmal wöchentlich zu einer Coffee Lecture, bei der jemand aus der Gruppe ein Problem, eine Lösung oder ein sonstiges Thema vorstellen kann. Um Verbindlichkeit zu haben und bei Unklarheiten Klärung zu finden, haben wir die Gruppenorganisation und -prozesse im internen Wiki dokumentiert.
Veranstaltungen der Gruppe: Ende März haben wir beim ZBIW erneut das Seminar „Offene Infrastruktur für bibliothekarische Daten: Linked Open Data, JSON & OpenRefine in der Praxis“ veranstaltet. Im Mai wurde SkoHub in einem Hands-On-Tutorial mit mehr als zwanzig Teilnehmer:innen beim KIM-Workshop präsentiert. Bei der BiblioCon war die Gruppe zum zweiten Mal mit einem Hands-on Lab zu Metafacture vertreten sowie mit einem SkoHub-Vortrag.
Lobid Resources Umstieg auf Alma
- nrw.digibib.net benutzt jetzt unsere elasticsearch-API (also eigtl lobid.api)
- → Synergieeffekt durch einen gemeinsamen Index
- lobid-resources läuft jetzt auf ALMA
- aleph noch vorhanden, wird jedoch nicht mehr aktualisiert
- Marc ist auch als Download verfügbar
- nwbib.de-Anpassungen rund um ZDB-IDs
- http://lobid.org/resources/dataset & http://lobid.org/resources/api für Alma-Daten
metadaten.nrw : Vorstellung der ersten Version der Seite
- wurde mit svelte gemacht, und figma[?] für den Entwurf
- https://stage.metadaten.nrw/
VSC-Extension für Fix aktualisiert
- Highlighting angepasst für aktuelles Fix
- Für aktuelle Fix highlighting, toggle comments
Metafacture Playground
- Dateien werden jetzt tmp Verzeichnis der Application geschrieben statt allgemeines tmp Verzeichnis
- Result Feld ist jetzt Monaco Editor → bessere Abstände bei eingerückten Bereichen, Ein-/Ausklappbare Bereiche, Standard Kommandos nutzbar (Suche etc.)
- First non beta release
Flux-Analyse-Module
- Flux-Module für Tobias zum Daten analysieren: PG-Links in https://github.com/metafacture/metafacture-fix/pull/300#issuecomment-1542416226
Sonstiges
- Mapping Standard: https://mapping-commons.github.io/sssom/spec/ Bsp TSV-Serialisierung https://raw.githubusercontent.com/mapping-commons/sssom/master/examples/embedded/mp-hp-exact-0.0.1.sssom.tsv
- i18n wird in Reconcile-Spec eingebaut mit Hilfe des w3 language Tools, s z.B. https://github.com/reconciliation-api/specs/issues/125, erzeugt mit https://www.w3.org/TR/international-specs/
Metafacture
Playground
- Cursor-Sprung bei Dauer-Backspace gelöst https://github.com/metafacture/metafacture-playground/issues/96
- Fabian verweist darauf, dass das ein verbereitetes Problem sei, das auch im Svelte-Tutorial erwähnt wird
- Meldung von Manuela Klasing inkl. späteres Review: https://github.com/metafacture/metafacture-playground/issues/105
- Fehlermeldungen durch Flux-Kommentare wurden – größtenteils – abgestellt: https://github.com/metafacture/metafacture-playground/issues/101
- Ungünstig: Ersetzung wird durch RegExes umgesetzt, was Kenntnis von Flux voraussetzt
- Kern des Problems: invalide "fix"-Angabe im Playground; könnte durch Nutzung einer Variablen für die Fix behoben werden
- Server-Logging ergänzt: https://github.com/metafacture/metafacture-playground/issues/74
Metafacture.org
- "Getting started" Tab in der Hauptnavigation ergänzt nach Feedback von Mirjan (TIB/OERSI) : https://metafacture.org/getting-started.html
- Links zu IDE-Exensions repariert: https://metafacture.org/ide-extensions/index.html
Anpassungen von Oberflächen auf Alma-Daten
- Wegen Nutzung des "hbzId"-Felds im UI haben Abfragen nicht funktioniert. Wurde gelöst durch Nutzung des "id"-Felds
- Anpassung und Verbesserung der Bestandsfilter
- NWBib: Anpassung der Detailanzeige bei Items (Signatur, Volltext-Links werden ergänzt)
- NWBib: Anzeige des "Erschienen" mit Jahr, Ort, Verlag
RPB
- Matching von Periodika und Mehrbändigen Werken auf lobid via OpenRefine ist im Gange
- OpenRefine dafür sehr komfortabel
Strapi
- Content Manager: Inhalte verwalten, bestimmte Felder, Relations zu anderen Inhalten, Graph bauen und browsen, Formular definieren, Trennung Feldnamen für JSON und Label in UI (z.B. für RPB-Erfassung)
- Content Type Builder: Typen festlegen
SkoHub
- Reconciliation, Prototyp von Andreas Wagner als Basis, komplett überarbeitet,
- 2 Module:
- skohub-reconcile (API-Wrapper um Elasticsearch),
- skohup-reconcile-publish (um die Daten in die Elasticsearch zu bekommen,
- Express.js + HTML; Accounts und Data sets, ttl-File; das hochladen,
- wird in JSON-LD konvertiert und an den reconcile-Service gesendet,
- man bekommt eine URL auf das Service-Manifest, die URL kann man in der Testbench einfügen; mit Preview gibt es noch ein Problem in der Testbench).
- URL kann man dann auch in OpenRefine nutzen;
- Sprache wird in URL als Parameter mitgegeben;
- Suggest-Services sind umgesetzt;
- Publishing get auch z.B. über curl, muss nicht per Web-Oberfläche erfolgen
- Mit Phu in Arbeit: das Ganze auf dem Testsystem deployen um es zugänglich zu machen
Metadaten.nrw
- Texte angepasst, Präsentationen
AMB
- Veröffentlichung der ersten Version war geplant, nochmal genaues Review, gibt noch ein paar TODOs/PRs, wird noch besser
Ansible
- Nutzt Phu zum Einrichten und Administrieren der Server
- Strapi wurde noch von Hand aufgesetzt
- SWIB-Webseite wurde auch noch auf altmodische Seite installiert
- HedgeDoc wurde mit Ansible testweise installiert