Library Mashups 3 – Library Catalog Mashup: Using Blacklight to expose collections

Library Catalog Mashup: Using Blacklight to Expose Collections, il capitolo di Library Mashups dedicato alla soluzione OPAC dell’UVA (University of Virginia Libraries) si apre con una avvertenza preliminare sul concetto di mashup che da questi colleghi viene inteso in senso creativo – e non come semplice giustapposizione di informazioni già esistenti; insomma come nuovo amalgama, remix e riprogrammazione di contenuti, moduli e in sostanza flussi di informazioni ma in maniera inedita, modulare e user-centered.

Altra puntualizzazione degli autori, riguarda la motivazione alla base della creazione di Blacklight, il prodotto-mashup che viene presentato nel capitolo: tutto nasce da un senso di frustrazione che accomunava i bibliotecari e gli utenti di UVA nella fruizione delle classiche interfacce dei cataloghi online (OPAC) che non avevano nulla di moderno, che spesso erano essenziali ma in senso negativo, e comunque lontane mille miglia dai servizi 2.0 cui pian piano siamo andati abituandoci (Flickr, NetFlix etc.).

Bess Sadler, Joseph Gilbert e Matt Mitchella mettono giustamente in luce perché le interfacce di ricerca evolvono così lentamente: esse sono sempre state storicamente agganciate agli ILS, ovvero ai sistemi di automazione bibliotecaria (software con cui si gestiscono catalogazione, prestiti etc.), che di per sé sono sistemi molto complessi, che cambiano con molta difficoltà (e vanno fatti evolvere anche con molta cautela). Il segreto sta dunque nello scorporo delle funzionalità e quindi degli applicativi: che gli ILS continuino con le loro pesanti ma solide articolazioni a sostenere il peso delle biblioteche, e che gli OPAC possano diventare leggeri, agili, integrabili e adattarsi ai desiderata degli utenti.

Blacklight nasce quindi come progetto per la realizzazione di un’interfaccia di search, discovery e delivery diversa: più modulare, più ricca e più facile da sviluppare/implementare/cambiare; è open source e il suo indice si basa sul motore di ricerca Lucene e sul wrapper Apache Solr, che consente un approccio più easy alla gestione del motore (l’invio e la richiesta di contenuti verso il motore di ricerca vengono effettuati in modalità web service-like attraverso chiamate di XML via HTTP). L’utilizzo di Lucene e Solr non è un dettaglio, perché ha consentito al modulo Blacklight ampia libertà nella costruzione non solo di interfacce diversificate di accesso ai dati, ma di indici ed esposizione dei dati stessi personalizzabili e adattati ai vari contesti (es.: una biblioteca di Medicina può mostrare ai suoi utenti solo certi contenuti e magari mostrarli attraverso indici, percorsi o metadati particolari).

D’altronde tra i primi obiettivi di University of Virginia Libraries vi era la creazione di un OPAC unico per tutti i contenuti della biblioteca, e non solo per i classici libri o riviste. Ecco dunque che Blacklight diviene l’interfaccia di ricerca anche per gli oggetti digitali dei repository delle biblioteche della Virginia, portando alla luce un tesoro di immagini, file audio, pubblicazioni accademiche e in genere contenuti che fino a quel momento erano sempre rimasti nascosti agli occhi degli utenti. D’altronde, per ogni tipologia di materiale e/o per ogni collezione, sono possibili punti di accesso diversificati, in modo che la ricerca non debba appiattirsi su un denominatore comune povero o uniformante (ogni tipo di oggetto possiede anche proprie modalità di presentazione: per es. le immagini sono rappresentate attraverso thumbnail mentre i libri mostrano le copertine che vengono recuperate dai vari siti dedicati, e così via).

Blacklight è in grado di acquisire in sé anche contenuti non provenienti da biblioteche: un esempio portato nel capitolo riguarda la collezione di immagini di antiche monete greche e romane – immagini che è stato possibile aggiungere in poche ore all’indice del catalogo. Come? Attraverso una semplice richiesta di POST verso Solr del file XML contenente i dati, e in seguito con la creazione di un’interfaccia HTML di visualizzazione utilizzando il linguaggio Ruby (on Rails) [cfr. Solr: Indexing XML with Lucene and REST].

La finalità della costruzione di Blacklight non solo sono interne, o comunque OPAC-centered. Uno degli aspetti essenziali è che intorno a questo modulo e al suo core Solr, si sviluppano e dipartono diversi web services che consentono un utilizzo massivo e personalizzato delle informazioni contenute nell’indice. Un classico esempio sono le uscite in RSS, PHP o JSON con cui chiunque (intendiamo qualsiasi utente) può costruire a sua volta bookmark, URL permanenti di ricerche e pagine di risultati o ulteriori mashup combinando i contenuti del catalogo con altri contenuti ancora.

Altro servizio che esemplifica bene l’approccio di UVA, è l’incorporazione del server Z39.50 in un’API web, quindi traducendo la difficoltà del linguaggio di querying tipico dei cataloghi di biblioteca, in un set di istruzioni facilmente comprensibili e invocabili da praticamente qualsiasi applicazione web. In conclusione, Blacklight e il suo design web service-like, offrono alle biblioteche la possibilità di differenziare le modalità di presentazione delle informazioni contenute nei vari cataloghi, ma intendono anche marcare uno step importante verso l’utilizzo sempre maggiore di prodotti open source (in questo caso oltre tutto un’interfaccia che può risiedere benissimo on the top di un ILS proprietario) e infine verso l’apertura dei dati e il loro remix (Blacklight incrocia le informazioni provenienti dagli OPAC con quelle offerte gratuitamente da altri web services presenti in Rete).

Bess Sadler, Metadata Specialist for User Projects for the University of Virginia Library; Joseph Gilbert, Head of the Scholars’ Lab at the University of Virginia Library; and Matt Mitchell

Library Mashups 2 – Mashing Up Open Data with biblios.net Web Sevices

Di questo servizio abbiamo già parlato ma mi fa piacere riprenderlo attraverso il capitolo 11 di Library Mashups (come sapete, nell’esplorazione dei vari capitoli, non procederemo con ordine :-), intitolato Mashing Up Open Data with biblios.net Web Sevices e scritto da Joshua Ferraro di LibLime.

All’inizio del 2009 la società che vende servizi per software open source, LibLime, ha rilasciato un servizio di catalogazione gratuito, web based e che poggia su una base di milioni di record bibliografici liberamente adoperabili (openly licensed): biblios.net. In particolare, il capitolo si focalizza sui servizi web (web services) offerti da LibLime insieme al software di catalogazione e alla base dati di record.

I biblios.net Web Services (BWS) poggiano su una conquista fondamentale: gli Open (Bibliographic and not) Data, che a loro volta consentono la libertà e gratuità di intervenire sui record bibliografici, sui metadati prodotti dalle biblioteche e rilasciati/messi a disposizione di tutti attraverso licenze dedicate. Questo dei dati è sempre stato un grosso ostacolo nel mondo bibliotecario – e chi frequenta questo blog da un po’ lo sa bene. Spesso i molti e ricchi e riccamente strutturati metadati che i bibliotecari con grande fatica e sudore di fronte creano quando catalogano i libri, rimangono poi confinati entro ILS (software di automazione e catalogazione) proprietari o comunque chiusi alla possibilità del rilascio libero e del riutilizzo (al netto delle esperienze di catalogazione cooperativa, che però sono un’altra cosa).

Joshua Ferraro, invece, mette subito in rilievo lo slancio che la nascita di licenze come la PDDL (Open Data Commons Public Domain and Dedication Lincese) e di iniziative di apertura dei forzieri dei propri metadati prese da biblioteche come la Library of Congress o la Open Library di Brewster Kahle, ha dato all’impresa di LibLime, di rilasciare nel pubblico dominio così grandi quantità di record bibliografici a disposizione di tutti (di nuovo, se n’era parlato qualche tempo fa). Recod bibliografici che sono stati poi utilizzati dalla stessa LibLime per i suoi servizi e in particolare per la creazione di un livello di accesso e di interrogazione (le famose API, Application Programming Interface) concreto e usabile da tutti gli utenti.

I BWS sono infatti proprio un set di API create per consentire ai programmatori o geek librarian che dir si voglia, di scrivere applicazioni che interagiscano con il database di biblios.net e creare quindi mashup con i dati e i servizi ritornati da questo provider. I web services disponibili sono attualmente:

• Searching for bibliographic and authority records (OpenSearch, SRU/W and Z39.50)
• Retrieving single records (UnAPI)
• Harvesting with OAI-PMH
• Sending data to ‡biblios.net

Verranno invece presto attivati i seguenti:

• Download the ‡biblios.net Dataset (BitTorrent) (coming soon)
• Programming Guide (coming soon)
• API Reference (coming soon)

Uno degli interessanti esempi mostrati nel capitolo, è il mashup creato grazie al SRU target service, che restituisce i dati delle liste di autorità contenute nella base dati di biblios: il catalogatore che stia inserendo nella scheda catalografica di un volume una cosiddetta voce controllata (potrebbe essere quella del nome dell’autore oppure del soggetto/topic con cui si classifica il volume), può attingere on the fly alle voci controllate conservate e messe a disposizione da biblios, attraverso un semplice ed efficace menu ad auto-complete – in questo modo non solo potendo attingere a dati uniformi, controllati e di qualità, ma anche evitando di perdere tempo nell’andare a interrogare separatamente un altro database.

L’altro esempio che Ferraro propone è quello relativo agli strumenti per facilitare la catalogazione cooperativa delle biblioteche, sempre usufruendo dei web services messi a disposizione da biblios. In questo caso si sfrutta la potenza del protocollo OAI-PMH, dei feed RSS e del buon vecchio Z39.50, per costruire un mashup di notifica e aggiornamento delle modifiche avvenute su un record: le biblioteche in una rete cooperativa possono così venire a conoscenza dei cambiamenti intervenuti su una scheda che è stata già acquisita dal catalogo e, se del caso, anche decidere di accogliere quei cambiamenti, sovrapponendo la scheda catalografica modificata con quella del proprio OPAC, in maniera del tutto rapida e automatizzata.

Forse questo capitolo è il più interessante di tutti almeno sotto un profilo: mostra come il catalogo e la catalogazione non solo non sono esclusi, in quanto ambiti di attività tradizionali, dalla creazione di servizi innovativi e mashup, ma possono con la loro ineludibile centralità venire impattati pesantemente dalla creazione di servizi agili, in grado di eliminare le parti più ripetitive e meccaniche di certe attività e aprire la strada alla creatività nell’utilizzo delle informazioni e dei dati contenuti negli OPAC, frutto di anni e anni di lavoro delle migliori menti bibliotecarie…

Library Mashups 1 – SOPAC 2.0: the trashable, mashable catalog

Per far conoscere Library mashups: exploring new ways to deliver library data, ho pensato di inaugurare una serie di post dedicati ai vari capitoli. Affinché l’impostazione non sia troppo burocratica, non procederò proprio in sequenza. Comincerò la serie con una delle puntate più avvincenti: quella  sul capitolo 12,  SOPAC 2.0: The Trashable, Mashable Catalog, scritto da John Blyberg e dedicato a SOPAC (Social OPAC), l’interfaccia web per i cataloghi di biblioteca creata da Blyberg medesimo, bravissimo programmatore e appassionato di open source e biblioteche.

SOPAC nasce nel 2005 come un progetto open source della Ann Arbor District Library (NdR adesso Blyberg lavora presso la Darien Library), quando a Blyberg viene chiesto di riprogettare l’interfaccia web del catalogo della biblioteca. L’intento del nostro è subito chiaro: disegnare un OPAC che non sia percepito come qualcosa di estrinseco ma che si fonda perfettamente con l’interfaccia web del sito della biblioteca. Dunque SOPAC viene concepito come nativamente integrato nel CMS Drupal, e sviluppato a partire proprio da moduli del Content Management System. La prima interfaccia va online nel 2007 e si presenta molto bene, ricca di funzionalità sociali tipiche della Library 2.0.

Qualcosa però non funziona ancora bene e non permette quell’integrazione seamless tra OPAC e sito web che Blyberg si era proposto. L’interfaccia è da un lato troppo dipendente dalla configurazione del sistema di automazione della AADL e dunque non facilmente esportabile, e dall’altro l’architettura nel suo insieme è troppo poco ricettiva verso i contenuti generati dagli utenti (UGC), che infatti non sono inclusi nell’indice dell’OPAC che viene interrogato all’atto di ricerca di un libro da parte degli utenti.

Così prende il via il progetto SOPAC 2.0, che nasce da un’architettura molto più robusta e concepita in modo da rendere l’interfaccia perfettamente adottabile e adattabile da chiunque. La prima rivoluzione Blyberg la compie “esternalizzando” tutti gli elementi non strettamente inerenti l’interfaccia, in due librerie che accompagnano il prodotto: Locum e Insurge. La prima è un livello di astrazione che viene posto tra l’interfaccia e ciò che sta sotto di essa, ovvero l’ILS (sistema di automazione) specifico usato dalla biblioteca, e che quindi rende veramente l’OPAC agnostico rispetto al sistema sottostante adoperato, mentre la seconda gestisce il nuovo repository di informazioni sociali: ciò che prima era riservato ai soli utenti di una biblioteca (tag, commenti, recensioni, voti), adesso viene esteso a tutte le biblioteche che adottino SOPAC e soprattutto viene utilizzato in fase di ricerca dagli utenti dell’OPAC!

Nel capitolo sono presentati alcuni esempi di come sia facile istanziare le classi delle due librerie: in effetti uno dei driver di SOPAC2 è  proprio la semplicità d’uso anche per il medio IT staff di biblioteca. Il capitolo si conclude con ulteriori esempi di come, essendo SOPAC costruito sul CMS Drupal, sia modulabile e di come i suoi contenuti possano essere integrati davvero in maniera seamless nell’interfaccia web attraverso la composizione e la giustapposizione dei vari blocchi (contenuti del blog/sito della biblioteca con, per esempio, l’elenco dei 50 libri più prestati; contenuti del sito con altri contenuti del sito; contenuti dell’OPAC con altri contenuti dell’OPAC), il tutto con massimi livelli di personalizzazione, flessibilità e… mashabilità (il layout come anche il livello delle informazioni che vengono presentate, possono essere modificati con semplicità, grazie all’architettura di classi e librerie associate a SOPAC). Ugualmente, l’architettura adottata, fa sì che i blocchi di SOPAC possano essere non solo “amalgamati” con contenuti provenienti dall’esterno, ma possano essi stessi venire esportati e pubblicati, per esempio, in un blog o in una pagina web (classico l’esempio del box di ricerca).

Blyberg conclude augurandosi che il numero delle biblioteche che adottano SOPAC 2.0 cresca sempre di più, poiché il reale utilizzo da parte di un numero sempre più ampio di utenti finali è l’unica garanzia perché il progetto continui ad essere sviluppato e il repository di contenuti sociali aggregati ai record bibliografici si arricchisca e divenga sempre più funzionale e utile. Le ultime righe sono quindi un invito alla comunità dei bibliotecari e degli sviluppatori perché aiutino SOPAC a cresce e prosperare, e noi speriamo vivamente che studenti e colleghi interessati all’argomento raccolgano l’invito!

Potete leggere tutti i contenuti relativi al libro attraverso il tag library mashups.

Mashup e biblioteche? Un binomio vincente

E’ stato pubblicato Library mashups: exploring new ways to deliver library data, il libro sui mashups e le biblioteche atteso ormai da quasi un anno! Il capitolo con cui ho partecipato si intitola Behind the scenes, proprio perché intende fornire delle informazioni su ciò che accade dietro le quinte di servizi e prodotti di cui in genere vediamo solamente il front end – che sia un’interfaccia web o un client.

Il libro si compone sia di una parte teorico-tecnica sia sopratutto di esempi concreti progettati e realizzati presso biblioteche sparse per il mondo: è questo approccio molto orientato alla pratica e di respiro internazionale che me lo fa considerare – conflitto di interesse a parte ;-) – un ottimo libro su un argomento tecnico come il mashup, probabilmente finora poco sviluppato al livello di riflessione e di implementazione.

Nel libro potrete spaziare dagli esperimenti sui repository effettuati dal grande Stuart Lewis alle modalità con cui rendere un sito mashable all’immancabile hacking sugli OPAC. L’aspetto che trovo molto soddisfacente in quanto autrice è che il modello di pubblicazione proposto dalla curatrice e dall’editore è stato di stampo scientifico-accademico. La remunerazione per il capitolo è consistita in una copia omaggio del volume, ma ci è stata data per contratto la possibilità di pubblicare il contributo su archivi aperti e siti personali, e di farne uso per presentazioni o coursepack didattici.

Aiutandoci così come autori sia a far conoscere il libro e sia a far conoscere i nostri modesti contributi. Inutile dire che personalmente trovo questo modello vincente per le pubblicazioni scientifiche. Quindi… vi comunico con grande piacere che il mio capitolo è accessibile a testo pieno sul sito del Bicocca Open Archive all’indirizzo http://hdl.handle.net/10281/5117. Segnalo nuovamente il blog che fa da corredo e complemento (e che ha fatto da anticipazione) al libro, il contributo – anch’esso in open access – di Stuart Lewis e infine, come è giusto, le due case editrici: Information Today commercializza il libro in U.S.A., Facet Publishing in Europa. Potrete giudicare dai contenuti finora pubblicati in accesso aperto se il libro sia meritevole del vostro acquisto: nel caso lo fosse, commenti, osservazioni e suggerimenti sono i benvenuti!

Cataloghi eXtensibili, interfacce e metadati

Il gruppo di lavoro di XC, Extensible Catalog, ha partorito, dopo alcuni studi condivisi con la comunità bibliotecaria internazionale, i primi applicativi: tool open source sviluppati per arricchire le funzionalità degli OPAC e soprattutto per lavorare a una emersione dei loro contenuti (se n’era già parlato qualche tempo fa).

Il progetto mi interessa moltissimo – sempre a proposito di metadati ed esigenze di riconvertire/trasformare(/appiattire?) i nostri schemi di rappresentazione delle informazioni verso interfacce universali basate su lingue franche. Paul Weston ha dedicato al tema un interessantissimo e originale intervento alle Stelline.

Peraltro qui si lavora anche ai moduli di circolazione – che mi sembrano in assoluto quelli più negletti quando si parla di costruire interfacce ai cataloghi (in genere si privilegia l’interrogazione di risorse; questa è un nota eccezione). Inoltre l’obiettivo è non solo una rappresentazione più completa e ricca delle risorse descritte in catalogo ma l’interoperabilità con (informazioni provenienti da) altri sistemi (tipicamente i learning management systems) e l’integrazione con altri tipi di contenuti – anche quelli forniti dagli utenti.

Recentemente uno dei gruppi di lavoro che ho la fortuna di coordinare, ha rilasciato MetaBib, il meta-motore di interrogazione delle risorse digitali della mia biblioteca basato sul software Metalib. E’ stata un’esperienza interessante e formativa sotto vari aspetti, tra cui proprio quello della creazione from scratch e non, di modalità di interrogazione delle diverse banche dati, motori, archivi aperti, piattaforme di e-journals.

Prendiamo il nostro archivio aperto, per esempio. Tra le altre, dispone – ovviamente – di un’uscita OAI-PMH, lo standard verso cui XC è – giustamente – focalizzato, per favorire l’interrogabilità e la reperibilità sul Web delle risorse digitali, delle informazioni contenute nei cataloghi.

Configurando il nostro archivio per renderlo interrogabile in MetaBib, è emerso un problema con il campo data. In BOA vi sono tre date, di cui due interne e una terza che rappresenta la data di pubblicazione del documento (poniamo: un articolo) che il record descrive. Queste date, come tutti gli altri metadati, sono espresse con Dublin Core qualified, che rendono conto delle diversità dei campi.

Il protocollo OAI-PMH si basa però sui Dublin Core simple, cioè lo schema base schiacciato sui quindici metadati primari. E in essi vi è un solo campo data. Ergo: in MetaBib, BOA non può essere interrogato, sfruttando il protocollo OAI-PMH, per la sola data di pubblicazione: ogni qual volta si lancia una ricerca per data, vengono interrogati anche i campi delle date di creazione/validazione dei record – che sono ovviamente campi interni, il cui contenuto poco interessa all’utente.

Vi sono potenzialmente altre modalità di uscire dalla situazione: ad esempio creando delle interfacce standard di programmazione, sfruttando la rappresentabilità dei record nei vari dialetti XML. Ma il problema dei Dublin Core simple – formato diventato grande (in tutti i sensi) proprio grazie alla sua universalità e applicabilità – resta. Resta la difficoltà di esprimere la ricchezza dei dati attraverso pochi campi, e così generici, da un lato, da consentire la semplicità di adozione, e, dall’altro, da impedire che la ricchezza delle informazioni emerga intatta nel Web. Come pure resta la difficoltà di confrontarsi con dei qualificatori che richiedono comunque ulteriori personalizzazioni, che vengono talvolta codificate in application profile – ma che rimangono spesso e inevitabilmente locali all’applicazione che le implementa (e parliamo solo di descrizione delle informazioni!).

Concludo segnalando l’uscita del sito di RDA e quella, scoperta grazie al Friendfeed di Massimo Menichinelli, di un social network – peer-to-peer, di nicchia e in erba, ma che pone l’accento su questioni di vitale importanza, come la privacy, l’accessibilità e la portabilità dei dati. Last but not least, segnalo l’uscita (di scena) di Encarta (cui va il mio de profundis inquieto).

Italian Library 2.0? One question, many answers

Questo è il titolo dell’intervento che ho tenuto venerdì scorso a Roma, per il convegno Web 2.0 and libraries. Posto di seguito le slide. Come promesso, pubblico anche il link ai risultati del questionario di cui al post dedicato: ho pensato di riassumerli in un file xls con diversi tab dedicati a esplorare le risposte ai quesiti. Come vedrete, le risposte offrono uno spaccato interessante delle biblioteche italiane.

Benché il questionario fosse del tutto a-scientifico, intendeva tracciare a grandi linee lo stato delle applicazioni 2.0 o comunque più avanzate e innovative in uso nelle nostre strutture. E credo che un’idea di ciò sia riuscito a darla. Inoltre sono di estremo interesse i commenti di voi tutti: spesso accorati, sempre interessati e coinvolti.

Devo dire che ho ricevuto diverse mail in aggiunta alle risposte al sondaggio, in cui molti bibliotecari mi sollecitavano a rendere pubblici i risultati soprattutto per individuare sulla scorta di essi buone pratiche utili per tutti. Insomma, ho percepito non solo curiosità ma vera e propria fame di informazioni concretamente applicabili sul lavoro da parte di tanti colleghi – e questo non può essere che un bene. Grazie ancora a tutti per la collaborazione e il sostegno.

Dimenticavo: come forse saprete, il seminario è stato registrato e tra poco sarà distribuito in video. Vi terrò informati: Non potete certo perdere gli interventi di Mary Joan, Gerry e Andrea!

—

Aggiornamento: I link ai video dei relatori si possono trovare sempre sulla pagina del convegno, mentre Cettina Cosenza ha meritoriamente pubblicato un resoconto molto completo della manifestazione.