1. I blog entrano nella directory

I blog possono entrare nella nostra directory o in seguito ad una segnalazione, o direttamente per mano della redazione di Liquida.
In entrambi i casi, contestualmente all’approvazione, ogni blog riceve dallo staff dei punteggi che contribuiscono, tra le altre cose, a determinare il karma e il posizionamento fra i risultati delle ricerche.
Per queste operazioni lo staff utilizza un’interfaccia scritta in Php, eseguita su un web server Apache ed operante su un database di backend MySQL.

2. L’acquisizione dei nuovi contenuti via RSS

Periodicamente il sistema di Liquida scandaglia i blog presenti nella sua directory per accertarsi dell’esistenza di nuovi post. Questa operazione viene effettuata con un programma “sentinella” scritto in Python che viene eseguito contemporaneamente su macchine diverse.
Questa applicazione di retrieving degli RSS dei blog cerca di rilevare se il contenuto XML è rimasto invariato e non sono stati quindi pubblicati nuovi articoli agendo nel modo meno intrusivo possibile, ad esempio analizzando gli eventuali etags nell’header della risposta.
Solo in caso contrario richiede l’intero file RSS e lo salva nel database di backend MySQL.

3. La preparazione dei post

La parte più complessa del lavoro viene eseguita da un servizio – anche questo scritto in Python – che processa i nuovi articoli in entrata nell’archivio a partire dai feed RSS aggiornati forniti dal programma sentinella descritto nella fase precendente.
Questo servizio – eseguito in varie istanze (processi) e con una coda di elaborazione per evitare, in caso di problemi, l’effetto collo di bottiglia – è strutturato in qualche decina di stage che, in modo sequenziale, effettuano le operazioni più disparate.
Alcuni esempi di stage sono l’analisi della struttura XML del feed RSS (parsing), la verifica di quale post sia effettivamente già presente in archivio, il retrivieng (con una richiesta HTTP al relativo server) della pagina completa e delle immagini, l’analisi del template della pagina tramite euristiche, l’estrazione automatica dei tag utilizzando librerie opensource per il natural language processing, l’esclusione dei contenuti osceni. Il post, diventato una tabella hash chiave-valore, viene infine salvato nel database di backend di cui sopra.

4. L’indicizzazione dei dati

Per la ricerca nell’archivio di Liquida viene utilizzato il motore opensource Lucene a cui ci si interfaccia via Solr (eseguito da Apache Tomcat).
Un’applicazione Python, battezzata mysql2solr, estrae dal database MySQL le informazioni sui post, applica alcune logiche applicative ai dati e li passa a Solr/Lucene per l’indicizzazione.
Gli indici gestiti da Lucene, su cui è possibile effettuare ricerche con svariate chiavi (non solo l’ordine cronologico visualizzato nel frontend), sono tre: quello dei post, che restituisce gli articoli, le foto e le immagini che soddisfano i criteri di ricerca forniti, quello dei blog e quello dei tag, che fornisce i tag correlati al tag fornito come search key.

5. Il sito per il pubblico

Il frontend, attraverso il quale viene elargito al pubblico il servizio vero e proprio, è sviluppato in Php, il linguaggio di serverside scripting nato da menti israeliane e adesso gestito da Zend, utilizzando Codeigniter come framework Php e MooTools come framework Javascript.
Il sito si interfaccia direttamente con Solr / Lucene, che restituisce i dati in array serializzati facilmente rielaborabili dal Php, e non effettua alcuna query a MySQL, che viene utilizzato solo per il backend.
Questa applicazione Php, così come quella in Python descritta al punto 3, sfrutta come sistema di caching – per ottimizzare i tempi e le performance – Memcached.
Per quanto riguarda invece le pagine dei blog di Liquida (blog.liquida.it, magazine.liquida.it, bloggare.liquida.it,l’area FAQ) viene utilizzata la piattaforma opensource WordPress.

Lo sviluppo del codice è versionato – per ottimizzare il lavoro del team di sviluppo – con Subversion. L’editor utilizzato è Eclipse.

Le applicazioni descritte vengono eseguite su diversi server. Ogni servizio è ridondato su almeno due macchine ed il carico di lavoro viene distribuito con dei sistemi di bilanciamento.

Cosa contraddistingue Liquida:

1. Le fonti sono solo blog.
2. Non vengono presi in considerazione tutti i blog segnalati dagli utenti, ma solo i blog “recensiti” dalla redazione di Liquida, che filtra i blog di solo contenuto personale, i blog non aggiornati o comunque di qualità non ritenuto idonea.
3. I contenuti pervengono a Liquida in una duplice modalità: tramite Rss e tramite l’utilizzo di uno spider proprietario. L’utilizzo di questa duplice tecnologia consente a Liquida di ottenere sempre tutte le informazioni e gli attributi necessari per classificare un post e per renderlo più facilmente ricercabile. Vengono ad esempio analizzati: presenza di foto o video, testi completi, link interni al post, numero dei commenti, tag dell’autore etc…
4. Queste informazioni vengono utilizzate sia per classificare la tipologia di post (Articoli, Foto, Video), sia per mostrare sempre tutti i post con gli stessi attributi (thumb della foto, abstract della stessa lunghezza etc..), sia per attribuire parametri di “qualità” al post.
5. Liquida analizza i contenuti per capirne, lingua, tipologia, categoria editoriale, tags, attributi, freschezza etc..
6. Per garantire la qualità ad esempio vengono eliminati contenuti adult e offensivi, link rotti, non vengono mostrate foto a bassa qualità, testi troppo brevi etc..
7. Liquida svolge una analisi semantica del testo per capire meglio i contenuti trattati e estrarne in automatico dei tag per rendere questi contenuti meglio ricercabili e aumentare la pertinenza dei risultati del motore di ricerca.
8. Liquida elabora poi i dati ottenuti sulle fonti blog, sulla tipologia di contenuto, sugli attributi dei contenuti, e i dati semantici per attribuire un rank di qualità al post. Quindi quando un contenuto viene ricercato il risultato che si ottiene è una serp “qualitativamente” filtrata e ordinata
9. Grazie all’analisi dei tag Liquida è inoltre in grado di estrarre quotidianamente gli Hot Tag più citati nella blogosfera e , se viene effettuata una ricerca, di proporre dei tag correlati alla ricerca effettuata per approfondire e rendere più pertinenti i risultati.
10. Liquida archivia tutti i contenuti per creare inoltre un grande data base sempre disponibile dei contenuti prodotti dai migliori blog italiani.
11. Liquida consente inoltre ai blog di esportare i risultati di un tag per mostrarlo sul proprio blog a corredo di un contenuto, incentivando lo scambio di contenuto e la creazione di ring di contenuti correlati.

L’utilizzo di sistemi semantici, sistemi statistici, un proprio  motore di ricerca e una redazione interna hanno quindi lo scopo ultimo di far emergere i contenuti di qualità al fine di:

- Dare visibilità a chi produce contenuti di valore.
- Rendere più facilmente fruibile i contenuti dei blog a tutti gli utenti della Rete.

Questo è quello che si può vedere oggi, che potremmo definire un motore di ricerca verticale sui blog, con l’obbiettivo della qualità. A breve Liquida verrà diviso in categorie, con strilli editoriali e altri attributi che lo renderanno sempre più un magazine in grado di valorizzare, almeno così ci auguriamo, i migliori contenuti prodotti dai blog italiani.

Da oggi, infatti, ogni ricerca in Liquida produce una “cloud” di tags correlati alla keyword.

Questo rende i contenuti ancora più accessibili e vi permette di approfondire ogni vostra ricerca nel portale.

Ecco un’esempio:

Cercando “Facebook” risultano oltre venti keyword correlate. Tra queste vi è “Obama”: cliccandoci sopra troverete tutti i post con “Facebook” e “Obama” come tag e un’ulteriore cloud di correlati.

Se volete affinare ancora la vostra ricerca selezionate un’altro tag, finché troverete esattamente ciò che stavate cercando.

Una delle tante novità della directory è che sono state incorporate le classifiche di Technorati Rank, Google Page Rank e Alexa Reach. La homepage della directory ordina i blog secondo il rank di Technorati, ma i risultati possono essere visualizzati anche secondo le altre tipologie di classificazione.

Il risultato di una ricerca all’interno della directory contiene, oltre al nome del blog e allo screenshot, altre informazioni importanti inerenti al singolo blog come i rank e i tag (generati da Liquida). Cliccando sul titolo o sullo screenshot troverete il profilo del blog.

Nella pagina profilo del blog troverete (oltre ai rank e al link verso tutti i contenuti del blog in Liquida) tutti i tag associati al blog, sempre generati da Liquida, e una selezione di blog correlati. Quest’ultima interessante funzionalità è ancora in fase beta.

Vedi anche: Come Liquida associa i tag a un post, La nuova ricerca di Liquida.

Una volta trovato il blog che volete seguire, potete leggere tutti i contenuti di quel blog cliccando sul link “post presenti in Liquida”.
Se invece volete cercare i contenuti di un singolo blog direttamente dalla homepage di Liquida la sintassi è la seguente: “blog:dominio.com”, come si vede nell’immagine qui sotto.

Inoltre, adesso avete anche l’opportunità di cercare, tramite tag, i contenuti all’interno di un singolo blog. Quindi se volete sapere cosa scrive Pinco Pallo (autore di pincopallo.com) di musica la sintassi è la seguente: “blog:pincopallo.com musica”. Ecco un esempio reale:

Con queste nuove funzionalità di ricerca, insieme alla nuova Directory, speriamo di rendere ancora più fruibili i contenuti presenti in Liquida.

Vedi anche: Directory blog: tutte le novità

Nella pagina viene pubblicato l’abstract di un post, arricchito da ulteriori tag, insieme a uno screenshot del blog di provenienza e a un elenco di altri post dello stesso autore.

A ogni singolo post ne verranno associati altri prodotti dai blogger presenti in Liquida.

Per di più, attraverso questa pagina, ogni utente potrà condividere il permalink originale (del blog di provenienza) tramite le maggiori piattaforme di sharing.

Infine, gli utenti avranno anche l’opportunità di votare ogni post.

Vedi anche: Vota i Post

Queste valutazioni sono visibili solo nella nuova pagina e NON vanno a influenzare il punteggio Karma, che determina la rilevanza dei contenuti e la loro visibilità all’interno del portale. Servono, invece, agli utenti per comunicare il loro eventuale apprezzamento di un contenuto.

Gli utenti possono, senza doversi registrare, assegnare un voto positivo (+) o negativo (-) a ogni post.

Ogni utente può votare solo una volta lo stesso post e un massimo di due post al giorno.

Vedi anche: Nuova Funzione: Vota e Condividi

Per generare una tag Liquida usa un motore semantico che, tramite il Feed RSS (quando possibile) o spidering del blog dov’è pubblicato il post, analizza il suo contenuto, il titolo, la url e eventuali link per estrarne i tag.

Questo avviene usando dei criteri come alcune regole grammaticali, la frequenza delle parole, la rarità delle parole, e l’attinenza dei termini a certe categorie. Il tutto viene filtrato attraverso un elenco di stopwords (ovvero parole che spesso vengono considerate tag dal sistema quando, in realtà, non lo sono).

Alla fine queste tag automatiche vengono “mescolate” alle tag che l’autore ha associato al suo post in fase di pubblicazione. Quest’ultime vengono ricavate dal sistema tramite analisi della pagina. Questo processo è ancora in fase sperimentale, ovvero “beta”, quindi perdonateci errori e inesattezze.

Vedi anche: La Tag Cloud di Liquida, Che cos’è un tag, Che cos’è un Feed RSS?

Vedi anche: Come fa un blog a essere presente in Liquida? Quali parametri deve rispettare un blog perché venga accettato in Liquida? Cos’è un Feed RSS?

Per poi apparire nel portale e nella directory deve rispettare alcuni parametri tecnici e qualitativi.

Vedi anche:
-Quali parametri deve rispettare un blog perché venga accettato in Liquida?
-Come apparire o non apparire più in Liquida.
-Esiste una redazione di Liquida?