documentazione_3di_riservata:docway4:xway2elastic
Differenze
Queste sono le differenze tra la revisione selezionata e la versione attuale della pagina.
| Entrambe le parti precedenti la revisioneRevisione precedenteProssima revisione | Revisione precedente | ||
| documentazione_3di_riservata:docway4:xway2elastic [2017/06/27 13:41] – [Assegnazione Alias] mbernardini | documentazione_3di_riservata:docway4:xway2elastic [Data sconosciuta] (versione attuale) – eliminata - modifica esterna (Data sconosciuta) 127.0.0.1 | ||
|---|---|---|---|
| Linea 1: | Linea 1: | ||
| - | ====== Integrazione fra eXtraWay ed Elasticsearch ====== | ||
| - | |||
| - | <WRAP center round important 60%> | ||
| - | Versione Elasticsearch supportata: **5.2.2** (//o superiore se mantenuta la major version//) con **JAVA 8**\\ | ||
| - | </ | ||
| - | |||
| - | ===== Caratteristiche integrazione ===== | ||
| - | |||
| - | * L' | ||
| - | * Per ogni archivio eXtraWay (che deve essere indicizzato su Elasticsearch) deve essere creato uno specifico indice su Elasticsearch (relazione 1-1 fra archivi eXtraWay ed indici di Elasticsearch, | ||
| - | * Su eXtraWay vengono mantenuti tutti gli indici primari e i seriali, mentre ogni altro dato da indicizzare viene lasciato ad Elasticsearch | ||
| - | * Tutte le scritture su eXtraWay vengono replicate sull' | ||
| - | * In caso di errore in scrittura sull' | ||
| - | * Ogni minuto un processo verifica la presenza di eventuali file di errore e ritenta l' | ||
| - | * Le ricerche vengono realizzate: | ||
| - | * Su eXtraWay se i filtri di ricerca riguardano solo campi seriali indicizzati su eXtraWay | ||
| - | * Su Elasticsearch in ogni altro caso | ||
| - | * Ogni ricerca in formato eXtraWay ricevuta dal broker viene opportunamente parsata e, se deve essere rediretta su Elasticsearch, | ||
| - | * **N.B.**: Non esiste più il concetto di selezione conosciuto in eXtraWay. La paginazione dei risultati di una ricerca su Elasticsearch comporta una nuova esecuzione della stessa (possono quindi variare anche il numero totale di risultati) -> __Questo porta a differenze di comportamento a livello di interfaccia dell' | ||
| - | * L' | ||
| - | * DocWay4 (DocWay4-service) | ||
| - | * 3diWS | ||
| - | * MailArchiver (MSA) | ||
| - | |||
| - | |||
| - | ===== Creazione dell' | ||
| - | |||
| - | Per creare un nuovo indice su Elasticsearch e popolarlo con i dati contenuti in un archivio eXtraWay occorre procedere nel modo seguente: | ||
| - | - Creare l' | ||
| - | - Assegnare all' | ||
| - | - Lanciare la procedura di importazione dati da eXtraWay | ||
| - | |||
| - | ==== Mapping su Elasticsearch ==== | ||
| - | |||
| - | L' | ||
| - | |||
| - | Alla pagina corrente sono stati allegati due esempi di file di mapping (relativi agli archivi DocWay e ACL): | ||
| - | * File Mapping DocWay | ||
| - | * File Mapping ACL | ||
| - | |||
| - | Esempio di comando di creazione indice su Elasticsearch: | ||
| - | |||
| - | < | ||
| - | curl -XPUT " | ||
| - | </ | ||
| - | ==== Assegnazione Alias ==== | ||
| - | |||
| - | < | ||
| - | curl -XPOST ' | ||
| - | { | ||
| - | " | ||
| - | " | ||
| - | }, | ||
| - | " | ||
| - | " | ||
| - | } | ||
| - | } | ||
| - | ' | ||
| - | </ | ||
| - | |||
| - | Per maggiori info consultare la pagina: https:// | ||
| - | ==== Importazione dati da eXtraWay ==== | ||
| - | |||
| - | L' | ||
| - | |||
| - | Progetto GIT: http:// | ||
| - | |||
| - | Repository Nexus: **it.tredi.xway2elastic-import** | ||
| - | |||
| - | <WRAP center round important 100%> | ||
| - | **N.B.:** E' richiesto //Java8// per l' | ||
| - | </ | ||
| - | |||
| - | |||
| - | === Configurazione === | ||
| - | |||
| - | I file di configurazione dell' | ||
| - | |||
| - | < | ||
| - | # Connessione ad elasticsearch | ||
| - | elasticsearch.host=127.0.0.1 | ||
| - | elasticsearch.port=9200 | ||
| - | elasticsearch.threads.count= | ||
| - | elasticsearch.client.sniff=false | ||
| - | # | ||
| - | # | ||
| - | elasticsearch.connectionRequestTimeout=30000 | ||
| - | elasticsearch.maxRetryTimeout=30000 | ||
| - | elasticsearch.socketTimeout=30000 | ||
| - | |||
| - | # Connessione ad eXtraWay | ||
| - | xway.host=127.0.0.1 | ||
| - | xway.port=4859 | ||
| - | # Il nome del db eXtraWay e l' | ||
| - | # come argomento del comando shell | ||
| - | xway.dbname= | ||
| - | |||
| - | # Classe di implementazione della conversione di documenti da XML a JSON per salvataggio su Elasticsearch. Questo parametro e' obbligatorio, | ||
| - | # parametro di avvio dell' | ||
| - | doc2json.impl= | ||
| - | # | ||
| - | |||
| - | # Elenco di query (e relativi ordinamenti) in base alle quali recuperare i documenti da eXtraWay per la sincronizzazione | ||
| - | # su Elasticsearch | ||
| - | # | ||
| - | # | ||
| - | # | ||
| - | # | ||
| - | # | ||
| - | # | ||
| - | #... | ||
| - | # | ||
| - | # | ||
| - | </ | ||
| - | |||
| - | Per poter avviare l' | ||
| - | |||
| - | <WRAP center round info 100%> | ||
| - | Maggiore è la distribuzione dei risultati delle query, minore sarà il tempo totale di importazione. | ||
| - | </ | ||
| - | |||
| - | |||
| - | === Utilizzo === | ||
| - | |||
| - | WINDOWS: | ||
| - | < | ||
| - | [XWAY2ELASTIC-HOMEDIR]/ | ||
| - | </ | ||
| - | |||
| - | LINUX: | ||
| - | < | ||
| - | sh [XWAY2ELASTIC-HOMEDIR]/ | ||
| - | </ | ||
| - | |||
| - | Parametri supportati: | ||
| - | * **-dbname=**, | ||
| - | * **-doc2json.impl=**, | ||
| - | * **-titlePageSize=**, | ||
| - | * **-enableXwFiles=**, | ||
| - | * **-xwFileIndexByBulkRequest=**, | ||
| - | * **-disableRefresh=**, | ||
| - | |||
| - | <WRAP center round info 100%> | ||
| - | Per maggiori informazioni sui comandi di sincronizzazione dati di xway2elastic-import si rimanda al file **README.md** presente nella directory [XWAY2ELASTIC-HOMEDIR]/ | ||
| - | </ | ||
| - | ===== Configurazione dell' | ||
| - | |||
| - | |||
| - | ===== Indicizzazione di Files ===== | ||
| - | |||
| - | <WRAP center round todo 100%> | ||
| - | **TODO** | ||
| - | </ | ||
/data/attic/documentazione_3di_riservata/docway4/xway2elastic.1498563695.txt.gz · Ultima modifica: (modifica esterna)