Duplicazione blobstorage su server zeoclient

classic Classic list List threaded Threaded
4 messages Options
Reply | Threaded
Open this post in threaded view
|

Duplicazione blobstorage su server zeoclient

Lorenzo Maurizi - C.S.I.A. UniMC

Ciao a tutti,

ho un problema che non riesco a capire come arginare.

 

La nostra infrastruttura è basata su 3 server plone 4.2.0.1 (presto aggiorneremo alla latest 4.3)

Sul primo server c’è lo zeoserver e due zeoclients.

Sugli altri due server ci sono solo zeoclients.

Ora accade che nei server dove ci sono solo gli zeoclients, piano piano il disco si riempe al 100% (ci vogliono alcune settimane) perché praticamente si riempono le cartelle blobstorage (parlo al plurale perché usiamo il prodotto collective.recipe.filestorage per gestire alcuni data.fs aggiuntivi, con le loro rispettive directory del blobstorage).

Ogni volta io fermo gli zeoclients, rimuovo le cartelle blobstorage* e riavvio gli zeoclients, che rigenerano le cartelle blobstorage e ricomincia il lento popolamento.

 

Ho pensato fosse un problema di cache degli zeoclients, per cui ho provveduto a impostare le voci

zeo-client-blob-cache-size = 10737418240

zeo-client-blob-cache-size-check = 10

 

il primo valore è in bytes (secondo quanto riportato in https://pypi.python.org/pypi/plone.recipe.zope2instance), quindi quel numero dovrebbe indicare 10 GB, e invece vengono scaricati tutti i blob fino a più di 30 GB.

Inoltre, vedo che esiste la cartella blobcache dentro var, per cui mi chiedo: a che servirebbero le repliche delle cartelle blobstorage?

 

Come posso evitare questa duplicazione, o meglio, darle un limite?

Grazie in anticipo

 

Ciao da Lorenzo

 

 


Ing. Lorenzo Maurizi - Ufficio Web, e-Learning, Sviluppo & Ricerca

Università degli Studi di Macerata

C.S.I.A. - Centro di Servizio per l'Informatica d'Ateneo

Vicolo Tornabuoni, 58 - 62100 Macerata
Tel +39 0733 258 4406 - Fax +39 0733 258 4415
http://www.unimc.it

 

P non stampare questa mail, se non è necessario

 

Informativa Privacy - Ai sensi del D. Lgs n. 196/2003 (Codice Privacy) si precisa che le informazioni contenute in questo messaggio sono riservate e ad uso esclusivo del destinatario. Qualora il messaggio in parola Le fosse pervenuto per errore, La preghiamo di eliminarlo senza copiarlo e di non inoltrarlo a terzi, dandocene gentilmente comunicazione. Grazie.

Privacy Information - This message, for the D. Lgs n. 196/2003 (Privacy Code), may contain confidential and/or privileged information. If you are not the addressee or authorized to receive this for the addressee, you must not use, copy, disclose or take any action based on this message or any information herein. If you have received this message in error, please advise the sender immediately by reply e-mail and delete this message. Thank you for your cooperation.

 


_______________________________________________
Plone-IT mailing list
[hidden email]
https://lists.plone.org/mailman/listinfo/plone-plone-it
http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-f221721.html
Reply | Threaded
Open this post in threaded view
|

Re: Duplicazione blobstorage su server zeoclient

Luca Fabbri
2016-05-04 11:34 GMT+02:00 Lorenzo Maurizi - C.S.I.A. UniMC
<[hidden email]>:

>
> Ciao a tutti,
>
> ho un problema che non riesco a capire come arginare.
>
>
>
> La nostra infrastruttura è basata su 3 server plone 4.2.0.1 (presto aggiorneremo alla latest 4.3)
>
> Sul primo server c’è lo zeoserver e due zeoclients.
>
> Sugli altri due server ci sono solo zeoclients.
>
> Ora accade che nei server dove ci sono solo gli zeoclients, piano piano il disco si riempe al 100% (ci vogliono alcune settimane) perché praticamente si riempono le cartelle blobstorage (parlo al plurale perché usiamo il prodotto collective.recipe.filestorage per gestire alcuni data.fs aggiuntivi, con le loro rispettive directory del blobstorage).
>
> Ogni volta io fermo gli zeoclients, rimuovo le cartelle blobstorage* e riavvio gli zeoclients, che rigenerano le cartelle blobstorage e ricomincia il lento popolamento.
>
>
>
> Ho pensato fosse un problema di cache degli zeoclients, per cui ho provveduto a impostare le voci
>
> zeo-client-blob-cache-size = 10737418240
>
> zeo-client-blob-cache-size-check = 10
>
>
>
> il primo valore è in bytes (secondo quanto riportato in https://pypi.python.org/pypi/plone.recipe.zope2instance), quindi quel numero dovrebbe indicare 10 GB, e invece vengono scaricati tutti i blob fino a più di 30 GB.
>
> Inoltre, vedo che esiste la cartella blobcache dentro var, per cui mi chiedo: a che servirebbero le repliche delle cartelle blobstorage?
>
>
>
> Come posso evitare questa duplicazione, o meglio, darle un limite?
>

Mi pare di capire che tu non abbia uno storage per i blob condiviso
dai tre server (cosa che consiglierei per questioni di prestazioni).

Se sicuro di non avere per caso mal configurato i client?
https://pypi.python.org/pypi/plone.recipe.zope2instance#basic-zeo-storage

L'opzione shared-blob è a off?



--
Luca Fabbri
Developer

>_
abstract.it - +39 0810608213
...............................................................................
Registro Imprese di Napoli 788429 / Cap. Soc. 10.000 Euro I.V.
Avvertenze Legali - D. Lgs. 196/03 Tutela dei dati personali. Le informazioni
contenute in questo messaggio e in ogni eventuale allegato sono riservate e
ne è vietata ogni forma di diffusione. Se avete ricevuto questa comunicazione
per errore, Vi preghiamo di informare immediatamente il mittente del messaggio
e di eliminare l'e-mail.
_______________________________________________
Plone-IT mailing list
[hidden email]
https://lists.plone.org/mailman/listinfo/plone-plone-it
http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-f221721.html
Reply | Threaded
Open this post in threaded view
|

Re: Duplicazione blobstorage su server zeoclient

Lorenzo Maurizi - C.S.I.A. UniMC
Ciao Luca, grazie per la risposta

Sulle macchine "client-only", shared-blob è sempre a off per tutti i client, sfruttando quindi lo stream dei blob attraverso la connessione ZEO.
 
Questo porta quindi alla duplicazione?

Grazie per il consiglio di usare degli share, credo  che sia la soluzione migliore a questo punto, anche per le prestazioni.

Saluti da Lorenzo


> -----Original Message-----
> From: Plone-IT [mailto:[hidden email]] On Behalf Of
> Luca Fabbri
> Sent: Wednesday, May 4, 2016 11:45 AM
> To: La lista degli italiani appassionati di Plone. <plone-plone-
> [hidden email]>
> Subject: Re: [Plone-IT] Duplicazione blobstorage su server zeoclient
>
> 2016-05-04 11:34 GMT+02:00 Lorenzo Maurizi - C.S.I.A. UniMC
> <[hidden email]>:
> >
> > Ciao a tutti,
> >
> > ho un problema che non riesco a capire come arginare.
> >
> >
> >
> > La nostra infrastruttura è basata su 3 server plone 4.2.0.1 (presto
> > aggiorneremo alla latest 4.3)
> >
> > Sul primo server c’è lo zeoserver e due zeoclients.
> >
> > Sugli altri due server ci sono solo zeoclients.
> >
> > Ora accade che nei server dove ci sono solo gli zeoclients, piano piano il
> disco si riempe al 100% (ci vogliono alcune settimane) perché praticamente si
> riempono le cartelle blobstorage (parlo al plurale perché usiamo il prodotto
> collective.recipe.filestorage per gestire alcuni data.fs aggiuntivi, con le loro
> rispettive directory del blobstorage).
> >
> > Ogni volta io fermo gli zeoclients, rimuovo le cartelle blobstorage* e riavvio
> gli zeoclients, che rigenerano le cartelle blobstorage e ricomincia il lento
> popolamento.
> >
> >
> >
> > Ho pensato fosse un problema di cache degli zeoclients, per cui ho
> > provveduto a impostare le voci
> >
> > zeo-client-blob-cache-size = 10737418240
> >
> > zeo-client-blob-cache-size-check = 10
> >
> >
> >
> > il primo valore è in bytes (secondo quanto riportato in
> https://pypi.python.org/pypi/plone.recipe.zope2instance), quindi quel
> numero dovrebbe indicare 10 GB, e invece vengono scaricati tutti i blob fino a
> più di 30 GB.
> >
> > Inoltre, vedo che esiste la cartella blobcache dentro var, per cui mi chiedo: a
> che servirebbero le repliche delle cartelle blobstorage?
> >
> >
> >
> > Come posso evitare questa duplicazione, o meglio, darle un limite?
> >
>
> Mi pare di capire che tu non abbia uno storage per i blob condiviso dai tre
> server (cosa che consiglierei per questioni di prestazioni).
>
> Se sicuro di non avere per caso mal configurato i client?
> https://pypi.python.org/pypi/plone.recipe.zope2instance#basic-zeo-storage
>
> L'opzione shared-blob è a off?
>
>
>
> --
> Luca Fabbri
> Developer
>
> >_
> abstract.it - +39 0810608213
> ...............................................................................
> Registro Imprese di Napoli 788429 / Cap. Soc. 10.000 Euro I.V.
> Avvertenze Legali - D. Lgs. 196/03 Tutela dei dati personali. Le informazioni
> contenute in questo messaggio e in ogni eventuale allegato sono riservate e
> ne è vietata ogni forma di diffusione. Se avete ricevuto questa
> comunicazione per errore, Vi preghiamo di informare immediatamente il
> mittente del messaggio e di eliminare l'e-mail.
> _______________________________________________
> Plone-IT mailing list
> [hidden email]
> https://lists.plone.org/mailman/listinfo/plone-plone-it
> http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-
> f221721.html

_______________________________________________
Plone-IT mailing list
[hidden email]
https://lists.plone.org/mailman/listinfo/plone-plone-it
http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-f221721.html
Reply | Threaded
Open this post in threaded view
|

Re: Duplicazione blobstorage su server zeoclient

Luca Fabbri
2016-05-05 12:13 GMT+02:00 Lorenzo Maurizi - C.S.I.A. UniMC
<[hidden email]>:
> Ciao Luca, grazie per la risposta
>
> Sulle macchine "client-only", shared-blob è sempre a off per tutti i client, sfruttando quindi lo stream dei blob attraverso la connessione ZEO.
>
> Questo porta quindi alla duplicazione?
>

Sinceramente non lo so... non ho mai visto/messo in produzione uno zeo
cluster senza blob condivisi.
Come dicevi anche tu però la cache dei blob non mi pare debba stare
nella directory solita del blobstorage ma dovrebbe essere messa
altrove.

> Grazie per il consiglio di usare degli share, credo  che sia la soluzione migliore a questo punto, anche per le prestazioni.
>

Io andrei di NFS, sarà sicuramente più efficiente!


>
>> -----Original Message-----
>> From: Plone-IT [mailto:[hidden email]] On Behalf Of
>> Luca Fabbri
>> Sent: Wednesday, May 4, 2016 11:45 AM
>> To: La lista degli italiani appassionati di Plone. <plone-plone-
>> [hidden email]>
>> Subject: Re: [Plone-IT] Duplicazione blobstorage su server zeoclient
>>
>> 2016-05-04 11:34 GMT+02:00 Lorenzo Maurizi - C.S.I.A. UniMC
>> <[hidden email]>:
>> >
>> > Ciao a tutti,
>> >
>> > ho un problema che non riesco a capire come arginare.
>> >
>> >
>> >
>> > La nostra infrastruttura è basata su 3 server plone 4.2.0.1 (presto
>> > aggiorneremo alla latest 4.3)
>> >
>> > Sul primo server c’è lo zeoserver e due zeoclients.
>> >
>> > Sugli altri due server ci sono solo zeoclients.
>> >
>> > Ora accade che nei server dove ci sono solo gli zeoclients, piano piano il
>> disco si riempe al 100% (ci vogliono alcune settimane) perché praticamente si
>> riempono le cartelle blobstorage (parlo al plurale perché usiamo il prodotto
>> collective.recipe.filestorage per gestire alcuni data.fs aggiuntivi, con le loro
>> rispettive directory del blobstorage).
>> >
>> > Ogni volta io fermo gli zeoclients, rimuovo le cartelle blobstorage* e riavvio
>> gli zeoclients, che rigenerano le cartelle blobstorage e ricomincia il lento
>> popolamento.
>> >
>> >
>> >
>> > Ho pensato fosse un problema di cache degli zeoclients, per cui ho
>> > provveduto a impostare le voci
>> >
>> > zeo-client-blob-cache-size = 10737418240
>> >
>> > zeo-client-blob-cache-size-check = 10
>> >
>> >
>> >
>> > il primo valore è in bytes (secondo quanto riportato in
>> https://pypi.python.org/pypi/plone.recipe.zope2instance), quindi quel
>> numero dovrebbe indicare 10 GB, e invece vengono scaricati tutti i blob fino a
>> più di 30 GB.
>> >
>> > Inoltre, vedo che esiste la cartella blobcache dentro var, per cui mi chiedo: a
>> che servirebbero le repliche delle cartelle blobstorage?
>> >
>> >
>> >
>> > Come posso evitare questa duplicazione, o meglio, darle un limite?
>> >
>>
>> Mi pare di capire che tu non abbia uno storage per i blob condiviso dai tre
>> server (cosa che consiglierei per questioni di prestazioni).
>>
>> Se sicuro di non avere per caso mal configurato i client?
>> https://pypi.python.org/pypi/plone.recipe.zope2instance#basic-zeo-storage
>>
>> L'opzione shared-blob è a off?
>>
>>
>>
>> --
>> Luca Fabbri
>> Developer
>>
>> >_
>> abstract.it - +39 0810608213
>> ...............................................................................
>> Registro Imprese di Napoli 788429 / Cap. Soc. 10.000 Euro I.V.
>> Avvertenze Legali - D. Lgs. 196/03 Tutela dei dati personali. Le informazioni
>> contenute in questo messaggio e in ogni eventuale allegato sono riservate e
>> ne è vietata ogni forma di diffusione. Se avete ricevuto questa
>> comunicazione per errore, Vi preghiamo di informare immediatamente il
>> mittente del messaggio e di eliminare l'e-mail.
>> _______________________________________________
>> Plone-IT mailing list
>> [hidden email]
>> https://lists.plone.org/mailman/listinfo/plone-plone-it
>> http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-
>> f221721.html
>
> _______________________________________________
> Plone-IT mailing list
> [hidden email]
> https://lists.plone.org/mailman/listinfo/plone-plone-it
> http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-f221721.html



--
Luca Fabbri
Developer

>_
abstract.it - +39 0810608213
...............................................................................
Registro Imprese di Napoli 788429 / Cap. Soc. 10.000 Euro I.V.
Avvertenze Legali - D. Lgs. 196/03 Tutela dei dati personali. Le informazioni
contenute in questo messaggio e in ogni eventuale allegato sono riservate e
ne è vietata ogni forma di diffusione. Se avete ricevuto questa comunicazione
per errore, Vi preghiamo di informare immediatamente il mittente del messaggio
e di eliminare l'e-mail.
_______________________________________________
Plone-IT mailing list
[hidden email]
https://lists.plone.org/mailman/listinfo/plone-plone-it
http://plone-regional-forums.221720.n2.nabble.com/Plone-Italy-f221721.html