<html><head><style type='text/css'>p { margin: 0; }</style></head><body><div style='font-family: arial,helvetica,sans-serif; font-size: 10pt; color: #000000'>Naisiew,<div><br></div><div>When running an active/passive Zimbra mailbox server configuration with external storage (Gluster, Ceph, etc.), there is usually no issue with the external storage maintaining a consistent replica at the storage layer.  The issue becomes consistency at the application layer, which is within the Zimbra mailbox service itself.  As a simple example, lets say that you setup two Zimbra mailbox servers, mb1 and mb2, and they both have access to /opt on GlusterFS, but only one mailbox server is powered on, while the other is powered down, on standby.  Then one day, mb1 goes offline due to a hardware failure.  You then go to power on mb2 & start the Zimbra services from GlusterFS where you have /opt mounted.  Your mb2 server will treat the mailbox data as a crash consistent copy of the mailbox data, which is what I was describing in my last email.  This is because mb1 (when it failed) didn't cleanly shutdown.</div><div><br></div><div>As another example, if you have two mailbox servers, mb1 and mb2, and you need to do hardware maintenance on mb1, you could do a normal, planned shutdown of mb1, then when it finishes shutting down normally, you could then safely power up mb2, and it would work fine.  A key requirement to making this work is that both mb1 & mb2 would have to have the exact same networking configuration (host name and IP address) at the operating system level to be seen as the same email server from your user's email clients.</div><div></div><div></div><div><br></div><div>This is not the only way to accomplish an active/passive mailbox configuration, but it should give you some helpful pointers in the right direction to get you started.</div><div><br><div><span name="x"></span><div><div><div><span style="color: rgb(255, 102, 0); font-weight: bold;"><br>Randy Leiker (</span><span style="font-weight: bold;"> <span style="color: rgb(51, 51, 255); background-color: rgb(255, 255, 255);">randy@skywaynetworks.com</span> <span style="color: rgb(255, 102, 0);">)</span></span><br><span style="color: rgb(0, 0, 153);">Skyway Networks, LLC</span><br><span style="color: rgb(0, 0, 153);">1.800.538.5334</span> <span style="color: rgb(255, 102, 0);">/</span> <span style="color: rgb(0, 0, 153);">913.663.3900 Ext. 100</span><br><span style="color: rgb(0, 0, 153);"></span><a href="http://www.skywaynetworks.com" target="_blank">https://skywaynetworks.com</a><br></div></div></div><span name="x"></span><br></div><hr id="zwchr"><div style="color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt;"><b>From: </b>"Naisiew Yeak" <yeak@md.com.my><br><b>To: </b>randy@skywaynetworks.com<br><b>Cc: </b>"users" <users@lists.zetalliance.org><br><b>Sent: </b>Tuesday, November 6, 2018 9:54:23 PM<br><b>Subject: </b>Re: [Users] Zimbra doing similar like Exchange DAG<br><br><div dir="ltr">Hi Randy,<div><br></div><div>Thanks for sharing.</div><div><br></div><div>1. The GlusterFS can't ensure consistent replica between nodes? I actually hope that it will. Anyway I will test for Zimbra usage. Will report findings.</div><div>2. Zimbra X direction is out of my league for now. If there is no choice I will have to pick it up and learn it.</div><div>3. Yes I am thinking of similar idea where MySQL is one component by itself with cluster setup. But all this setup tear Zimbra design away. Upgrade will become an issue. I guess this is what Zimbra X is trying to solve.</div><div><br></div><div>Anyone has good answer how to answer those people comparing Zimbra to Exchange DAG? Simply say we are not ready? Work In Progress?</div><div><br></div><div>My current answer: DAG is resource hungry. Zimbra is slim. However we are working toward similar active/active mailstore and keep the resources low. Can?</div><div><br></div><div>Any other idea?</div><div><br></div><div>Thanks.</div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Wed, Nov 7, 2018 at 1:27 AM Randy Leiker <<a href="mailto:randy@skywaynetworks.com" target="_blank">randy@skywaynetworks.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:10pt;color:#000000"><div>Hi Naisiew,</div><div><br></div><div>It sounds like you are referring to two different configurations: an active/passive mailbox server (mb1 fails over to mb1a), and an active/active mailbox server.  For the active/passive mailbox server, assuming that you use the default Zimbra install location of /opt/zimbra, and have /opt mounted from network storage, in this case GlusterFS, that should work, but you should be aware that when the day comes that you need to do a fail-over from mb1 to mb1a (assuming it's an unplanned fail over), what you will end up with is a crash-consistent fail-over.  This means that when mb1a mounts the /opt volume & begins attempting to start-up the various Zimbra mailbox services, you will see complaints in the log files, such as /opt/zimbra/log/mysql_errors & /opt/zimbra/log/mailbox.log about a recovery from an unexpected shutdown.  This does not always work, and sometimes Zimbra services, particularly the mailboxd service, fails to start because MariaDB cannot recover or there is corrupt data in one or more mailboxes.  The likelihood of recovery depends on how busy you rmailbox server is.  The more busy it is with disk writes, the more likely it is it may not be able to self-recover from a crash consistent copy of the /opt data on GlusterFS.  To recover, you may then find you need to use the procedures outlined here: <a href="https://wiki.zimbra.com/wiki/Mysql_Crash_Recovery" target="_blank">https://wiki.zimbra.com/wiki/Mysql_Crash_Recovery</a> .</div><div><br></div><div>In the current Zimbra 8.8.x version, it does not have a means to run in an active/active configuration out of the box.  This is because data on the mailbox server is very stateful, such as the mailbox blobs, the mailbox indexes, the MariaDB database, and the redo log file.  This capability is on Zimbra's road map, but the earliest version it is expected to appear is within Zimbra X, which is the next major release of Zimbra.  In Zimbra X, it contains an architecture change where all Zimbra services will run as Docker containers, which will be orchestrated using Kubernetes.  Zimbra X will only contain a subset of the features of the current Zimbra 8.8.x version, with additional features being added, as demand requires.</div><div><br></div><div>But, not all is lost.  For much of this year, I've been working periodically on an open source project to add active/active capabilities to the 8.8.x version.  In theory, it should also work on earlier 8.x releases too, but I haven't tested it outside of 8.8.x yet.  So far, I have an active/active Zimbra cluster working, which uses other open source products to extend the shipping version of Zimbra 8.8.x.  It relies on abstracting the storage of the mailbox server data in to Ceph, along with deployment of MariaDB's Galera Cluster.  I don't have a web site setup for the project yet, but as it gets closer to a deployable status, I'm giving occasional updates on it on the weekly Zeta Alliance calls, and will likewise post updates to this mailing list too.</div><br><div><span></span><div><div><div><span style="color:rgb(255,102,0);font-weight:bold"><br>Randy Leiker (</span><span style="font-weight:bold"> <span style="color:rgb(51,51,255);background-color:rgb(255,255,255)"><a href="mailto:randy@skywaynetworks.com" target="_blank">randy@skywaynetworks.com</a></span> <span style="color:rgb(255,102,0)">)</span></span><br><span style="color:rgb(0,0,153)">Skyway Networks, LLC</span><br><span style="color:rgb(0,0,153)">1.800.538.5334</span> <span style="color:rgb(255,102,0)">/</span> <span style="color:rgb(0,0,153)">913.663.3900 Ext. 100</span><br><span style="color:rgb(0,0,153)"></span><a href="http://www.skywaynetworks.com" target="_blank">https://skywaynetworks.com</a><br></div></div></div><span></span><br></div><hr id="m_3225681053578510457zwchr"><div style="color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><b>From: </b>"Naisiew Yeak" <<a href="mailto:yeak@md.com.my" target="_blank">yeak@md.com.my</a>><br><b>To: </b>"users" <<a href="mailto:users@lists.zetalliance.org" target="_blank">users@lists.zetalliance.org</a>><br><b>Sent: </b>Tuesday, November 6, 2018 4:30:50 AM<br><b>Subject: </b>[Users] Zimbra doing similar like Exchange DAG<br><br><div dir="ltr">Hi there,<div><br></div><div>Does anyone know how Zimbra can compare to Exchange DAG?</div><div><br></div><div>I am planning to deploy GlusterFS to replicate my /opt to 3 nodes (one arbiter). Any advice for this kind of setup? I actually do it on the mailstore itself. Basically 3 mailstore servers, mb1, mb1a, mb1b. The mb1 is production and mount the volume to /opt. The mb1a has a copy of data and ready to start up. Finally mb1b as quorum.</div><div><br></div><div>I hope to run mb1 and mb1a Active/Active. That mean the mariadb should be active/active on both of them. Current Zimbra is not ready for this right?</div><div><br></div><div>I am searching for information what is the direction of the new architecture for new Zimbra. Hope someone can share and let me know. I want to begin deploy such foundation for my Hosted Zimbra service. Also use it as demo platform for customer who is asking about Active/Active mailstore (they literacy bring up DAG to compare).<br></div><div><br></div><div>Thanks.</div><div><div><br></div>-- <br><div dir="ltr" class="m_3225681053578510457gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Naisiew Yeak</div><div>+60 12 5067818</div><div><br></div><div><b>Zimbra • Linux • SSL<br></b></div><div><br></div>My Directory Sdn Bhd<div><div>E-2-22, IOI Boulevard, Jalan Kenari 5, Bandar Puchong Jaya</div><div>47170 Puchong, Selangor, Malaysia.</div></div><div><br></div><div><img width="200" height="58" src="https://s3-ap-southeast-1.amazonaws.com/files.mdmis.com/Zimbra-Authorized-Value-Added-Reseller.png"><img width="200" height="60" src="https://s3-ap-southeast-1.amazonaws.com/files.mdmis.com/Zimbra-Authorized-Business-Service-Provider.png"><br></div></div></div></div></div></div></div></div></div>
</div><br></div></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Naisiew Yeak</div><div>+60 12 5067818</div><div><br></div><div><b>Zimbra • Linux • SSL<br></b></div><div><br></div>My Directory Sdn Bhd<div><div>E-2-22, IOI Boulevard, Jalan Kenari 5, Bandar Puchong Jaya</div><div>47170 Puchong, Selangor, Malaysia.</div></div><div><br></div><div><img width="200" height="58" src="https://s3-ap-southeast-1.amazonaws.com/files.mdmis.com/Zimbra-Authorized-Value-Added-Reseller.png"><img width="200" height="60" src="https://s3-ap-southeast-1.amazonaws.com/files.mdmis.com/Zimbra-Authorized-Business-Service-Provider.png"><br></div></div></div></div></div></div></div>
</div><br></div></div></body></html>