Colo4Dallas con fallas eléctricas

Tailormadeservers y Colo4Dallas son datacenters que ofrecen el servicio de hosting con una red de Nivel 3, Internap, XO Communications y Time Warner.

El día de hoy Decenas de miles de sitios web se encuentran inoperativos por una falla eléctrica que se produjo este 10 de Agosto desde las 11:00 am hora de México, siendo Colo4Dallas uno de los datacenters más grandes de los EEUU, han quedado fuera de operaciones.

Esta falla en la planta de energía del data center en Estados Unidos es la causa de la caída de decenas de miles de sitios webs en el mundo y es que miles de sitios principalmente mexicanos, estadounidenses, que son los principales afectados aunque hay sitios de todas partes del mundo, algunos afectados también son resellers como Neubox.net, globalitnetworks.com.mx, medioscorp.com, queo.com.mx, hostingdn.com, comflyer.com.mx, Siprel.com.mx (venta de crédito Telcel), rdd.com.mx, awalhosting.com, pjlhosting.­com, alsonetworks.com, datahostingcenter.com, knownhost.com

Colo4 fallas eléctricas

Actualización 01:40 pm:

Comunicado oficial de Colo4

Current Update

There has been an issue affecting one of our 6 service entrances. The actual ATS (Automatic Transfer Switch) is having an issue and all vendors are on site. Unfortunately, this is affecting service entrance 2 in the 3000 Irving facility so it is affecting a lot of the customers that have been here the longest.

The other entrance in 3000 is still up and working fine as well as the 4 entrances in 3004. Customers utilizing A/B should have access to their secondary link. It does appear that some customers were affected by a switch that had a failure in 3000. That has been addressed and should be up now.
This is not related to the PDU maintenance we had in 3004 last night. Separate building, service entrance, UPS, PDU, etc.
We will be updating customers as we get information from our vendors so that they know the estimated time for the outage. Once this has been resolved we also distribute a detailed RFO to those affected.
Our electrical contractors, UPS maintenance team and generator contractor are all on-site and working to determine what the best course of action is to get this back up.

Previous:
12:40
Colo4 is currently experiencing a power issue.

Actualización 02:40 pm:

It has been determined that the ATS will need repairs that will take time to perform. Fortunately Colo4 has another ATS that is on-site that can be used as a spare. Contractors are working on a solution right now that will allow us to safely bring that ATS in and use it as a spare while that repair is happening.

That plan is being developed now and we should have an update soon as to the time frame to restore temporary power. We will need to schedule another window when the temp ATS is brought offline and replaced by the repaired ATS.

Actualización 03:11 pm:

Thank you for your patience as we work to address the ATS issue with our #2 service entrance. We apologize for the situation and are working as quickly as possible to restore service.

We have determined that the repairs for the ATS will take more time than anticipated, so we are putting into service a backup ATS that we have on-site as part of our emergency recovery plan. We are working with our power team to safely bring the replacement ATS into operation. We will update you as soon as we have an estimated time that the replacement ATS will be online.

Later, once we have repaired the main ATS, we will schedule an update window to transition from the temporary power solution. We will provide advance notice and timelines to minimize any disruption to your business.

Again, we apologize for the loss of connectivity and impact to your business. We are working diligently to get things back online for our customers. Please expect another update within the hour.

Actualización 04:49 pm:

Our team and electricians are working diligently to get the temporary ATS installed, wired and tested to allow power to be restored. As the ATS involves high-voltage power, we are following the necessary steps to ensure the safety of our personnel and your equipment housed in our facility.

Based on current progress the electricians expect to start powering the equipment on between 6:15 – 7:00pm Central. This is our best estimated time currently. We have thoroughly tested and don’t anticipate any issues in powering up, but there is always the potential for unforeseen issues that could affect the ETA so we will keep you posted as we get progress reports. Our UPS vendor has checked every UPS, and the HVAC has checked every unit and found no issues. Our electrical contractor has also checked everything.

We realize how challenging and frustrating that it has been to not have an ETA for you or your customers, but we wanted to ensure we shared accurate and realistic information. We are working as fast as possible to get our customers back online and to ensure it is done safely and accurately. We will provide an update again within the hour.

While the team is working on the fix, I’ve answered some of the questions or comments that have been raised:

1. ATSs are pieces of equipment and can fail as equipment sometimes does, which is why we do 2N power in the facility in case the worst case scenario happens.

2. There is no problem with the electrical grid in Dallas or the heat in Dallas that caused the issue.

3. Our website and one switch were connected to two PDUs, but ultimately the same service entrance. This was a mistake that has been corrected.

4. Bypassing an ATS is not a simple fix, like putting on jumper cables. It is detailed and hard work. Given the size and power of the ATS, the safety of our people and our contractors must remain the highest priority.

5. Our guys are working hard. While we all prepare for emergencies, it is still quite difficult when one is in effect. We could have done a better job keeping you informed. We know our customers are also stressed.

6. The ATS could be repaired, but we have already made the decision to order a replacement. This is certainly not the cheapest route to take, but is the best solution for the long-term stability.

7. While the solution we have implemented is technically a temporary fix, we are taking great care and wiring as if it were permanent.

8. Colo4 does have A/B power for our routing gear. We identified one switch that was connected to A only which was a mistake. It was quickly corrected earlier today but did affect service for a few customers.

9. Some customers with A/B power had overloaded their circuits, which is a separate and individual versus network issue. (For example, if we offer A/B 20 amp feeds and the customer has 12 amps on each, if one trips, the other will not be able to handle the load.)

As you could imagine, this is the top priority for everyone in our facility. We will provide an update as quickly as possible.

Actualización 06:09 pm:

Power has been restored to the distribution gear from the temporary ATS. HVAC units are now all online, and we will be beginning the process of restoring power to UPSs soon, then PDUs, and then customer equipment.

We will update you as the other areas come online. Thank you again for your patience.

Actualización 06:46 pm:

The power has been restored fully and all customers should be up. If you are a customer and have not come online yet, please open a help ticket for us to handle directly.

In addition, we have deployed a team member to walk the data center and look for any cabinets not powered up. We will reach out to you and coordinate getting your equipment live for any that we observe in this process check.

We will provide customers with a more detailed update upon completion of our after-action review for this incident. Our first goal at this time is to ensure everyone is up safely and all connectivity is restored.

Thank you again for your patience.

Después de una jornada de más de 8 hrs fuera de servicios, vienen los recuentos de los daños, suerte a todos los webmasters.

Fuente: http://www.colo4.com

Puchungo

Las personas no cambian, solo se adaptan.

38 Comentarios

Zebastian

about 6 años ago

Me sigue pareciendo muy extraño... Un Data center de estas magnitudes NO tiene energía de respaldo? Me refiero Plantas de energia de emergencia?. Se va la energía y todos nos perjudicamos? Increíble empresa con la que nos hospedamos...

Puchungo

about 6 años ago

Así es @Zebastian es increíble que una empresa tan grande tenga este tipo de problemas cuando según Colo4 en su sitio web asegura que tiene lo siguiente: 11.1MW of utility power Spare 3.75 MW transformer on site 250 watts/sq ft Four (4) autonomous N+1 power plants delivering true A & B power supply Six (6) backup diesel generators on standby Generators tested bi-weekly and routinely run at full load Multiple voltages available including 110v, 208v, and three phase 208v On–site staff constantly inspect and monitor power equipment If commercial power fails, automatic transfer switches (ATS) immediately activate generators, monitor electric feeds and transfer stabilized loads to generators

Manlio

about 6 años ago

Yo tengo a todos mis clientes , a punto de lanzarme piedras. Pero nosotros sabemos que son empresas muy grandes, y que existen imprevistos, pero....recuerden siempre que "PLANEAR PARA LO MEJOR, Y PREPARARSE PARA LO PEOR". Espero nos actualizen con mas noticias. Buena pagina esta...Qu e por cierto, no esta hospedada en COLO4 jejeje

Puchungo

about 6 años ago

Si, lo peor es que los DNS se encuentran en el mismo servidor, por tanto es imposible desplegar un mensaje de "En mantenimiento" o algo similar, simplemente muerto.

Beto

about 6 años ago

Si es cierto que es un Data Center muy imporante para que le pasara esto pero ellos acaban de comentar que se dieron cuenta de una enorme falla que tenian en la conexion de los switches y que ya la repararon debido a esto que paso. Realmente no hay nada garantizado en esta vida de que no falle. Y la verdad si lo resuelven hoy mismo el problema mis respetos.

alex

about 6 años ago

que mala onda ya estan por lincharme mis clientes hoy no creo que este listo verdad

alex

about 6 años ago

alguien sabe si estara listo hoyyyyy???

HostingDN

about 6 años ago

En HostingDN tenemos el problema de las DNS, aunque para prevenir este tipo de casos no centralizamos a todos nuestros clientes en un solo datacenter, aunque aqui nos afecto al principal servidor, es bueno ver que nos mencionan, aunque preferiria que fuera en otras circunstancias

alex

about 6 años ago

yo logre platicar con un acesor de siprel y no te dicen nada solo que hay un problema y que pronto se normaliza

alex

about 6 años ago

logre platicar con un acesor y no te dicen nada solo que hay un problema y que pronto se normaliza el portal que mala onda

AQUA

about 6 años ago

no manches SIPREL, tanto estás ganando y te hospedas en un servidor de estas caracteristicas??? .. si los cachan los de la luz colgándose o con el diablito, ya valimos madre todos??? no chinguesssssssssssss y nosotros.. los PDV y Distribuidores, que nos lleve la ... estas si son $%&

Edgarem

about 6 años ago

pues yo como cliente de siprel estoy valorando cambiarme de empresa como pc terminal, ellos no tienen problemas de este tipo

hugoalva

about 6 años ago

Estoy perdiendo todos mis clientes de recargas telefonicas,alguien de SIPREL me podria decir por lo menos que esta pasando???

AlexP

about 6 años ago

MMm a ver aque hora queda esto mientras tanto adios siprel¡¡

Recargas

about 6 años ago

Lo que molesta, lo que más molesta es que SIPREL no tenga la GENTILEZA, la EDUCACION de informar a sus Puntos de Venta y Distribuidores. El problema real, los reclamos, las groserías, se las están llevando sus distribuidores, pues es a ellos a quien les reclaman y los ofenden. si deberían pensar en eso, e informar algo real a cada uno de ellos pero no hacer como algunos de los que manejan sus msn, que envían la info de este blog. eso se me hace una estupidez por parte de SIPREL. cómo es posible que una empresa tan grande y con tanto dinero, no sepa manejar esta situación, ni el gerente, ni responsable de ventas, ni de mercadotecnia, hay muchos cargos en esa empresa, pero de todos no se hace uno solo, hoy que más se necesita.

AlexP

about 6 años ago

Que no se supone que datacenter´s como estos estan preparados para fallas de este tipo? muy mal SIPREL afectado y por consiguiente mi cyber...

uzzi

about 6 años ago

ya se supone que ya llego la luz no ???? y aun no tengo recargas vamos mexico si se puede si se puede.... pero chingar al mexicano

Miguel

about 6 años ago

la verdad yo tmbn soy de siprel hijos de la chingada ningun pinche aviso y ya 24 horas sin recargas ellos quitados de la pena no dan respuestas la verdad para la poca comision ke dan y lo mucho ke gaNAN ellos minimo deberian tener un hosting de respaldo ahora deberian minimo de darnos una compensacion imaginense todos los clientes ke se han ido y eso ke yo soy distribuidor mis puntos de venta ya me la rementaron¡¡¡

daep

about 6 años ago

y cuando estararaa dijieron que pronto y ese pronto aun no llega

Portal Siprel

about 6 años ago

Da vergüenza la actitud que toma SIPREL de ignorarnos, de que le vale madre lo que digamos, donde nos quejemos, es una burla que no tengan la mínima educación y avisar de lo que está pasando, no puede ser que no tengan una base de datos extra en la que avisen de lo que está pasando, que expliquen el motivo por el que no tenemos el servicio y no que hagan lo que están haciendo, les vale un comino lo que esté pasando. el que se les marque a sus teléfonos y todos estén desconectados, no contestan los correos y que no pueden poner como pretexto pues ese es otro dominio muy ajeno al servidor en el que tienen el portal para recargas. No es posible que no haya alguien en esa empresa, que tome la iniciativa de dar la cara, de ofrecer disculpas, de explicar el motivo. Por favor, SIPREL, haz lo que están haciendo la mayoria de tus distribuidores, ELLOS ESTAN METIENDO LAS MANOS AL FUEGO POR TI, demuestra lo grande que eres como empresa, no te compares con AGB y Alejandro García Blanco y Syrec y Megacel y Abonacel y TAEmx y un sin fin de secuaces que lo único que hicieron fue ROBAR. Sé Mexicano !!!!

Portal Siprel

about 6 años ago

36 horas sin el servicio, según las actualizaciones de lo que pasó dice que ya se solucionó el problema del supuesto DATACENTER que tiene alojado al queridisimo SIPREL y entonces ??? porque seguimos sin podernos conectar .. qué va a pasar con nuestros depósitos? yo siento que nada mas se hacen weyes

Portal

about 6 años ago

Siprel, has algo

Portal

about 6 años ago

y se acabó el dia 11 y SIPREL ni dio la cara, ni hizo nada, ni tenemos portales, ni NADA !!!!!... por qué hacen eso, de verdad no les da pena que ganan lo que ganan gracias a nosotros y no se dignen en escribirnos? en su face nada mas risa lo que ponen, a eso se le llama tener poca madre, que falta de respeto al Mexicano y a ustedes mismos, no se valoran como la empresa que nos han presumido ser, no me imagino a Coca Cola o a Microsoft escondiéndose atrás de una computadora o de una página, por algún error o problema en su empresa. que incoherente, no crees siprel ? Sr. Bentacourt, no es momento que haga Usted algo ?. ACTUE YA !!!!

SNNN

about 6 años ago

AY para el PORTAL SIPREL.. mira te explico el SIPREL o Sr. Oscar Bentacourt no da la cara xq no tiene la peparacion para tener una empresa amigo.. Yo creo que no hubiera salido de su ciber ahi por lo menos le hechaba la culpa a otros. No cres Portal Siprel-

Bmoreno

about 6 años ago

Porfa les agradesco sus atenciones..,..... siprel pero por fa ya necesitamos trabajar..... les deposite ayer y ese dinero ahi lo tengo parado en lugar de trabajarlo... no es justo.

JOSUE

about 6 años ago

Algo que deberian de hacer cuando pasan estas cosas es tengo entendido que siprel tiene otras filiales "portales de venta de tiempo aire" al menos http://recargatelcelmx.com/ si esta disponible en algunos portales esta funcionando al 100% mi propuesta seria que al pasar algo asi poder tener claves de estos portales y poder seguir ofreciendo el servicio de recargas a nuestros valiosos clientes que gracias a ellos siprel se sigue inchando de dinero y no digo que nosotros porque es una gran mentira, solo el comentario es para siprel para que ponga a trabajar a su personal y busque soluciones no excusas que de excusas viven los tontos y fracasados al menos espero que lean esto y se pongan a trabajar como una empresa seria ya que tambien su sistema de soporte en linea se desconecto a las 8 de la noche al menos deberian estar al pie del cañon en estas circustancias y no le sigo porque un cliente me mento la madre y me encabrone mas.....no excusas si se puede ok....

Marco

about 6 años ago

Como a las tres de la tarde logre comunicarme en el chat que tienen en la pagina de siprel, ellos,, ella o el,, me mostraron este blog para comprobarme que no es culpa de su sistema, pero el restablecimiento según este blog esta listo, entonces que pasa??,, ya desfilaron todos mis clientes pidiendo las recargas, pero solo puedo decirles, "no tengo sistema", por otro lado tambien fui victima de AGBservicel, como comentaron alla arriba y crei que estaba pasando lo mismo, AGB, comenzó con un supuesto ataque de hackers y termino desapareciendo con mi dinero. Cuando menos siprel explica esta razón, lo malo que no tienen una base en la pagina principal donde se den avisos importantes sin necesidad de acceder con nuestras claves. Ojala que se restablesca pronto, y tambien que con esto cambien la pagina principal para que los avisos esten alli para cualquiera.

Marco

about 6 años ago

11:13 p.m. al fin logre entrar al portal de SIPREL. Ojala este así para mañana.

JOSUE

about 6 años ago

Al parecer de nuevo se cayo siprel, sera que de nuevo se les fue la energía eléctrica? por no pagar el recibo correspondiente, da pena la verdad!!! habrá alguien que me recomiende alguna otra empresa, que me recomienden para recargas espero su comentario y como ayer hice muchos corajes... hoy prefiero buscar soluciones en vez de hacer bilis....

Portal

about 6 años ago

asi es... nuevamente valió madre el encanto... pero segun pusieron su aviso que ya estaban al 100%... supongo que se referian en una escala del 1 al 10.. donde 1 es 100% ... ya estamos partiendo madres !!!!!... inche SIPREL.. no mames... no se te puede ocurrir algo más ? yo esperaba primeramente una disculpa verdadera... explicación detallada, casi casi ... verte incar en las letras aunque sea... y segundo... que el portal realmente quedara al 100% o por lo menos al 99.9% que es lo mínimo que yo considero me merezco por los 3 años que ya llevo contigo... son reales chingaderas que no hagas lo que debes hacer... esa idea de tener una pagina principal que no dependa de ese pendejo servidor es genial y deberia ser así... den la cara... uno en esa empresa debe tener pantalones o las medias bien puestas y decir... SOMOS CHINGONES Y ESTAMOS TRABAJANDO!!!!!... pero prefieren desconectar sus telefonos y no contestar ni correos ni messenger, ni hacer nada... hace un año ellos mismos supieron de las rateradas y mariconadas que hizo AGB Alejandro Garcia y decian que ellos no eran así, y ahorita así se están comportando... yo sé que va a regresar el portal pero esto es lo que molesta, de verdad molesta que nos vean la cara de sus pendejos...

Portal

about 6 años ago

aja...... ya entra.... .. y el portal de distribuidor ? qué....... yo no colaboro con ustedes o qué ? yo no pago ? yo no deposito ? yo no les consigo clientes ? -..... y sigue sin haber avisos......... neta de madre que si encabronan...... en serio encabronan !!!!!!!!!!!!!!!!! pinche falta de respeto al cliente.......

Oscar Bentacourt

about 6 años ago

pinche portal, que poca madre, no dicen ni madres, sigue igual o peor, seguimos depositando y perdiendo, y ustedes como la fresca mañana, les vale madre... SIPREL, OSCAR y todos los involucrados.. chinguen a su pinche madre

Martin

about 6 años ago

Otra vez fallas y nada de que avisas tus clientes, ya la neta les pregunto, ¿Que proveedor me recomiendan para cambiarme lo antes porsible, ya se percibe el tufo de la tranza, saludos.

Oscar Bentacourt

about 6 años ago

Putos changos, no hay acceso al portal de distribuidor, ya que estaban pagando todo lo que su pinche sistema de mierda nos habia robado, ahora se hacen pendejos y lo deshabilitan...... son unos hijos de la chingada, ese dinero es nuestro que no se hagan pendejos que vayan a salir con que hay un error, porque eso no es cierto, pues nunca nos han pagado las comisiones completas, muchos distribuidores hemos hecho cuentas y siempre nos roban mas de un 0.4 %..... ahorita empezabamos a recibir más de la comisión normal pero es por eso, porque repararon su sistema y el pendejo sistema ya correcto está saldando lo pendiente. SIPREL DE MIERDA, ME TIENES HASTA LA MADRE, Y OSCAR PENDEJO IGNORANTE Y TODOS LOS QUE AHI TRABAJAN, CHINGUEN A SU MADRE, INFELICES RATEROS . lo que se estan buscando es una pinche demanda de cada uno de nosotros por putos mentirosos

DISTRIBUIDORES SIPREL ALERTA

about 6 años ago

No inventen. ahora si no se midieron los SIPREL. ellos son los que tuvieron el error en su portal en sus comisiones y ellos mismos ponen limites de tiempo o de plano ni disculpas piden. ni avisan nada, después se sacan de la manga que desde el 1 ya estaria todo arreglado. o sea hasta que a ellos les da la gana. y ahora nos ponen aviso que a los Distribuidores (mismos que les dan de comer) que les pusieron de más. les va a salir saldo negativo y les ponen una prorroga de 2 días. qué a todo dar, ellos si ponen su limite, ellos si tienen derecho a tardarse el tiempo que se les de su gana, y los Distribuidores (insisto que los que les dan de comer) sólo 2 días. y después ? Qué ? les deshabilitan la cuenta ? los dan de baja ? les roban a sus PDV ? sabían que a eso se le llama ACTUAR CON ALEVOSIA y VENTAJA ??? sabían que a eso se le llama ABUSO DE CONFIANZA ???. no tienen vergüenza y cinicamente lo sueltan así sin más ni más. y todas las comisiones que no han puesto COMPLETAS desde que inició ? o por qué hay tantos distribuidores inconformes, reclamandoles diario que sus comisiones no son las que deberian ser. de eso no van a hacer cuentas? porque si nos ponemos a hacer cuentas, REALES, están robando un .3 aproximandamente de sus ventas diarias. o sea que. en caso que un distribuidor le venda un promedio de 100 mil pesos le están robando diario 300 pesos. suponiendo que el tiene un 1% de diferencia entre su comisión y la de su PDV, por qué sólo le aplican el 0.7. y asi es. conozco algunos distribuidores (unos subdist mios) y otros amigos muy ajenos a mi Dist. y a todos les pasa lo mismo. 300 pesos x 365 dias en un año ??? 109mil pesos !!!!. eso es en realidad lo que le roban. segun su nuevo programa, su perfecto funcionamiento de su portal les va a reponer todo ese dinero ?? ? ? ? por qué de eso no hablan nada. por qué a los clientes DISTRIBUIDORES (vuelvo a remarcar que son los que les dan de comer) que reclaman ese error, por qué no les reponen nada ? por qué no les responden bien ? por qué no les PAGAN SU DINERO ?????????. sean honestos, derechos, legales, correctos, o envidian las tranzas, corruptelas y vividores de AGB ? MAXTAE ? SYREC ? TAEMX ? que son del mismo secuas ????? . paguen lo que es, no regalen, sólo paguen lo que prometen. paguen el dinero que ya no es de ustedes sino de los DISTRIBUIDORES que les dan de comer a ustedes.Ya Distribuidores, despierten, defiendan su dinero, es su esfuerzo, son ustedes los que buscan los clientes, los que tienen que lidiar con clientes necios y groseros, son ustedes los que tienen que dar la cara cuando SIPREL y sus trabajadores, se esconden y valiéndoles todo, no hacen caso a nada, no tienen la amabilidad de explicar las burradas en su sistema. SIPREL, PAGA Y NO TE PONGAS A COBRAR DE ESA FORMA COMO LO PONES EN TU MENSAJE, SE HONESTO CON TUS PAISANOS, MEXICANO !!!!!!!!!!!

peter

about 5 años ago

hola, me gusta los comentarios que mandan por este medio...se les agradece.

Julian M

about 5 años ago

Pésimo el servicio de Neubox. Pero además leyendo el comentario el problema es que además de que son unos revendedores de servicios también no están usando el circuito secundario que tiene ese centro de datos (el famoso feed B). O sea patito y malo. Yo voy a cancelar todo.

Comentar

Please be polite. We appreciate that.
Your email address will not be published and required fields are marked