WEpayments - Incident Detected – Incident details

As of 5:20 PM BRT (1:20 PM PDT / 20:20 UTC), our Cloud Provider has reported continuous recovery across all services, and we have confirmed that our operations are now stable.

Payouts, Payins, and other related processes are being processed normally, with no new errors or significant delays observed.
Queues have returned to normal levels, and transactions are completing successfully.

We’ll continue monitoring closely for any residual impact, but at this time, we’re considering the incident resolved.
Thank you for your patience and understanding during this major outage.

A partir das 17h20 (UTC-3), nosso provedor de nuvem confirmou que todos os serviços foram totalmente restabelecidos, e nossas operações já estão estáveis.

Os Payouts, Payins e demais processos voltaram a ocorrer normalmente, sem novos erros ou atrasos significativos.
As filas internas foram normalizadas e as transações estão sendo concluídas com sucesso.

Seguiremos monitorando o ambiente de perto, mas neste momento consideramos o incidente encerrado.
Agradecemos pela paciência e compreensão de todos durante o período de grande instabilidade.

Our services are working normally at a slight delay. However, our team is continuing to monitor.

At 1:03 PM PDT / 5:03 PM BRT / 20:03 UTC, our Cloud Provider reported that recovery continues to improve across all services.

They are gradually removing the temporary limits on new EC2 instance launches in the US-EAST-1 region, which were put in place to reduce the impact during the incident.

Lambda invocation errors have now fully recovered, and overall function performance continues to improve.
The provider has also restored the normal SQS polling rate for Lambda event processing.

The next update is expected around 1:45 PM PDT / 5:45 PM BRT / 20:45 UTC.

Nossos serviços estão funcionando normalmente com um leve aumento na latência. Nosso time continua o monitoramento

Às 17h03 (UTC-3), nosso provedor de nuvem informou que a recuperação dos serviços continua melhorando.

As limitações temporárias na criação de novos servidores (EC2) na região US-EAST-1 estão sendo removidas gradualmente.

Os erros do Lambda já foram totalmente corrigidos, e o desempenho das funções segue melhorando.
O provedor também restaurou o ritmo normal de leitura das filas (SQS polling) para o processamento de eventos do Lambda.

A próxima atualização está prevista para 17h45 (UTC-3).

At 12:15 PM PDT / 4:15 PM BRT / 19:15 UTC, our Cloud Provider reported that recovery continues across all services.
Launching new EC2 instances is now succeeding across multiple Availability Zones in the US-EAST-1 region.

For Lambda, some customers may still experience occasional errors when functions make network requests to other systems, as residual network issues are being resolved.
To help recovery, the provider had slowed down SQS polling for Lambda, and they are now gradually increasing it as more successful executions are observed.

The next update is expected around 1:00 PM PDT / 5:00 PM BRT / 20:00 UTC.


Às 16h15 (UTC-3), nosso provedor de nuvem informou que a recuperação continua em todos os serviços.
A criação de novos servidores (EC2) já está ocorrendo normalmente em várias zonas da região US-EAST-1.

No caso do Lambda, ainda podem acontecer erros ocasionais em funções que fazem conexões com outros serviços, por causa de problemas de rede residuais.
Para ajudar na recuperação, o provedor havia reduzido temporariamente o ritmo de leitura das filas (SQS polling), mas agora está aumentando gradualmente à medida que as execuções voltam ao normal.

A próxima atualização está prevista para 17h00 (UTC-3).

At 11:22 AM PDT / 3:22 PM BRT / 18:22 UTC, our Cloud Provider reported continued progress in fixing the issues that affected new EC2 instance launches and network connectivity in the US-EAST-1 region.

They’re now seeing more successful EC2 launches and fewer network issues overall.
There are also big improvements in Lambda performance, especially for new function executions (including Lambda@Edge).

The next update is expected around 12:00 PM PDT / 4:00 PM BRT / 19:00 UTC.


Às 15h22 BRT, nosso provedor de nuvem informou que continua avançando nas correções dos problemas que afetavam a criação de novos servidores (EC2) e a conectividade de rede na região US-EAST-1.

Eles já observam mais criações bem-sucedidas de servidores EC2 e menos falhas de rede.
Também há melhoras significativas no funcionamento do Lambda, especialmente em novas execuções de funções (incluindo o Lambda@Edge).

A próxima atualização está prevista para 16h00 BRT.

At 10:38 AM PDT / 2:38 PM BRT / 17:38 UTC, our Cloud Provider reported progress in fixing the issues affecting new EC2 server launches.

Some internal systems of EC2 are already showing early signs of recovery in a few Availability Zones (AZs) within the US-EAST-1 region. They are now applying the same fixes to the remaining zones, and once that’s complete, errors and network issues are expected to decrease significantly.

At 06:42 AM PDT / 13:42 UTC, our Cloud Provider reported that they are still experiencing some issues in one of their main data centers. They are taking actions to fix the problem, but launching new servers might still fail or be slower than usual.The provider is temporarily limiting how many new servers can be created to help stabilize the system. They expect to share another update around 07:30 AM PDT / 14:30 UTC.