Tivemos um problema sério recentemente, e parte dele foi por conta de um erro meu. Depois daquele ataque que sofremos alguns meses atrás, baixei a guarda com o tempo e removi algumas proteções ao trocar de servidor. Ficamos cerca de 15 dias tranquilos, até que na madrugada de quinta pra sexta fui surpreendido com uma enxurrada de alertas no e-mail. Eles voltaram.
Demorei um pouco para acreditar que era um ataque DoS. Reativei as defesas que havia retirado (mas poque retirou? porque impactam na responsividade do site), mas o novo servidor não estava conseguindo lidar com a fila acumulada de atividades. Servidor esse que estava dimensionado sob medida para nossa demanda normal.
Tive que recorrer a outro servidor meu, mais potente, que uso para trabalho. Como estou sem projetos no momento, ele estava com espaço livre. Coloquei o banco de dados e o servidor Lemmy nele, deixando o servidor original apenas para o banco de imagens. Depois de uns 30 minutos assim, o serviço voltou ao normal.
Foi uma tarefa árdua, especialmente porque o servidor só mostrava logs de requisições POST na inbox e dava timeout, o que dificultou bastante entender o que estava acontecendo. O time de desenvolvedores também não estava disponível naquele dia, mas, felizmente, um admin do Lemmy.world foi extremamente prestativo e trouxe várias ideias que ajudaram a resolver o problema.
Foi muito estressante. Eu já estava exausto e sem muitas opções, mas, no final, conseguimos contornar a situação.
Sei que muitos usuários ficaram frustrados também. Sei que a expectativa é que o serviço esteja sempre disponível, e me sinto mal por isso.
Acontece, você lidou bem com a situação.
Você mencionou que os logs mostravam apenas as requisições POST e o timeout, é possível incrementar os logs com mais informações? Isso pode lhe ajudar no futuro.
Obrigado, grande abobla! Sempre contribuindo!
Você mencionou que os logs mostravam apenas as requisições POST e o timeout, é possível incrementar os logs com mais informações? Isso pode lhe ajudar no futuro.
Pois é, eu aumentei o nivel de verbosidade dos logs para o máximo (DEBUG/TRACING), mesmo assim não tinha nada de mais relevante que isso.
Eu reportei aos devs, para melhorar os logs nesse sentido.
Que isso ademir não se sinta assim, você faz um serviço muito bom pra nós aqui no lemmy.eco(de graça ainda mais), o importante é que lições foram aprendidas e você agora esta mais preparado pra esses eventos. 💪
Obrigado! Fazemos juntos! Sua participação aqui é fundamental pra manter essa opção ao reddit viavel
Deixo também o meu muito obrigado. Você podia estar fazendo dinheiro, mas optou por investir na formação de solidariedade. O mundo é um lugar melhor com o trabalho de pessoas como você. Por favor, continue com o bom trabalho!
Obrigado mesmo! Gostaria de conseguir trazer mais coisas, mas com o tempo a gente chega lá!
Tamo junto!
Entendo que esteja se sentindo mal por isso, mas gostaria muito que você se lembre que os ataques não são culpa sua. Você está fazendo tudo que está ao seu alcance para entregar a melhor experiência para nós e somos muito gratos por isso, principalmente porque é um trabalho muito bom que você entrega!
Não posso dizer por toda a comunidade, mas fico extremamente grato por tudo que você entrega para nós! Muito obrigado por sua dedicação e pelo ótimo servidor que estamos construindo!
Sinto muito que nosso servidor esteja sendo alvo de ataques DDoS. Você tem alguma ideia do que por isso tem acontecido?
Qualquer coisa que precisar em relação à infraestrutura, conte conosco! Não trabalho exatamente com esta área, mas o que estiver dentro do meu alcance eu gostaria de ajudar
Esses ~15 votos positivos significa que pessoas concordam com você. E eu sou um delas.
Não posso dizer por toda a comunidade, mas fico extremamente grato por tudo que você entrega para nós! Muito obrigado por sua dedicação e pelo ótimo servidor que estamos construindo!
Sou grato a você também, meu amigo! Você tá sempre presente e disposto a ajudar, isso é notável. Obrigado mesmo!
Vou contar sim, obrigado!
Muito obrigado pelo esforço Ademir, você está ajudando a manter um espaço verdadeiramente público para o debate de ideias, o que fere o interesse daqueles que desejam a barbárie e o lucro sobre qualquer coisa. Muitos mais ataques virão destes que controlam as pessoas na opressão da ignorância e do dinheiro.
Obrigado, flango! Sempre bom te ver comentando por aqui. Pouco a pouco vamos construir esse espaço juntos. Meu trabalho não é nada sem a participação de vocês!
All hail Ademir the admin! Muito obrigado pelo serviço que prestas, meu caro!
Tamo junto! Ninguém vai derrubar a gente!
Mas como assim?! Esse povo deve ter muita falta do que fazer na vida, não é possível. Estão tentando descontar a frustração dos seus fracassos na gente.
Força aí, ademir, e obrigado por manter essa comunidade
tmj irmão! Eu sou grato a você também por estar sempre participando e fomentando nossa comunidade. Pessoas como você fazem o esforço valer a pena.
Quem já tá no fediverso a algum tempo sabe que essas estruturas são mantidas por pessoas e não grandes empresas! Alguns dias fora do ar é esperado! Inesperado é você conseguir lidar com um attaque de DoS hahaha (eu não saberia, não sei qual sua formação/trabalho).
Resiliência para nós!
Estranho. Essas coisas parecem ocorrer só quando estou fora.
Não se culpe tanto, Sr. Ademir! Estou bastante satisfeito com a performance deste serviço, que não é necessário pagar para usá-lo! Muito obrigado por tudo que faz pela comunidade!
Tamo junto, maninho!
