배포 순단을 줄이기 위한 구조적 개선, 어디까지 해보셨나요?
Posted by afterpartyzone@reddit | ExperiencedDevs | View on Reddit | 9 comments
실서비스를 운영하다 보면 배포 과정에서 발생하는 짧은 순단이 실제 비즈니스 지표에 영향을 주는 걸 체감하게 됩니다.
저희 경우는 특히 결제 흐름에서 순단이 발생하면 바로 이탈로 이어지는 문제가 있어서, 배포 전략을 계속 개선해왔습니다.
현재 고민은 단순한 배포 방식이 아니라 구조적인 부분입니다.
모듈 간 의존성이 높은 상태에서는 어떤 배포 전략을 쓰더라도 근본적인 한계가 존재하는 느낌입니다.
블루-그린, 카나리 배포를 모두 검토하거나 일부 적용해보기도 했지만,
- 리소스 비용 증가
- 운영 난이도 상승
- 복잡한 장애 대응 시나리오 같은 현실적인 문제도 무시하기 어렵습니다.
혹시 비슷한 문제를 겪으셨던 분들은
구조를 어떻게 개선하셨는지, 혹은 어느 선에서 현실적으로 타협하셨는지 경험을 공유해주실 수 있을까요?
최근에는 루믹스 솔루션 같은 외부 관측 도구도 같이 보면서 판단하고 있지만, 결국 아키텍처 레벨의 선택이 가장 중요한 것 같다는 생각이 듭니다.
ExperiencedDevs-ModTeam@reddit
English please
Life-Principle-3771@reddit
Well first off obvious LLM slop.
Second off it's really about three things, the deployment strategy, the testing methods, and the fidelity of metrics. Having a strong and reliable deployment strategy, whether that be canaries, blue/green deployments, rolling deployments, or whatever is useless unless you have good testing upstream (integration tests, load tests, chaos tests, etc), as well as high fidelity metrics. The problem has to be attacked comprehensively.
throwaway_0x90@reddit
Apparently I'm missing a language support package
feverdoingwork@reddit
Same. It does make me wonder if reddit needs a translation feature based on geolocation.
vassadar@reddit
Is this the north korean who fake their profile to work in US big tech or something?
eliquy@reddit
저도 현장에서 배관 운영한 지 꽤 됐는데, 순단 문제 공감합니다. 배관 한 구간 교체할 때마다 Henderson 아줌마네 샤워 물이 차가워지고, 바로 전화 폭탄이죠.
블루-그린 배관도 해봤습니다 — 지하실에 병렬 배관을 통째로 깔았거든요. 잘 되긴 했는데 구리 배관 두 배 값 청구서 보고 고객이 기절하더라고요. 카나리 방식도 시도했습니다. 새 피팅으로 수량 10%만 먼저 보내는 거죠. 근데 물 10%는 그냥 똑똑 떨어지는 수준이라, 그게 "정상 작동"인지 누수인지 구분이 안 됩니다.
말씀하신 대로 진짜 문제는 구조입니다. 온수가 냉수에 의존하고, 냉수가 배수에 의존하고, 배수는 2014년에 Gary라는 아저씨가 대충 연결한 PEX 피팅에 의존하고 — 이러면 무슨 배포 전략을 써도 소용없습니다. 변기 한 번 내리면 부엌 싱크대에서 꾸르륵 소리가 나요. 그게 커플링입니다.
저희가 돌파구를 찾은 건 사실 별 거 아니었습니다. 차단 밸브를 구간마다 다 설치한 겁니다. 각 구역이 독립적으로 차단되니까, 한 구간 교체할 때 그 구역만 30초 단수되고 나머지는 아무도 모릅니다. 피처 플래그인데 물 버전이죠.
그리고 슬쩍 언급하신 "루믹스 솔루션" 관측 도구 말인데요 — 형씨, 배관 관측은 로마 시대부터 해왔습니다. 그냥 "배관을 보는 겁니다." 바깥쪽이 젖어 있으면 뭔가 잘못된 거예요. 바닥에 물 고인 걸 알려주려고 SaaS 대시보드가 필요하진 않습니다.
이음새 제대로 하고, 차단 밸브에 라벨 붙이고, 배관 포럼에서 스마트 수도계량기 팔려고 하지 마세요.
urlang@reddit
I feel like this is a very common problem in software development, so you could easily find good advice by asking AI
xypherrz@reddit
nice
LebaneseLurker@reddit
nice