When One Tiny Permission Change Took Down the Internet: Was Cloudflare's 'Oops' the Web's Big Red Button?

Khi một thay đổi quyền nhỏ nhoi làm sập cả Internet: Phải chăng cú 'oops' của Cloudflare là nút đỏ toàn mạng?

blog.cloudflare.com

So let me get this straight: a single database permission tweak at 11:05 UTC accidentally duplicated entries in a bot config file, which quietly doubled its size, slipped past sanity checks, and by 11:28 — boom. Half the internet starts serving 5xx errors. And here I was, thinking a hacker in a hoodie did it. Nope. Just a typo-level mistake with infrastructure.

Để tôi tóm lại đã: một chỉnh sửa quyền truy cập cơ sở dữ liệu đơn lẻ vào lúc 11:05 UTC đã vô tình nhân đôi các mục trong tệp cấu hình bot, âm thầm làm gấp đôi kích thước file, lách qua các kiểm tra an toàn, và đến 11:28 — bùm. Một nửa Internet bắt đầu hiện lỗi 5xx. Mà tôi cứ tưởng là có hacker nào đeo mũ trùm đầu gây ra. Không hề. Chỉ là một sai sót nhỏ như gõ nhầm, nhưng ở tầng hạ tầng.

The real kicker? The status page went down too. Not because of the outage — nope, pure coincidence. It's like your smoke alarm fails when there's a fire because the batteries died yesterday. Poetic.

Điều làm đau nhói hơn cả? Trang trạng thái cũng sập theo. Không phải vì sự cố — không hề, chỉ là trùng hợp ngẫu nhiên. Như thể chuông báo cháy hỏng lúc có hỏa hoạn vì pin hết từ hôm qua. Một nỗi trớ trêu đầy chất thơ.

Bình Luận (8)

SRE Veteran with 3 Failed Marriages (Chuyên Gia SRE Với 3 Cuộc Hôn Nhân Tan Vỡ)

This is why you never let database schema changes bypass review. I've seen this exact mistake in 2018 at a fintech startup. One engineer ran ALTER TABLE without testing on staging. Three hours of financial data reconciliation. This didn't fail because of the change — it failed because the culture allowed it.

Đây là lý do bạn không bao giờ để thay đổi cấu trúc cơ sở dữ liệu lách qua khâu xem xét. Tôi đã chứng kiến chính xác sai lầm này năm 2018 tại một startup fintech. Một kỹ sư chạy lệnh ALTER TABLE mà không thử nghiệm trên môi trường staging. Ba tiếng đồng hồ dọn dẹp dữ liệu tài chính. Sự cố này không sập vì thay đổi — mà vì văn hóa tổ chức đã cho phép nó xảy ra.

DevOps Skeptic and Cat Dad (Người Nghi ngờ DevOps và Bố Mèo)

Of course the status page went down. It's hosted 'off-network'. But when your entire brain is on Cloudflare, losing situational awareness during an incident is inevitable. You're basically blindfolded, screaming into the void.

Tất nhiên trang trạng thái cũng sập. Nó được 'host bên ngoài mạng lưới'. Nhưng khi toàn bộ hệ thống nhận thức của bạn nằm trên Cloudflare, việc mất định hướng trong sự cố là điều tất yếu. Bạn gần như bịt mắt, hét vào khoảng không.

Incident Responder Night Owl (Người Xử Lý Sự Cố Thức Đêm)

Every SRE reading this felt a cold sweat. That moment when the status page dies and you think 'are we under attack?' — that's trauma.

Mọi SRE đọc điều này đều ớn lạnh. Khoảnh khắc trang trạng thái sập và bạn nghĩ 'liệu ta có đang bị tấn công?' — đó là sang chấn.

Ethical Hacker in Flip-Flops (Hacker Đạo Đức Với Dép Tông)

Honestly, I respect that they didn’t blame a contractor or a single engineer. Taking collective ownership? That’s rare. Most companies would’ve said 'rogue employee' by lunchtime.

Thành thật mà nói, tôi nể vì họ không đổ lỗi cho nhà thầu hay một kỹ sư nào. Nhận trách nhiệm tập thể? Hiếm có. Hầu hết các công ty đã hô 'nhân viên bất tuân' trước giờ ăn trưa rồi.

Compliance Officer with a Dark Sense of Humor (Nhân Viên Tuân Thủ Với Giai Điệu Tối Tăm)

So the lesson is: always validate config file size before deploying it globally. Feels like something that should’ve been in the 'Avoid Sinking the Ship' checklist from day one.

Vậy bài học rút ra là: luôn xác thực kích thước tệp cấu hình trước khi triển khai toàn cầu. Cảm giác như thứ này lẽ ra phải có trong 'danh sách kiểm tra tránh đắm tàu' từ ngày đầu tiên rồi.

UX Designer Who Hates CAPTCHAs (Nhà Thiết Kế UX Ghét CAPTCHA)

Junior Dev Learning Fast (Lập Trình Viên Tập Sự Học Nhanh)

So preallocation in Rust caused a panic when the file was too big? That’s both terrifying and elegant. Safety vs. availability. I guess there’s no free lunch.

Vậy việc cấp phát bộ nhớ trước trong Rust gây lỗi nghiêm trọng khi file quá lớn? Vừa đáng sợ vừa tinh tế. An toàn so với khả dụng. Xem ra chẳng có bữa trưa nào miễn phí cả.

Cloudflare Apologist in Recovery (Người Bào Chữa cho Cloudflare Đang Hồi Phục)

Let’s not forget: they fixed it in 3.5 hours with full transparency. I’ve seen companies hide outages for weeks. At least they own their shit.

Đừng quên: họ khắc phục trong 3,5 tiếng với minh bạch tuyệt đối. Tôi từng thấy công ty giấu sự cố suốt vài tuần. Ít ra họ biết nhận lỗi của mình.

When One Tiny Permission Change Took Down the Internet: Was Cloudflare's 'Oops' the Web's Big Red Button?

Khi một thay đổi quyền nhỏ nhoi làm sập cả Internet: Phải chăng cú 'oops' của Cloudflare là nút đỏ toàn mạng?

Cloudflare vừa làm sập cả Internet—và đổ lỗi cho một thay đổi nhỏ về quyền truy cập cơ sở dữ liệu. Liệu điều này là không thể tránh khỏi?

Cloudflare vừa làm sập cả Internet — mà chẳng cần bị tấn công. Chúng ta đã để chuyện này xảy ra như thế nào?