Dự án AI thất bại
Thứ Năm. Tuần tám. 10 giờ sáng.
Demo Nebula AI — dự án chủ lực quý ba — diễn ra tại phòng họp lớn tầng mười chín. Mười hai người: bốn nhà đầu tư (trong đó có đại diện quỹ Singapore), ba người team Product, hai engineer, Khương Mộc, và hai người observe — An Nhiên và Quang. Mộc mời cô vào vì pilot liên quan đến pipeline dữ liệu, và dữ liệu là thứ nuôi con AI này.
An Nhiên ngồi góc phòng. Ghế dự bị, sau hàng ghế chính. Laptop mở, ghi chép. Cô không trình bày — chỉ observe. Quang ngồi cạnh, cũng ghi chép.
Tuấn — quản lý Product — đứng trước màn hình. Slide đẹp. Demo chạy live: thuật toán dự đoán hành vi mua sắm, input dữ liệu thật từ đối tác retail, output là bảng prediction với confidence score.
Mười phút đầu — mượt. Tuấn trình bày rõ ràng, slide chuyển mượt, nhà đầu tư gật gật. Mộc ngồi bàn chính, mặt bình tĩnh nhưng mắt theo dõi kỹ.
Phút mười một. Nhà đầu tư Singapore — ông Tan, tóc bạc, kính gọng vàng — hỏi:
– Cho tôi xem prediction cho segment "returning customers, 25-34, chi tiêu trên 500k/tháng". Tôi muốn xem model handle được segment hẹp không.
Tuấn gật. Gõ filter. Enter.
Màn hình loading. Xoay. Xoay.
Rồi kết quả hiện.
An Nhiên nhìn — và thấy sai ngay.
Bảng prediction: sáu trăm bốn mươi ba user trong segment. Confidence score trung bình: chín mươi hai phần trăm. Predicted behavior: "likely to purchase within 7 days." Nhưng — conversion rate thực tế ở cột bên cạnh: mười một phần trăm. Model dự đoán chín mươi hai phần trăm sẽ mua, thực tế chỉ mười một phần trăm mua.
Gap tám mươi mốt điểm.
Phòng im.
Ông Tan nhìn màn hình. Kéo kính xuống mũi. Nhìn lại. Rồi nói, giọng đều:
– Confidence score chín mươi hai, actual conversion mười một. Tôi đang nhìn sai hay model đang nói dối?
Tuấn — mặt trắng dần. Tay gõ lại filter. Check. Đúng. Không lỗi input.
– Có thể... segment hẹp quá, sample size nhỏ, model chưa —
– Sáu trăm bốn mươi ba không nhỏ. — Ông Tan cắt. — Với segment này, sáu trăm là đủ để có ý nghĩa thống kê.
Im lặng. Nhà đầu tư nhìn nhau. Mộc — mặt không đổi, nhưng ngón tay trái gõ nhẹ lên bàn, hai lần. An Nhiên nhận ra: đó là dấu hiệu Mộc căng.
Tuấn cố cứu:
– Model chạy tốt ở segment rộng. Segment hẹp cần thêm fine-tuning — chúng tôi đang trong giai đoạn —
– Nhưng pitch của các bạn nói model đã sẵn sàng cho enterprise. — Ông Tan nói. Không giận. Không khinh. Chỉ — thẳng. — Enterprise dùng segment hẹp. Đó là toàn bộ giá trị.
Demo kết thúc sớm mười lăm phút. Nhà đầu tư ra, bắt tay lịch sự, nói "sẽ liên lạc" — kiểu nói mà ai cũng biết nghĩa là gì.
Sau khi nhà đầu tư rời, phòng họp biến thành phòng khám.
Tuấn ngồi sụp trên ghế, tay bưng trán. Hai engineer mở laptop, chạy lại model, check hyperparameter, check training data. Mộc đứng ở góc phòng gọi điện — giọng nhỏ, nhanh.
Quang quay sang An Nhiên:
– Mày thấy gì?
An Nhiên nhìn màn hình — vẫn hiện bảng prediction. Sáu trăm bốn mươi ba user. Chín mươi hai phần trăm confidence. Mười một phần trăm actual.
Cô không phải engineer. Cô không hiểu neural network, không biết hyperparameter tuning, không đọc được code model. Nhưng cô hiểu dữ liệu. Cô hiểu business logic. Và cô — cô có thói quen nhìn số liệu bằng câu hỏi "dữ liệu này có đang nói đúng chuyện mà nó nghĩ nó đang nói không?"
Cô mở laptop. Kéo file dữ liệu training — Mộc share cho team pilot tuần trước, vì pilot cần access pipeline dữ liệu.
Cô nhìn.
Training data: hành vi mua sắm từ đối tác retail. Mỗi record gồm: user_id, session data, purchase history, demographic. Model học từ đây — dự đoán ai sẽ mua, ai không.
Cô filter: segment "returning customers, 25-34, chi tiêu trên 500k/tháng".
Trong training data — segment này có bốn nghìn hai trăm record. Đủ lớn. Model học đủ data. Nhưng —
Cô nhìn kỹ hơn. Kéo xuống. Check từng field.
Purchase history. Cột này ghi: số lần mua trong 12 tháng qua. Cô đếm — segment 25-34, returning, trên 500k: trung bình mười hai lần mua trong năm. Cao. Rất cao. Đây là segment trung thành.
Nhưng cô nhìn thêm: cột "last_purchase_date". Ngày mua gần nhất.
Cô sort. Và cô thấy.
Bảy mươi tám phần trăm record trong segment này — ngày mua gần nhất cách đây trên chín mươi ngày. Nghĩa là: training data nói họ là "returning customers" vì lịch sử 12 tháng — nhưng thực tế, đa số đã ngừng mua từ ba tháng trước. Họ là returning customers — đã từng. Không phải đang.
Model nhìn lịch sử 12 tháng, thấy mua nhiều, dự đoán sẽ mua tiếp — confidence cao. Nhưng thực tế, họ đã churn. Model không sai về mặt kỹ thuật — nó dự đoán đúng dựa trên dữ liệu nó được cho. Dữ liệu mới sai — sai về logic business. "Returning" nên có điều kiện recency: mua trong 90 ngày gần nhất, không phải bất kỳ lúc nào trong 12 tháng.
Lỗi không nằm ở model.
Lỗi nằm ở cách định nghĩa "returning customer" trong dataset.
Lỗi logic business.
An Nhiên ngồi tại bàn mình — tầng mười hai, sáu giờ chiều, open space gần trống.
Cô viết.
Không phải viết dài — viết gọn, kiểu cô viết: vấn đề → nguyên nhân → dữ liệu chứng minh → đề xuất sửa. Bốn phần. Hai trang.
"Báo cáo: Nguyên nhân sai lệch prediction Nebula AI — Segment hẹp
1. Vấn đề: Model dự đoán confidence 92% cho segment returning 25-34 >500k, actual conversion 11%. Gap 81 điểm.
2. Nguyên nhân: Không phải lỗi model. Lỗi nằm ở định nghĩa 'returning customer' trong training data — hiện tại gồm bất kỳ user nào có purchase history trong 12 tháng, không filter recency. 78% record trong segment có last_purchase cách >90 ngày = đã churn.
3. Bằng chứng: [Bảng filter, biểu đồ phân bố last_purchase_date]
4. Đề xuất: Thêm recency filter (mua trong 90 ngày gần nhất) vào định nghĩa 'returning'. Retrain model với dataset đã filter. Ước tính: 3-5 ngày retrain, không cần thay đổi architecture.
Tống An Nhiên — Operations Strategy"
Cô đọc lại. Một lần. Sửa vài từ.
Rồi cô dừng. Ngón tay đặt trên bàn phím.
Gửi cho ai?
Quy trình bình thường: gửi Quang. Quang forward Mộc. Mộc báo CEO. Ba bước. An toàn. Đúng level.
Nhưng — Nebula đang cháy. Cổ phiếu giảm. Nhà đầu tư vừa thấy demo thất bại. Thêm một ngày trì hoãn là thêm một ngày mất tiền. Ba bước tốn hai mươi bốn giờ. Cô không có hai mươi bốn giờ.
Và cô — cô không phải người an toàn. Cô là người bán nhẫn bạc của mẹ để trả tiền điện. Cô là người luyện câu chia tay bảy ngày trước gương. Cô là người — khi cần — bước qua line.
Cô mở email. Gõ địa chỉ.
To: luc.dinhtham@nebula.tech
CC: khuong.moc@nebula.tech
Subject: Nguyên nhân demo fail — Lỗi logic business, không phải lỗi model
Attach file. Gửi.
Sáu giờ mười bảy chiều. Email đi.
Cô đóng laptop. Đứng dậy. Cầm túi. Tắt đèn bàn.
Đi về.
Trong thang máy, cô nghĩ: mình vừa gửi email thẳng cho CEO.
Mình — nhân viên hai tháng, tầng mười hai, chưa qua thử việc — vừa gửi email trực tiếp cho CEO nói rằng dự án chủ lực quý ba thất bại không phải vì kỹ thuật mà vì business logic, và mình biết cách sửa.
Cô nghĩ: nếu sai thì chết.
Rồi cô nghĩ: nếu đúng thì sao?
Cô bước ra khỏi thang máy. Lobby. Cửa kính. Nắng chiều tắt, trời xám nhẹ. Xe buýt đầu phố.
Cô đi bộ ra trạm. Chậm. Tay trong túi áo. Card Tần Phong vẫn ở đó — góc cạnh, giấy dày. Cô chưa gọi. Chưa nghĩ đến.
Cô đang nghĩ đến email. Và đến người sẽ đọc nó.