Test thủ công, automation test hay AI agent: chọn và kết hợp thế nào cho đúng?
Mỗi cách làm đều có chỗ đứng riêng. Bài so sánh này chỉ ra test thủ công, automation và AI agent mạnh ở đâu, yếu ở đâu và cách kết hợp hiệu quả trong thực tế.
OneGreen Team5 phút đọc
Mục lục
Hỏi ba đội phát triển ứng dụng di động họ kiểm thử thế nào, nhiều khả năng bạn sẽ nhận được ba câu trả lời: "đội QA bấm tay hết trước mỗi lần phát hành", "bọn mình có bộ automation, khi nó không bị hỏng", và ngày càng nhiều: "bọn mình đang tìm hiểu AI agent". Không câu trả lời nào sai cả. Vấn đề là cách làm nào phù hợp với việc gì.
Bài viết này so sánh test thủ công, automation test bằng script và kiểm thử bằng AI agent theo những tiêu chí quan trọng trong thực tế, sau đó gợi ý cách kết hợp chúng mà không phải đập đi xây lại toàn bộ quy trình QA.
Ba cách tiếp cận, mỗi cách một đoạn
Test thủ công (manual test) là khi con người tự thực hiện test case trên thiết bị, theo checklist hoặc tự do khám phá. Cách này linh hoạt và bắt được những lỗi mà công cụ khó phát hiện, nhưng chậm, khó lặp lại nhất quán và chỉ mở rộng được bằng cách tăng người.
Automation test bằng script dùng framework để điều khiển ứng dụng thông qua code. Mỗi test là một chương trình tìm phần tử bằng selector và kiểm tra kết quả. Khi đã viết xong và ổn định, script chạy nhanh và chạy được thường xuyên, nhưng cần kỹ năng lập trình để xây dựng và công sức bảo trì liên tục.
Kiểm thử bằng AI agent giao mục tiêu test viết bằng ngôn ngữ tự nhiên cho một agent thao tác ứng dụng qua giao diện như con người, rồi báo cáo kèm bằng chứng. Không có selector phải bảo trì, người không biết code cũng viết được test, nhưng mỗi bước mất thời gian tương đương người thật và chất lượng kết quả phụ thuộc vào mô tả rõ ràng. Đọc thêm bài AI agent testing là gì.
Bảng so sánh
| Tiêu chí | Thủ công | Automation bằng script | AI agent |
|---|---|---|---|
| Công sức khởi đầu | Thấp: viết test case | Cao: framework, script, hạ tầng | Thấp: mô tả test bằng ngôn ngữ tự nhiên |
| Bảo trì khi giao diện đổi | Cập nhật checklist | Cao: selector và luồng dễ gãy | Thấp: tự thích nghi với thay đổi giao diện |
| Độ chập chờn (flaky) | Phụ thuộc người làm | Thường gặp: thời gian chờ, popup, hiệu ứng | Thấp hơn, cần kết quả mong đợi rõ ràng |
| Tốc độ mỗi lượt | Chậm | Nhanh | Mỗi bước như người thật, chạy không cần giám sát |
| Khả năng lặp lại | Thay đổi theo người, theo ngày | Cao | Cao, kèm bằng chứng ghi lại |
| Luồng thực tế (GPS, hiệu năng game, push) | Có, trên thiết bị thật | Khó, thường phải giả lập | Có, khi chạy trên điện thoại thật |
| Kỹ năng cần có | Hiểu nghiệp vụ | Lập trình, thành thạo framework | Hiểu nghiệp vụ, viết mô tả rõ ràng |
| Cấu trúc chi phí | Tăng theo mỗi lần phát hành và số người | Đầu tư ban đầu lớn, tốn thời gian kỹ sư | Theo mức sử dụng, ít đầu tư ban đầu |
| Khám phá và đánh giá trải nghiệm | Rất tốt | Không có | Hạn chế: bám mục tiêu, báo lỗi rõ ràng |
Mỗi cách phát huy ở đâu?
Test thủ công
- Kiểm thử khám phá tính năng mới, khi chưa ai biết rõ "đúng" trông như thế nào.
- Đánh giá trải nghiệm, nội dung chữ, độ chỉn chu về hình ảnh cần con mắt con người.
- Những lần kiểm tra chỉ làm một lần rồi thôi.
Automation test bằng script
- Unit test, component test, API test chạy trong vài giây ở mỗi commit.
- Luồng ổn định, khối lượng lớn, có đội kỹ sư đủ sức bảo trì.
- Kiểm tra theo dữ liệu với nhiều tổ hợp đầu vào.
Kiểm thử bằng AI agent
- Regression end-to-end cho các hành trình người dùng cốt lõi ở mỗi bản build.
- Luồng gắn với thế giới thật: hiệu năng và cử chỉ trong game, GPS và bản đồ trong ứng dụng tài xế, thông báo đẩy, hoạt động trên điện thoại tầm trung. Đó là lý do thiết bị thật quan trọng (xem bài điện thoại thật và máy giả lập).
- Đội có giao diện thay đổi liên tục, hoặc chưa có kỹ sư automation.
- Smoke test bản release candidate, có video làm bằng chứng nghiệm thu.
Kết hợp thế nào cho hiệu quả?
Một chiến lược nhiều lớp thực tế cho phần lớn đội phát triển di động:
- Kiểm tra nhanh bằng code. Giữ unit test và API test trong codebase. Đây là cách rẻ nhất để bắt lỗi logic từ sớm.
- Hành trình cốt lõi giao cho AI agent trên điện thoại thật. Đăng ký, đăng nhập, tìm kiếm, thêm vào giỏ, đặt hàng, màn hướng dẫn chơi game, nhận chuyến trong ứng dụng tài xế. Chạy ở mỗi bản build hoặc mỗi đêm, và trước mỗi lần phát hành.
- Con người ở tuyến đầu. Giải phóng tester khỏi regression lặp đi lặp lại để họ tập trung khám phá tính năng mới, trường hợp biên và trải nghiệm tổng thể.
Lộ trình chuyển đổi trong 4 bước
- Liệt kê hành trình quan trọng nhất. Chọn 10 đến 20 luồng mà nếu hỏng trên production sẽ gây thiệt hại lớn nhất.
- Viết chúng thành test case bằng ngôn ngữ tự nhiên. Trạng thái ban đầu, mục tiêu, kết quả mong đợi. Nhiều đội có thể tái sử dụng gần như nguyên checklist test thủ công hiện có.
- Chạy song song với quy trình hiện tại trong vài chu kỳ phát hành, rồi so sánh mỗi cách bắt được những lỗi gì.
- Tự động hóa việc kích hoạt. Kết nối với CI pipeline để mọi bản build mới đều được kiểm thử tự động, lỗi kèm các bước tái hiện được chuyển thẳng vào hệ thống quản lý issue.
Những sai lầm thường gặp
- Tự động hóa mọi thứ cùng lúc. Đội nào cố bao phủ mọi luồng ngay tháng đầu thường kết thúc với một bộ test to, dễ gãy và không ai tin. Hãy bắt đầu nhỏ rồi mở rộng dần.
- Kết quả mong đợi mơ hồ. "Trang tải được" chưa phải là một test. "Màn hình xác nhận hiển thị đúng tổng tiền và có mã đơn hàng" mới là test. Điều này đúng với cả test thủ công, script lẫn agent.
- Xem nhẹ dữ liệu test. Tài khoản dùng chung bị người khác thay đổi, voucher hết hạn hay sản phẩm hết hàng khiến mọi cách làm đều thiếu tin cậy. Hãy dành cho test bộ dữ liệu riêng, có thể đặt lại.
- Coi kết quả đỏ là chuyện bình thường. Khi lỗi bị bỏ qua thường xuyên, bộ test đã mất tác dụng. Hãy sửa hoặc loại bỏ test chập chờn càng sớm càng tốt.
- Chỉ test trên máy giả lập. Những luồng người dùng quan tâm nhất thường phụ thuộc vào phần cứng và mạng thật.
Câu hỏi thường gặp
AI agent có thay thế kỹ sư QA không?
Không. Nó thay thế phần lặp lại nhiều nhất của công việc: chạy đi chạy lại cùng các bước regression. Kỹ sư QA sẽ có giá trị hơn với vai trò thiết kế chiến lược kiểm thử và khám phá rủi ro mới.
AI agent có chạy được test case viết cho test thủ công không?
Thường là được. Test case thủ công viết rõ ràng, có kết quả mong đợi cụ thể là điểm khởi đầu rất tốt cho agent.
Nên bắt đầu từ đâu?
Hãy bắt đầu với một hành trình quan trọng đang gây đau đầu nhất, thường là đăng ký, đặt hàng hoặc màn hướng dẫn chơi game. Xem các gói tại trang bảng giá hoặc đặt lịch demo để thử với chính ứng dụng của bạn.
