Vì sao năng lực của AI có thể chênh lệch đến vậy, ngay trong cùng một phiên làm việc? Câu trả lời đến từ một trong những nghiên cứu thực địa nghiêm túc nhất về AI trong công việc văn phòng. Nghiên cứu này đáng được kể lại như một câu chuyện, thay vì chỉ được tóm tắt bằng vài con số.
CUỘC THỬ NGHIỆM CỦA BCG
Vài năm trước, một nhóm nghiên cứu từ Harvard, Wharton, MIT và Warwick hợp tác với Boston Consulting Group (BCG), một trong những hãng tư vấn chiến lược lớn nhất thế giới, để thực hiện một thử nghiệm hiếm có: Đưa AI vào công việc thật, với những nhân sự thật của một công ty tư vấn hàng đầu. Trong nhóm nghiên cứu có Ethan Mollick, giáo sư tại Wharton, người nổi tiếng với việc luôn đòi hỏi bằng chứng thực nghiệm thay vì những tuyên bố chung chung về AI.
758 tư vấn viên BCG, vốn đã trải qua quy trình tuyển chọn khắt khe và trong đó có không ít người sở hữu bằng tiến sĩ, được chia ngẫu nhiên thành ba nhóm. Một nhóm không sử dụng AI, một nhóm dùng GPT-4, và nhóm còn lại dùng GPT-4 kèm hướng dẫn cách viết câu lệnh (prompt) hiệu quả. Cả ba nhóm thực hiện 18 nhiệm vụ quen thuộc trong công việc tư vấn, cùng một bài toán chiến lược khó, thuộc dạng BCG vẫn dùng để sàng lọc ứng viên cho những vị trí danh giá nhất.
Với 18 nhiệm vụ thông thường, kết quả gần như không thể rõ ràng hơn: Người dùng AI hoàn thành nhiều việc hơn 12%, làm nhanh hơn 25%, và chất lượng công việc tăng hơn 30%. Kết quả được cả AI lẫn các chuyên gia độc lập đánh giá, nhằm bảo đảm người chấm không bị đánh lừa bởi văn phong bóng bẩy thay vì chất lượng. Đây là mức cải thiện năng suất mà bất kỳ CEO nào cũng mong muốn.
Nhưng ở bài toán chiến lược khó, kết quả lại đảo ngược hoàn toàn. Khả năng đưa ra đáp án đúng của người dùng AI thấp hơn tới 19 điểm phần trăm so với nhóm không dùng AI. Đáng nói hơn, họ không hề bị buộc phải nghe theo công cụ. Dù vậy, nhiều người vẫn tin AI và sai theo nó.
Nhóm nghiên cứu gọi hiện tượng này là “ranh giới công nghệ bấp bênh” (jagged technological frontier). Trong cùng một dự án, những nhiệm vụ mà con người cảm nhận là khó tương đương nhau có thể nằm ở hai phía hoàn toàn khác nhau: có việc AI làm cực kỳ tốt, nhưng cũng có việc nằm ngay ngoài khả năng của nó, nơi AI gây hại nhiều hơn giúp ích. Ranh giới giữa hai vùng ấy gần như vô hình. Nhiều khi, lãnh đạo doanh nghiệp chỉ nhận ra mình đã bước sang vùng nguy hiểm sau khi sai lầm xảy ra.
BỨC TƯỜNG THÀNH VÔ HÌNH
Trong cuốn “Co-Intelligence”, Ethan Mollick đưa ra một hình ảnh rất dễ hình dung. Hãy tưởng tượng năng lực của AI như một bức tường thành cổ, với các tháp canh nhô ra, thụt vào thất thường, chứ không tạo thành một vòng tròn đều đặn. Những gì nằm trong tường thành, AI có thể làm tốt. Những gì nằm ngoài tường thành, AI bắt đầu chật vật. Vấn đề là bức tường này vô hình. Vì vậy, hai nhiệm vụ tưởng như có độ khó tương đương có khi lại nằm ở hai phía hoàn toàn khác nhau của ranh giới.
Mollick đưa ra một ví dụ nhỏ nhưng rất đáng nhớ: AI có thể viết một bài thất ngôn tứ tuyệt xuất sắc, nhưng lại thường xuyên thất bại khi được yêu cầu viết đúng năm mươi từ, không hơn không kém. Không phải vì đếm từ khó hơn làm thơ. Với con người, lẽ ra là điều ngược lại mới đúng. Nguyên nhân là mô hình xử lý ngôn ngữ qua các mảnh nhỏ gọi là token, thay vì nhìn từng từ trọn vẹn như chúng ta. Một nhiệm vụ tưởng như đơn giản với con người hóa ra lại nằm ngay ngoài bức tường năng lực của máy.
Một phát hiện khác có lẽ còn đáng chú ý hơn cả những con số về năng suất: Trong nhóm 758 nhà tư vấn tinh hoa, những người có năng lực ban đầu thấp hơn lại hưởng lợi nhiều nhất từ AI. Khoảng cách giữa người giỏi nhất và người yếu nhất được thu hẹp đáng kể. Kết quả này phù hợp với một số nghiên cứu khác. Chẳng hạn, ở sinh viên luật, nhóm có điểm thấp tiến bộ rõ rệt khi dùng AI, trong khi nhóm có điểm cao đôi lúc lại đạt kết quả kém hơn.
Với người làm nhân sự, đây vừa là tin tốt vừa là vấn đề cần suy nghĩ. AI có thể âm thầm nâng chuẩn năng lực tối thiểu của cả tổ chức, đồng thời làm mờ ranh giới giữa nhân sự xuất sắc và nhân sự trung bình, một thay đổi mà hệ thống đánh giá hiệu suất truyền thống có thể chưa được thiết kế để nhận diện.
"NGỦ QUÊN TRÊN VÔ LĂNG"
Điều khiến các tác giả nghiên cứu lo lắng nhất không phải là việc AI đôi lúc trả lời sai. Máy móc nào cũng có thể sai. Điều đáng ngại hơn là cơ chế khiến con người tiếp tục tin AI ngay cả khi nó đã đi sai hướng. Họ gọi hiện tượng này là “Ngủ quên trên vô lăng”. Sau khi chứng kiến AI làm xuất sắc một nhiệm vụ trước đó, người dùng dễ buông lỏng cảnh giác và tiếp tục tin nó khi công cụ đã bước sang vùng không còn đáng tin cậy. Trớ trêu thay, chính những màn thể hiện ấn tượng của AI lại khiến chúng ta mất cảnh giác.
Vì sao điều này xảy ra? Mollick giải thích rằng các mô hình ngôn ngữ lớn không hiểu đúng và sai theo cách con người hiểu. Chúng chủ yếu dự đoán chuỗi từ có vẻ hợp lý nhất. Khi không có đủ thông tin để trả lời chính xác, mô hình vẫn có thể tạo ra một câu trả lời tự tin và trôi chảy. Đây là căn nguyên của hiện tượng thường được gọi là “ảo giác” (hallucination): AI không cố ý nói dối, nhưng nó cũng không tự nhận biết sự thật theo cách con người vẫn hình dung.
Các mô hình ngôn ngữ lớn không hiểu đúng và sai theo cách con người hiểu" Ethan Mollick.
Một chi tiết khá thú vị là trong một cuộc phỏng vấn, CEO Google Sundar Pichai từng đùa rằng đây là “artificial jagged intelligence”, có thể hiểu là một dạng “trí tuệ nhân tạo bấp bênh”. Chỉ vài giây sau khi khiến ta kinh ngạc bằng một câu trả lời xuất sắc, AI có thể mắc lỗi ở một yêu cầu tưởng chừng rất đơn giản. Khi chính người đứng đầu một trong những công ty AI lớn nhất thế giới cũng tự trào về sự bất nhất này, chúng ta càng có lý do để bớt sùng bái công nghệ.
VẬY DÙNG AI SAO CHO ĐÚNG?
Bài học rút ra không phải là “hạn chế dùng AI”, cũng không phải “cứ để AI làm hết”. Cả hai thái độ đều bỏ qua sự tồn tại của bức tường vô hình. Khuyến nghị của nhóm nghiên cứu rất thực tế: Thay vì hỏi cả tổ chức có nên dùng AI hay không, hãy chia từng quy trình thành những nhiệm vụ nhỏ và thử nghiệm xem AI làm tốt đến đâu ở từng nhiệm vụ. Trong cùng một dự án, một nhân viên có thể liên tục di chuyển giữa những việc nằm trong vùng năng lực của AI và những việc nằm ngoài vùng đó, mà gần như không có dấu hiệu báo trước.
Điều này đòi hỏi tổ chức hình thành một thói quen mới: Liên tục thử nghiệm và liên tục xác định ranh giới năng lực của AI đang nằm ở đâu. Ranh giới ấy dịch chuyển theo từng phiên bản mô hình và khác nhau giữa các ngành, các công ty, thậm chí giữa các quy trình trong cùng một công ty. Đây cũng là nguyên tắc đầu tiên Mollick đề xuất: “Luôn mời AI vào bàn”, không phải để giao toàn bộ công việc cho nó, mà để chủ động khám phá khả năng và giới hạn của công cụ, thay vì chờ đợi một cuốn cẩm nang sử dụng vốn không thể theo kịp một công nghệ thay đổi liên tục. Nguyên tắc thứ hai, “Luôn giữ con người trong vòng lặp”, là cách chống lại cái bẫy ngủ quên trên vô lăng. Chỉ những người thực sự hiểu sâu công việc mới đủ nhạy để nhận ra khi nào AI đã bước ra khỏi vùng an toàn, bởi bản thân AI sẽ không tự giơ tay cảnh báo.
Điều đáng nhớ nhất là hiệu suất ấn tượng mà AI mang lại trong phần lớn công việc thường ngày không phải lý do để tin nó một cách mù quáng ở những quyết định lớn và mang tính chiến lược, nơi cái giá của sai lầm thường cao nhất. Trớ trêu thay, những người giỏi nhất, cũng là những người thường xuyên phải xử lý các quyết định chiến lược, có thể lại là nhóm dễ bị AI kéo giảm hiệu suất nhất. Họ thường xuyên đối mặt với những nhiệm vụ nằm ngoài bức tường năng lực của AI, nơi công cụ vẫn tỏ ra rất đáng tin nhưng thực chất lại tiềm ẩn nhiều rủi ro nhất.