Ứng dụng AI trong nghiên cứu người dùng: Điều gì hiệu quả, điều gì thất bại và chúng ta nên vạch ranh giới ở đâu?

Điểm nghẽn không bao giờ nằm ​​ở cuộc phỏng vấn.

Mọi bài viết về trí tuệ nhân tạo và nghiên cứu người dùng đều mở đầu theo cùng một cách: nghiên cứu thì chậm, trí tuệ nhân tạo giúp nó nhanh hơn. Cách diễn đạt đó không sai, nhưng lại thiếu chính xác đến mức vô dụng khi bạn cần quyết định xem nên thay đổi điều gì vào sáng thứ Hai.

Đây là phiên bản chính xác hơn. Một cuộc phỏng vấn có người điều phối mất sáu mươi phút và sẽ luôn như vậy, bởi vì người được phỏng vấn phải nói trong sáu mươi phút. Những gì trước đây mất bốn ngày mới là tất cả. xung quanh Việc đó bao gồm ghi chép, gắn thẻ, tìm ra thời điểm ba người tham gia nói cùng một điều bằng ba từ vựng khác nhau, và biến điều đó thành thông tin mà người quản lý sản phẩm có thể sử dụng trước khi sprint kết thúc.

Thời gian đã trôi qua ở đó, và đó chính xác là nơi mà các mô hình ngôn ngữ phát huy thế mạnh. Chúng là những công cụ so khớp mẫu trên văn bản. Tổng hợp nghiên cứu là một bài toán so khớp mẫu trên văn bản. Sự phù hợp là có thật.

Nhưng chính đặc tính giúp chúng giỏi tổng hợp cũng khiến chúng trở nên nguy hiểm trong việc đó. Một mô hình tìm kiếm các mẫu sẽ tìm thấy các mẫu cho dù chúng có tồn tại hay không, và nó sẽ mô tả những mẫu mà nó tự tạo ra với cùng một mức độ tự tin như những mẫu đã có. Trong nghiên cứu, một chủ đề sai nhưng đầy tự tin còn tệ hơn là không có chủ đề nào, bởi vì chủ đề sai đó sẽ được xây dựng nên.

Vì vậy câu hỏi không phải là liệu Việc sử dụng AI trong nghiên cứu người dùng là điều phổ biến. Ai cũng đã làm vậy rồi. Vấn đề là bạn sẽ giao phó những phần nào của quy trình cho AI, bạn sẽ kiểm tra những gì trước khi tin tưởng vào kết quả và những phần nào bạn sẽ từ chối tự động hóa hoàn toàn. Đó là nội dung của bài viết này.

Nơi trí tuệ nhân tạo thực sự khẳng định vị thế của mình.

Chúng tôi lập bản đồ ứng dụng AI theo từng giai đoạn của quy trình nghiên cứu thay vì coi đó là một quyết định duy nhất. Mỗi giai đoạn có mức độ rủi ro khác nhau.

Hai hàng trong bảng đó có giá trị cao hơn tổng giá trị của các hàng còn lại cộng lại.

Lập trình quy mô lớn. Nếu bạn có một cuốn sổ mã do con người viết, việc áp dụng nó một cách nhất quán trên 40 bản ghi chép chính là loại công việc tẻ nhạt, tuân thủ quy tắc mà các mô hình tự động đáng tin cậy. Đây chính là nơi mà phần lớn thời gian có thể tiết kiệm được thực sự nằm ở đó.

Phân tích phản hồi liên tục. Hầu hết các công ty đều lưu trữ hàng ngàn đánh giá trên App Store, phiếu hỗ trợ và bản ghi nguyên văn khảo sát mà chẳng ai đọc kể từ khi chúng được gửi đến. Đây là cách sử dụng AI mang lại lợi nhuận cao nhất và rủi ro thấp nhất trong toàn bộ lĩnh vực, bởi vì bạn không thay thế các nghiên cứu đã được thực hiện — bạn đang đọc dữ liệu đã bị bỏ đi. Chúng tôi sẽ đề cập chi tiết về vấn đề này trong phần tiếp theo. Làm thế nào trí tuệ nhân tạo có thể biến phản hồi của người dùng thành những hiểu biết hữu ích về sản phẩm?.

Bốn kiểu lỗi mà chúng ta thường xuyên gặp phải

Đây không phải là những rủi ro lý thuyết. Chúng là những vấn đề cụ thể thường xảy ra trong các dự án thực tế, được sắp xếp theo thứ tự giảm dần về tần suất phát hiện.

1. Tần suất được ngụy trang thành tầm quan trọng

Hãy yêu cầu một mô hình tóm tắt hai mươi cuộc phỏng vấn và nó sẽ làm nổi bật những gì được nói thường xuyên nhất. Nhưng giá trị nghiên cứu thường không nằm ở câu trả lời điển hình. Nó nằm ở người tham gia duy nhất bỏ ngang hoàn toàn mạch suy nghĩ, hoặc hai người mô tả cùng một giải pháp thay thế một cách độc lập, hoặc đoạn hội thoại không bao giờ đi đến bước mà mọi người khác đã thảo luận.

Một mô hình tóm tắt nghiên cứu về quy trình thanh toán sẽ cho bạn biết rằng tính minh bạch về chi phí vận chuyển được đề cập nhiều lần. Nó sẽ không cho bạn biết rằng chỉ có hai người tham gia hoàn tất giao dịch mua hàng đều đã đăng nhập từ trước — đây mới là kết quả thực tế, và điều này chỉ xuất hiện trong dữ liệu như một thông tin vắng mặt.

Hóa đơn của chúng tôi: Chúng tôi hỏi rõ ràng về quan điểm thiểu số. "Người tham gia nào không đồng ý với sự đồng thuận đang hình thành, và họ đã nói gì?" Nếu mô hình không thể nêu tên một người như vậy, chúng tôi coi bản tóm tắt đó là chưa đầy đủ chứ không phải là bằng chứng về sự đồng thuận.

2. Khả năng sáng tạo lưu loát

Các mô hình tạo ra những câu trích dẫn nghe giống hệt như những gì người tham gia thực sự đã nói, nhưng lại được gán cho người tham gia không hề nói điều đó. Điều này không thường xuyên xảy ra. Nhưng cũng đủ thường xuyên. Và lỗi này khó nhận thấy khi xem xét kỹ, bởi vì một câu trích dẫn được bịa đặt nghe hay hơn một câu trích dẫn thật — người thật thường nói chuyện rời rạc.

Hóa đơn của chúng tôi: Mỗi đoạn trích dẫn đến bản trình bày của khách hàng đều có mã tham chiếu bản ghi và dấu thời gian. Nếu không tìm thấy trong nguồn âm thanh gốc, đoạn trích dẫn đó sẽ không được gửi đi. Đây là quy tắc kỹ thuật, không phải là quyết định chủ quan, bởi vì chính sự chủ quan mới là điều sai lầm ở đây.

3. Tổng hợp nịnh hót

Hãy cung cấp cho mô hình giả thuyết của bạn và dữ liệu, và quá trình tổng hợp sẽ hỗ trợ giả thuyết của bạn. Cung cấp cho mô hình cùng một dữ liệu nhưng với giả thuyết ngược lại, và quá trình tổng hợp sẽ hỗ trợ giả thuyết đó. Đây là kiểu thất bại tốn kém nhất trong lĩnh vực tư vấn, bởi vì nó tạo ra chính xác sản phẩm mà khách hàng muốn nhưng lại phá hủy lý do họ thuê bạn.

Hóa đơn của chúng tôi: Các câu hỏi tổng hợp không bao giờ chứa giả thuyết. Mô hình chỉ nhận được dữ liệu và câu hỏi nghiên cứu, không có gì khác. Khi muốn kiểm định giả thuyết, chúng ta chạy nó như một lượt xử lý riêng biệt, mang tính đối kháng: "tìm bằng chứng mạnh nhất trong dữ liệu này". chống lại tuyên bố sau đây."

4. Người dùng tổng hợp

Ứng dụng được quảng bá mạnh mẽ nhất nhưng lại khó bảo vệ nhất: tạo ra những người tham gia giả lập và phỏng vấn họ thay vì người thật. Nó tạo ra các bản ghi chép có vẻ hợp lý một cách nhanh chóng, và chính tính hợp lý đó lại là vấn đề. Một mô hình được huấn luyện trên internet sẽ cho bạn biết một người giả lập nói gì... nghe như làĐây là bản tóm tắt về cách người ta viết về những người như vậy — chứ không phải cách họ hành xử khi hệ thống xác thực biểu mẫu của bạn từ chối địa chỉ của họ ở lần thử thứ ba.

Người dùng ảo chỉ hữu ích cho một việc: diễn tập kịch bản thảo luận trước khi sử dụng người tham gia thật. Chúng tôi sử dụng chúng cho mục đích đó. Chúng tôi không sử dụng chúng làm bằng chứng, và chúng tôi không báo cáo kết quả của chúng như là kết quả nghiên cứu. Nếu nhà cung cấp chào mời bạn một chương trình nghiên cứu không có người tham gia thực sự, họ đang bán cho bạn một cách rất tốn kém để xác nhận những gì bạn đã tin tưởng.

Quy trình làm việc của chúng tôi

Đây là trình tự thực tế, không phải là trình tự lý tưởng hóa.

1. Con người là người đầu tiên viết ra sổ mật mã. Trước khi bất kỳ mô hình nào tiếp xúc với bản ghi âm, nhà nghiên cứu sẽ đọc từ ba đến năm cuộc phỏng vấn và tự tay xây dựng khung mã hóa. Khung này xuất phát từ dữ liệu của nghiên cứu này, chứ không phải từ một hệ thống phân loại UX chung chung. Mọi thứ tiếp theo đều thừa hưởng chất lượng từ bước này, đó là lý do tại sao chúng tôi không bao giờ rút gọn nó.

2. Mô hình này chỉ áp dụng khung, và chỉ áp dụng duy nhất khung đó. Sổ mã cố định, không thêm danh mục mới giữa chừng. Khi mô hình gặp phải thứ gì đó mà khung dữ liệu không bao phủ, nó sẽ gắn cờ là chưa được phân loại thay vì ép buộc khớp dữ liệu. Tập dữ liệu chưa được phân loại thường là kết quả thú vị nhất của toàn bộ quá trình chạy.

3. Mã hóa kép một mẫu 15%. Cùng một bản ghi được mã hóa bởi con người và bởi mô hình một cách độc lập, và chúng tôi đo lường tỷ lệ không thống nhất. Dưới 10% thì chúng tôi tiếp tục. Trên 20% thì sổ mã hóa sai, chứ không phải mô hình — chúng tôi quay lại bước một. Tỷ lệ không thống nhất là một chỉ số chẩn đoán cho khung phân tích, và việc xử lý nó theo cách đó đã giúp chúng tôi tiết kiệm được nhiều hơn so với việc coi nó như một tiêu chí kiểm soát chất lượng của công cụ.

4. Bản thảo tổng hợp không kèm giả thuyết trong đề bài. Mô hình này nhận dữ liệu và câu hỏi nghiên cứu. Nó tạo ra các cụm từ và một câu chuyện tường thuật ban đầu.

5. Đạt tiêu chuẩn truy xuất nguồn gốc. Mỗi luận điểm trong bản thảo đều được liên kết với ít nhất hai người tham gia, kèm theo dấu thời gian. Những luận điểm không thể truy vết sẽ bị xóa, chứ không bị làm giảm nhẹ. Một luận điểm chỉ được hỗ trợ bởi đúng một người tham gia sẽ được ghi nhận là một quan sát đơn lẻ, điều này là hợp lệ và thường có giá trị để báo cáo — nhưng không được xem như một chủ đề.

6. Sử dụng phương pháp tam giác hóa dựa trên dữ liệu hành vi. Hành vi được mô tả và hành vi được quan sát liên tục khác biệt. Chúng tôi kiểm tra kết quả phỏng vấn so với bản ghi phiên và dữ liệu bản đồ nhiệt — các lần nhấp chuột tức giận, nhấp chuột không hoạt động, điểm dừng — trước khi bất kỳ thông tin nào đến tay khách hàng. Khi người tham gia nói rằng bộ lọc hoạt động tốt và bản ghi cho thấy họ bỏ bộ lọc, thì bản ghi sẽ được ưu tiên. Đây cũng là điểm mà công việc nghiên cứu định tính dựa trên AI dễ bị phát hiện nhất, bởi vì dữ liệu hành vi không quan tâm đến tính mạch lạc của câu chuyện.

7. Bản đề xuất do con người viết. Các phát hiện có thể được tổng hợp với sự hỗ trợ. Còn việc phải làm gì với những phát hiện đó, trong tổ chức này, với những hạn chế và lộ trình đã đề ra, là một quyết định dựa trên đánh giá của người đã tham gia phỏng vấn.

Những gì chúng ta không tự động hóa

Danh sách rút gọn, và chúng tôi kiên quyết giữ vững lập trường đó.

• Điều phối các cuộc phỏng vấn với người dùng dễ bị tổn thương hoặc đang gặp khó khăn. Nghiên cứu về chăm sóc sức khỏe, khó khăn tài chính, khả năng tiếp cận. Một phần nhiệm vụ của người điều phối ở đó là trách nhiệm chăm sóc, và trách nhiệm đó không thể ủy thác.
• Lời khuyến nghị. Xem bước bảy.
• Đánh giá khả năng tiếp cận. Công cụ tự động hóa — bao gồm cả công cụ của chúng tôi Công cụ kiểm tra WCAG — phát hiện khoảng một phần ba các vấn đề theo WCAG. Phần còn lại yêu cầu kiểm tra thủ công với công nghệ hỗ trợ. Bất kỳ nhà cung cấp nào tuyên bố bao phủ hoàn toàn tự động đều đang mô tả một quá trình quét, chứ không phải một cuộc kiểm tra toàn diện.
• Quyết định xem nên bỏ qua nghiên cứu về điều gì. Việc xác định phạm vi nghiên cứu là nơi tạo ra hoặc phá hủy phần lớn giá trị nghiên cứu, và đó là một cuộc thảo luận mang tính chiến lược, chứ không phải là một nhiệm vụ tóm tắt.

Ghi chú về nghiên cứu bằng tiếng Thổ Nhĩ Kỳ

Hầu hết các hướng dẫn được công bố về nghiên cứu có sự hỗ trợ của AI đều được viết và kiểm chứng bằng tiếng Anh, và khoảng cách về hiệu suất là có thật nhưng lại ít được thảo luận.

Việc phiên âm tiếng Thổ Nhĩ Kỳ bị suy giảm đáng kể ở các tên thương hiệu, thuật ngữ chuyên ngành và việc chuyển đổi mã tiếng Anh-Thổ Nhĩ Kỳ vốn rất phổ biến trong các nhóm sản phẩm và thương mại điện tử ở Istanbul. Phân loại cảm xúc xử lý kém sự gián tiếp trong tiếng Thổ Nhĩ Kỳ — cách nói giảm nhẹ lịch sự trước một lời phàn nàn nghiêm trọng thường bị bộ phân loại được đào tạo chủ yếu trên tiếng Anh hiểu là trung tính hoặc tích cực. Hình thái học kết hợp cũng có nghĩa là các phương pháp tần suất từ ​​khóa đối với dữ liệu khảo sát mở thường đánh giá thấp nghiêm trọng, bởi vì một khái niệm duy nhất xuất hiện trong hàng tá dạng biến thể mà bộ phân tích từ vựng coi là không liên quan.

Hậu quả thực tiễn: hãy nâng tỷ lệ kiểm tra ngẫu nhiên bản ghi lên trên mức 10% như đối với tiếng Anh, không bao giờ dựa vào phân tích cảm xúc tự động như một tín hiệu độc lập trong các kho ngữ liệu tiếng Thổ Nhĩ Kỳ, và hãy xác thực bất kỳ bộ phân loại nào trên một mẫu tiếng Thổ Nhĩ Kỳ được dán nhãn thủ công trước khi tin tưởng vào kết quả đầu ra của nó ở quy mô lớn. Chúng tôi sử dụng bộ dữ liệu xác thực riêng của mình chính vì lý do này.

Làm sao để biết nó có hoạt động hay không?

Tốc độ không phải là thước đo chính xác. Ai cũng có thể nhanh hơn; vấn đề là liệu kết quả đó có chịu được áp lực thực tế hay không. Ba chỉ số chúng ta thực sự theo dõi là:

Tỷ lệ sống sót của Insight. Trong số các phát hiện được trình bày trong báo cáo nghiên cứu, tỷ lệ nào vẫn được coi là có giá trị sau sáu tháng? Việc đo lường điều này không dễ dàng nhưng hoàn toàn xứng đáng với mọi khó khăn.

Tỷ lệ bất đồng giữa người và mô hình. Từ bước ba ở trên. Theo dõi nó theo thời gian. Sự bất đồng ngày càng gia tăng thường có nghĩa là lĩnh vực nghiên cứu đã thay đổi nhưng bộ quy tắc mã hóa thì chưa.

Khoảng thời gian từ cuộc phỏng vấn cuối cùng đến giả thuyết có thể kiểm chứng đầu tiên. Đây là con số mà AI thực sự tạo ra. Nếu quá trình tổng hợp trước đây mất tám ngày và giờ chỉ mất hai ngày, điều đó có nghĩa là có thêm hai chu kỳ thử nghiệm mỗi quý — đây chính là luận điểm kinh doanh thực tế, và đó là một luận điểm tốt. Chỉ là hầu hết các nhà cung cấp không đưa ra luận điểm như vậy.

Đi sâu hơn

Bài viết này là phần tổng quan. Bốn bài viết khác sẽ đề cập chi tiết đến từng giai đoạn:

• Tạo ra chân dung người dùng dựa trên dữ liệu với trí tuệ nhân tạo — Xây dựng các yếu tố nhận diện cá nhân dựa trên bằng chứng đã được xác thực thay vì dựa trên các mô hình tiên nghiệm.
• Từ dữ liệu đến quyết định: Trí tuệ nhân tạo có thể tối ưu hóa quá trình tổng hợp nghiên cứu người dùng như thế nào? — Giai đoạn tổng hợp chuyên sâu
• Làm thế nào trí tuệ nhân tạo có thể biến phản hồi của người dùng thành những hiểu biết hữu ích về sản phẩm? — các bài đánh giá, vé và ghi chép nguyên văn của NPS trên quy mô lớn
• Tối ưu hóa quá trình khám phá sản phẩm bằng nghiên cứu người dùng dựa trên trí tuệ nhân tạo. — áp dụng tất cả vào một chu kỳ khám phá

Các câu hỏi thường gặp

Liệu trí tuệ nhân tạo có thể thay thế hoàn toàn các cuộc phỏng vấn người dùng? Không. Nó có thể thay thế một số công việc liên quan đến phỏng vấn — phiên âm, mã hóa, tổng hợp sơ bộ — và nó có thể giúp bạn chuẩn bị những cuộc phỏng vấn tốt hơn. Nó không thể tạo ra bằng chứng về cách mọi người hành xử, bởi vì nó không tiếp cận được hành vi của họ. Những người tham gia giả lập sẽ cho bạn biết cách những người đó được mô tả trong văn bản, đó là một điều khác biệt và thường gây hiểu lầm.

Việc nghiên cứu có sự hỗ trợ của trí tuệ nhân tạo thực sự tiết kiệm được bao nhiêu thời gian? Theo kinh nghiệm của chúng tôi, việc tiết kiệm chi phí tập trung gần như hoàn toàn vào khâu tổng hợp và mã hóa, nơi mà sự tiết kiệm là đáng kể. Công tác thực địa, tuyển dụng và sự đồng thuận của các bên liên quan vẫn không thay đổi. Một kỳ vọng thực tế đối với một nghiên cứu có người điều phối là giai đoạn sau thực địa sẽ được rút ngắn đáng kể trong khi tổng thời gian dự án giảm đi ít hơn nhiều — bởi vì công tác thực địa luôn là giai đoạn tốn nhiều thời gian nhất.

Liệu người dùng ảo có bao giờ hợp pháp? Với vai trò là công cụ luyện tập cho các hướng dẫn thảo luận và để kiểm tra độ chính xác của câu hỏi khảo sát, thì đúng vậy. Nhưng với vai trò là bằng chứng trong một kết quả nghiên cứu, thì không. Sự khác biệt này rất quan trọng: một là công cụ hỗ trợ chuẩn bị, còn cái kia là dữ liệu được bịa đặt và gắn nhãn nghiên cứu.

Rủi ro lớn nhất là gì? Kết quả đầu ra tự tin, trôi chảy, nhưng sai — và cụ thể là phiên bản phù hợp với những gì nhóm đã tin tưởng từ trước. Các trích dẫn bịa đặt sẽ bị phát hiện bởi các quy tắc truy vết. Việc tổng hợp mang tính nịnh hót khó phát hiện hơn, bởi vì nó tạo ra một sản phẩm mà mọi người đều hài lòng. Biện pháp phòng vệ đáng tin cậy duy nhất là tách giả thuyết khỏi yêu cầu tổng hợp và thực hiện một lượt tấn công đối kháng rõ ràng.

Liệu nghiên cứu có sự hỗ trợ của trí tuệ nhân tạo có hiệu quả tương tự đối với tiếng Thổ Nhĩ Kỳ không? Không phải là giải pháp hoàn hảo. Độ chính xác phiên âm, phân loại cảm xúc và các phương pháp tần suất từ ​​khóa đều giảm đi khi dịch sang tiếng Thổ Nhĩ Kỳ so với tiếng Anh. Phương pháp này vẫn có thể sử dụng được và chúng tôi vẫn dùng nó hàng ngày, nhưng nó đòi hỏi tỷ lệ lấy mẫu cao hơn, các thuật toán phân loại đã được kiểm chứng và một nhà nghiên cứu thông thạo ngôn ngữ này.

Bạn muốn có ý kiến ​​thứ hai về quy trình nghiên cứu của mình?

Nếu bạn đang thực hiện nghiên cứu có sự hỗ trợ của AI và muốn biết liệu kết quả nghiên cứu của mình có vượt qua được sự kiểm chứng hay không — hoặc bạn đang quyết định nên tự động hóa cái gì và cần bảo vệ cái gì — chúng tôi sẽ xem xét quy trình hiện tại của bạn và cho bạn biết rõ ràng rủi ro nằm ở đâu.