Nielsen Norman GroupのMaria Rosalaが、UXリサーチツールに内在する方法論的な問題点を指摘し、AI機能の普及によってその影響がさらに拡大していると警告する記事を発表した。リサーチツールの設計が、研究の質そのものに悪影響を及ぼしているという問題提起である。
記事が取り上げる具体的な問題は多岐にわたる。たとえばUserTestingの「インタラクションテスト」では、成功判定に単一のURLしか設定できず、複数のページにまたがるタスクの成否を正確に判定できない。また、タスクのランダム化機能が欠如しているため、順序効果の統制ができないという基本的な問題も残されている。
分析ツール側にも課題がある。Dovetailではトランスクリプトへのタグ付けのみが可能で、動画への直接的なアノテーションができない。実際のユーザビリティテス トでは、参加者が行動を言語化しないまま重要な操作を行うことが多く、動画の時間軸に紐づいた記録が不可欠である。さらに深刻なのは、多くのツールがユーザビリティテストを「インタビュー」と呼称している点で、評価的手法と探索的手法の混同を助長している。
AI機能の登場がこの状況をさらに悪化させている。TheySaidやUserologyといったAIプラットフォームが自動生成するスタディプランには、参加者の行動を誘導する「リーディングタスク」や、操作手順を明示的に指示する不適切なタスク設計が含まれている。リサーチの専門知識を持たないユーザーにはこうした問題を見抜くことが難しく、欠陥のある調査結果が自信を持って大規模に共有されるリスクがある。
Rosalaは、リサーチツールの開発にリサーチの専門家が深く関与すべきであり、ツールの設計がベストプラクティスを反映していると無批判に信じるべきではないと結論づけている。
出典: The Methodological Problems Hiding in Your Research Tools
