آیا گزارش «تستادی» از کاربردپذیری قابل استناد است؟

به گزارش پیوست، در ابتدای گزارش تستادی جدولی مقایسه‌ای از امکانات هر ۴ فروشگاه و نتیجه تست کاربردپذیری آن‌ها منتشر شده که این جدول باعث ایجاد بحث‌های مختلفی شده است . به ادعای گزارش تستادی، فاکتورهای این جدول بر اساس جزئیات و بخش‌هایی که از نظر کاربران در فرآیند خرید حائز اهمیت بوده و یا با ابهام و سردرگمی بیشتری در مواجهه با آن روبرو شده‌اند تقسیم‌بندی شده است. این جدول را در زیر مشاهده می‌کنید:

این گزارش از سوی برخی فعالان و مدیران استارت‌آپی مورد توجه قرار گرفت، اما با برخی انتقاد‌ها هم همراه بود. اسما کروبی، هم‌بنیان‌گذار شرکت TIARA STUDIO، آژانس تخصصی طراحی تجربه کاربری و طراحی و توسعه محصول یکی از کسانی بود که نسبت به انتشار این گزارش واکنش نشان داد. او در توییتی نوشت که نتایج این گزارش جهت‌دار است.

اسما کروبی در گفت‌وگو با پیوست در مورد دلیل این انتقادش اینطور توضیح می‌دهد که به باور او  تستادی این گزارش را با اهداف مارکتینگی و احتمالا جذب مخاطب منتشر کرده است.

کروبی در توضیح اشکالات این گزارش په پیوست گفت: «نمودار اول این گزارش سطح کاربردپذیری محصولات مختلف را با یکدیگر مقایسه کرده و به همه آن‌ها رنگ قرمز داده شده است. اما وقتی متن گزارش را مطالعه کنید متوجه معیار دیگری به نام درصد تکمیل کار می‌شوید. در اکثر فرآیند‌های تست شده توسط تستر‌ها، این درصد تکمیل فرآیند ۱۰۰ درصد انجام شده است. در تست‌های کاربردپذیری نتیجه تست‌ها به این شکل اندازه‌گیری نمی‌شود. نسبت تست‌های تکمیل نشده، زمان انجام تست و شدت سختی را در اندازه می‌گیریم. نهاتیا این تست براساس تعداد مشکلاتی که داریم و اولویت آن‌ها درصد می‌گیرد.»

او در ادامه روند اشکالات این گزارش توضیح داد: «نکته دوم این که وقتی یک تسک کامل می‌شود یعنی آن تسک Fail نشده پس به این معنی است که کاربر آن تست را با موفقیت انجام داده به همین دلیل نمی‌توان ادعا کرد کاردبرد‌پذیری در این مرحله شکست داشته، شاید بهینه نبوده باشد اما نمی‌توان گفت وجود ندارد.»

به اعتقاد کروبی، نکته دیگر بحث زمان اجرای تست‌ها است که در این گزارش به‌طور مشخص وجود ندارد. او در مورد این مشکل گفت: «آیا زمان اتمام تست‌ها در ۳ دقیقه اتفاق افتاده یا در ۳۰ ثانیه؟ چیزی که باید با این تایم‌آپ‌ها درنظر گرفته می‌شد حالت میانگین آن‌هاست. برای مثال میانگین زمان انجام تست سبد خرید ۲ دقیقه است. حالا کاربر برای یک فروشگاه، در تست سبد خرید ۵ دقیقه وقت صرف کرده است. پس در نتیجه این تسک با شکست کاربردپذیری روبه‌رو می‌شود. درغیر این صورت این تسک و این تست Fail نمی‌شود.»

مشکل چهارم از دیدگاه کروبی این است که نتایج براساس نظر کاربران است نه رفتار کاربران. او در این خصوص بیان کرد: «خیلی از نتایجی که در نمودار جمع‌بندی شده بر اساس جواب‌هایی بوده که از کاربر سوال شده و کاربر هم پاسخ داده است. در حالی که تست کاربردپذیری تست رفتاری است و براساس رفتار کاربر نتیجه‌گیری می‌شود نه بر اساس نظر کاربر. وقتی یک معیار کمّی را بر اساس نظر کاربر جایگزین می‌کنند نمی‌توان انتظار نتیجه‌گیری درستی داشت. سوالاتی که انتهای تست از کاربر پرسیده می‌شود که آیا راحت بود یا سخت بود منظور این نیست که از این جواب‌ها نتیجه‌گیری کنیم‌. بلکه هدف این است که جواب کاربر را با رفتارش در تست بسنجیم که در نتیجه آن مدل ذهنی کاربر حاصل می‌شود.»

کروبی معتقد است اشکال آخر این گزارش واضح نبودن روند اجرای تست و جرئیات آن است. او در این خصوص گفت: «تنها چیزی که در این گزارش نشان داده شده نتیجه‌گیری‌ها است. توضیح این که تست در چه شرایطی انجام شده، چه سوالاتی پرسیده شده و چه میزان راهنمایی و توضیح داده شده در هیچ‌کجای این گزارش نیامده است.»

کروبی هدف احتمالی بعدی را پی‌آر منفی می‌داند و معتقد است این نتایج با هدف اطلاع‌رسانی منتشر نشده است. به باور او اگر هم هدف قضاوت مردم باشد باید درنظر گرفت که این نتایج ایراد دارند. او از تاثیر منفی که این نتایج نادرست روی طراحان این اپلیکیشن می‌گذارد ابراز نگرانی کرد و گفت:‌ «این طراحان الزاما این مشکلات عنوان شده را ندارند و از این لحاظ در محیط کاری به مشکل می‌خورند و تاثیر منفی روی این موضوع می‌گذارد

آشنایی کاربران با تست‌های کاربردپذیری

به باور کارشناسان و فعالان حوزه دیجیتال از جمله اسما کروبی اجرای کار تحقیقاتی مانند گزارش تستادی، چارچوب مشخصی دارد. به باور این گروه از انتخاب شرکت‌کننده‌ها تا شیوه اجرا باید در دسترس باشد و کار تحقیقاتی نمی‌تواند درحکم یک گزارش بازاریابی باشد.

اما مدیر تستادی هدف از تهیه این گزارش را آشنایی بیشتر کاربران با تست‌های کاربردپذیری عنوان می‌کنند. غزل مقصودی، مدیر استارت‌آپ تستادی، در مورد انتقاد‌های واردشده به این گزارش و البته هدف از انتشار آن به پیوست گفت: «اهمیت انجام تست‌های کاربری در اکثر مجموعه‌های توسعه‌دهنده نرم‌افزاری پنهان مانده‌است. بسیاری از مردم دانش کافی نسبت به تست‌های کاربردپذیری ندارد و فکر می‌کنند به هزینه زیاد و تجهیزات پیشرفته‌ای برای این کار نیاز است. هدف ما از این گزارش علاوه بر بررسی سهولت استفاده این فروشگاه‌ها به‌شکل کاملا بی‌طرفانه، معرفی تست کاربردپذیری و البته خدماتی‌است که استارت‌آپ تستادی ارائه می‌دهد تا مردم عادی و صاحبان کسب‌وکار‌های کوچک بدانند به راحتی و باکمترین هزینه می‌شود تست کاربرد‌پذیری از محصول گرفت.» او ادامه داد: «روند اجرای تست‌ها کاملا روی پلتفرم تستادی و به صورت ریموت اجرا شده است. این تست‌ها را کاربران عادی در موقعیت‌های نزدیک به حالت واقعی استفاده از این اپلیکیشن‌ها انجام داده‌اند: در منزل در حالی که تلویزیون نگاه می‌کنند، در تخت و پیش از خواب، سرکار و بین انجام کارهای روزانه. تست‌های ریموت برعکس تست‌هایی که در آزمایشگاه و شرایط ایزوله انجام می‌شوند، این ویژگی را دارند که می‌توانیم شرایط انجام تست را تا جای ممکن به شرایط واقعی استفاده از سایت‌ها و اپلیکیشن‌ها نزدیک کنیم.» او در مورد سوالات مطرح شده نیز توضیح داد: «تست‌ها کاملا بر اساس رفتار کاربر بوده و سوالاتی که آخر تست‌ها پرسیدیم تنها این بوده که چه امتیازی به تجربه کلی این تست می‌دهند و آیا استفاده از اپلیکیشن را به دیگران پیشنهاد می‌کنند یا خیر؛ پاسخ این سوالات دخالتی در نتیجه تست‌ها نداشته و در قسمتی مجزا در گزارش منعکس شده‌اند.»

مقصودی در خصوص مستندات این گزارش نیز گفت: «جملاتی که از قول کاربران بیان شده، حین انجام تست و بدون هیچ تغییری در ادبیات آن‌ها در گزارش درج شده. همچنین ویدئو‌ها و مستندات روند اجرای تست‌ها که بر اساس استاندارد‌های موجود جهانی انجام شده موجود است و متخصصین می‌تواند برای اطلاعات بیشتر درباره‌ آن‌ها، با ما تماس بگیرند.»

مقصودی در مورد این که آیا این گزارش باعث ایجاد ذهنیت منفی نسبت به ۴ فروشگاه مورد تست شده توضیح داد: «خیر، این مورد اصلا درست نیست چرا که کارکرد این گزارش، گزارش دادن یا هشدار دادن به این ۴ فروشگاه نبوده و نیست. بلکه هدف معرفی تستادی و قابلیت‌های آن بوده است. نکته مهم‌تر اینکه هدف این گزارش افراد متخصص در این زمینه نیستند؛ چرا که آن‌ها احتیاجی به گزارش ما ندارند. آن‌ها هم خود توانایی انجام این تست‌ها را داشته و هم به‌طور مداوم درحال اجرای این تست‌ها هستند. این گزارش برای افرادی است که فکر می‌کنند تست گرفتن از محصول کار سخت و پیچیده‌ای است.»

او در مورد به خطر انداختن موقعیت و وجه شغلی طراحان رابط کاربری این فروشگاه‌ها نیز گفت: «موقعیت هیچ‌کس به‌خطر نیافتاده چرا که وقتی کاربر با یک اپلیکیشن به مشکل برمی‌خورد با کل سازمان به مشکل برخورده نه فقط یک طراح پس ایرادات متوجه کل سازمان است نه فقط یک نفر. باید تلاش کنیم تا این دید اشتباه را عوض کنیم.»

مقصودی در انتها به بازخود‌های مثبتی که از انتشار این گزارش گرفته‌اند اشاره کرد و گفت: «از هرگونه کامنت و نقطه نظر در زمینه این گزارشات استقبال می‌کنیم. سعی می‌کنیم انتقاد‌هایی که به‌صورت خصوصی و عمومی مطرح شد را در گزارش‌های بعدی لحاظ کنیم. هدف ما این بود که آدم‌های عادی که آشنایی با این نوع گزارش‌ها ندارند با آن آشنا شوند و به همین دلیل هم تا حد امکان توضیحات و مفاهیم را ساده کردیم تا برای همه قابل فهم باشد.» همچنین مدیر استارت‌آپ تستادی از انتشار گزارش کاربردپذیری بعدی در حوزه دیگری خبر داد که در آینده نزدیک منتشر می‌شود.

می‌توانید فایل کامل گزارش اخیر تستادی در مورد کابردپذیری ۴ فروشگاه آنلاین را از اینجا مطالعه کنید.