ارزیابی پاسخ هوش مصنوعی در پشتیبانی مشتری؛ پیش از انتشار چه چیزهایی را آزمایش کنیم؟
مشتری میپرسد «بستهام دیر رسید، میتوانم پس بدهم؟» و دستیار هوش مصنوعی بیدرنگ مینویسد «بله، تا یک ماه فرصت دارید.» پاسخ کوتاه و محترمانه است، اما اگر فروشگاه برای این وضعیت چنین مهلتی تعیین نکرده باشد، همین جمله میتواند به یک وعده اشتباه تبدیل شود. وقتی قرار است یک ابزار به نمایندگی از کسب و کار شما حرف بزند، کیفیت پاسخ به سه چیز وابسته است: درستی اطلاعات، تشخیص مواردی که اطلاعات کافی ندارند و توانایی رساندن مشتری به اقدام بعدی.
برای ارزیابی پاسخ هوش مصنوعی در پشتیبانی مشتری، میتوانید پیش از اتصال ابزار به فروشگاه یک آزمون کوچک بسازید. این آزمون با نمونههای واقعی یا بازسازیشده، نسخه مشخص سیاستهای فروشگاه و برگه ثبت نتیجه اجرا میشود. خروجی آن باید به یک تصمیم منجر شود: ابزار برای چه پرسشهایی فقط پیشنویس بنویسد، در چه مواردی پاسخ مستقیم در دامنه محدود امتحان شود و چه درخواستهایی از ابتدا به کارشناس برسند.
ابتدا محدوده پاسخگویی را بنویسید
یک موضوع پرمراجعه را انتخاب کنید که پاسخ معتبر آن در سند مشخصی پیدا شود. شرایط تعویض، روش دریافت فاکتور یا مسیر ثبت درخواست پیگیری نمونههای مناسبی برای آزمون اولیه هستند. دامنه را با نام موضوع تمام نکنید. برای مثال بنویسید «دستیار شرایط عمومی تعویض را توضیح میدهد و برای درخواست استثنا، اطلاعات تماس واحد پشتیبانی را نشان میدهد.» سپس مشخص کنید چه کارهایی خارج از اختیار ابزار است. بررسی وضعیت واقعی سفارش، تأیید پرداخت و پذیرش قطعی مرجوعی به اطلاعات یا اختیار بیشتری نیاز دارند.
بین تولید پیشنویس برای همکار و ارسال پاسخ مستقیم تفاوت عملی وجود دارد. در حالت اول همکار میتواند پیش از ارسال اشتباه را ببیند و اصلاح کند. در حالت دوم جملهای که روی صفحه مشتری ظاهر میشود بخشی از تجربه واقعی اوست. بنابراین نتیجه آزمایش یک پیشنویس داخلی را مستقیم به گفتوگوی خودکار تعمیم ندهید. حتی اگر متن ابزار در هر دو حالت یکسان باشد، زمان کشف اشتباه و مسئول اصلاح آن فرق میکند.
منبع معتبر پاسخ را آماده کنید
سیاست فروشگاه ممکن است در صفحه راهنما، پیامهای آماده تیم و یک فایل داخلی نوشته شده باشد. اگر این نسخهها درباره یک موضوع با هم اختلاف دارند، ابتدا مسئول پشتیبانی باید نسخه معتبر را تعیین کند. پیوند، تاریخ بازبینی و نام مسئول هر بخش را در یک برگه بنویسید. وقتی سیاست تغییر کرد، همان برگه مشخص میکند کدام پاسخها و آزمونها باید بازبینی شوند. مواردی مانند هزینه حمل یا مهلت اقدام را در بند جداگانه بنویسید تا تشخیص خطا آسانتر باشد.
بعضی پرسشها را میتوان با سیاست ثابت پاسخ داد و بعضی نیازمند دانستن یک واقعیت متغیر هستند. برای مثال پرسش درباره روش پیگیری سفارش با یک راهنما پاسخ داده میشود، اما تأیید رسیدن یک بسته خاص به اطلاع معتبر و بهروز از وضعیت همان سفارش نیاز دارد. برای حالت دوم، پاسخ مورد انتظار را «توضیح مسیر رسمی پیگیری» تعریف کنید، مگر اینکه ابزار واقعاً دسترسی مناسب به اطلاعات معتبر و همان سفارش داشته باشد و این مسیر هم مستقلاً آزمایش شده باشد.
نمونههایی بسازید که شبیه گفتوگوی واقعی باشند
از چند روز گفتوگوی پشتیبانی، موضوعهای پرتکرار و مواردی را که بین همکاران دستبهدست میشوند استخراج کنید. نام، شماره تماس، نشانی، شناسه واقعی سفارش و هر نشانهای را که هویت فرد را آشکار میکند حذف کنید. برای تمرین ابتدایی، پیامهای بازسازیشده هم کافیاند، به شرط آنکه زبان مشتری حفظ شود. عبارت کوتاه «بازش کردم ولی استفاده نکردم» از یک پرسش کاملاً رسمی درباره شرایط مرجوعی نماینده بهتری برای بخشی از پیامهای واقعی است.
نمونهها را میان سه وضعیت پخش کنید. گروه اول پرسش روشن با پاسخ صریح در سند معتبر است. گروه دوم اطلاعات ناقص دارد و دستیار باید یک سؤال مشخص بپرسد. گروه سوم به استثنا، اختلاف یا تصمیم انسانی مربوط است و باید به همکار ارجاع شود. چند نمونه با غلط تایپی، عدد فارسی و عبارت محاورهای هم قرار دهید. اگر مشتریان از مسیرهای مختلف میخرند، دستکم یک نمونه بنویسید که در آن نوع کانال خرید واقعاً مسیر رسیدگی را عوض کند.
برای شروع، بیست تا سی نمونه میتواند تمرین مدیریتپذیری باشد، ولی چنین نمونهای تضمین آماری برای همه پیامهای آینده ایجاد نمیکند. اگر بیشتر پیامها آسان هستند، تعداد محدودی از موارد حساس را عمداً در مجموعه بگنجانید و درصد موفقیت هر گروه را کنار نتیجه کلی گزارش کنید. نمونههای تازهای هم کنار بگذارید تا بعد از تغییر دستور ابزار یا سند راهنما، فقط با همان پرسشهایی که برای اصلاح استفاده کردهاید تصمیم نگیرید.
قبل از دیدن خروجی، معیار قبولی را تعریف کنید
برای هر نمونه، پاسخ مرجع لازم نیست یک متن ثابت و کامل باشد. کافی است نکات الزامی، جملههای ممنوع و اقدام بعدی را ثبت کنید. مثلاً در پاسخ به مشتری که زمان دریافت را مشخص نکرده، سؤال درباره تاریخ تحویل الزامی است و اعلام قبولی مرجوعی ممنوع است. دو جمله با واژهبندی متفاوت میتوانند هر دو قبول شوند، اگر همین شرایط را رعایت کنند. لحن واضح و محترمانه مهم است، اما در امتیازدهی باید جدا از درستی سیاست و اختیار پاسخ سنجیده شود.
| وضعیت پیام | رفتار مورد انتظار | نمونه خطا |
|---|---|---|
| شرایط روشن و پاسخ موجود در راهنما | بیان شرط لازم و معرفی مرحله بعد | حذف شرط مهم یا افزودن مهلت ساختگی |
| اطلاعات لازم ناقص است | پرسیدن یک سؤال روشن | حدس درباره تاریخ یا نوع کالا |
| درخواست جبران یا استثنا | ارجاع همراه با توضیح مسیر رسیدگی | وعده بازپرداخت پیش از بررسی |
نتیجه را میتوانید در سه وضعیت ثبت کنید: قابل استفاده، نیازمند اصلاح و خطای بحرانی. یک غلط نگارشی ساده میتواند نیازمند اصلاح باشد. اعلام نادرست پذیرش درخواست یا درخواست اطلاعات حساس غیرضروری میتواند خطای بحرانی باشد. تعریف خطای بحرانی را پیش از اجرا با مسئول پشتیبانی مرور کنید. اگر افراد مختلف ارزیابی میکنند، ابتدا چند پاسخ مشترک را جداگانه امتیاز بدهند و اختلافها را با معیار مکتوب حل کنند.
مثال فرضی از آزمون مرکز پشتیبانی یک فروشگاه
فروشگاهی را تصور کنید که برای تعویض کالا یک فایل دستورالعمل دارد. در این مثال فرضی مشتری ابتدا باید درخواستش را از مسیر رسمی ثبت کند و تصمیم درباره کالای آسیبدیده با کارشناس است. تیم ۲۴ پیام آماده میکند: ۱۲ پرسش مستقیم، ۶ پیام مبهم و ۶ درخواست استثنا. مسئول پشتیبانی برای هر پیام در یک سطر دلیل قبولی و شماره بند راهنما را مینویسد. همکار دوم همان پیامها را با تنظیمات یکسان در ابزار وارد میکند و پاسخ کامل را ثبت میکند.
یکی از پیامها چنین است: «بسته سالم تحویل شد اما وقتی بازش کردم قطعه شکسته بود، پولم رو برمیگردونید؟» بر اساس دستورالعمل فرضی، پاسخ باید مسیر ثبت بررسی را بدهد و نتیجه مالی قطعی اعلام نکند. پاسخ «هزینه شما تا سه روز برمیگردد» حتی اگر لحن مناسبی داشته باشد، خطای بحرانی است. پاسخ «برای بررسی، درخواست را از بخش پشتیبانی ثبت کنید. همکار ما وضعیت کالا و شرایط سفارش را بررسی میکند» با رفتار مورد انتظار سازگار است، به شرط اینکه بخش معرفیشده واقعاً در دسترس مشتری باشد.
فرض کنید ۲۰ پاسخ قابل استفاده، سه پاسخ نیازمند اصلاح و یک پاسخ دارای وعده نادرست باشند. نرخ قبولی ۲۰ تقسیم بر ۲۴، یعنی حدود ۸۳ درصد است. از همین نتیجه میتوان دید که شاخص کلی به تنهایی برای تصمیم کافی نیست. اگر خطای جدی در گروه استثنا اتفاق افتاده، تیم میتواند آن دامنه را از پاسخ مستقیم خارج کند و بعد از اصلاح دستور و راهنما چهار نمونه تازه از همان گروه بررسی کند. با ثبت نوع خطا، آزمون بعدی هدف روشن دارد و زمان تیم صرف بازنویسی بخشهای سالم نمیشود.
زمان واقعی را همراه با کیفیت بسنجید
برای مرحله آزمایشی، چند پیام مشابه را یک بار با روش عادی و یک بار با پیشنویس ابزار پاسخ دهید. زمان را از باز کردن پیام تا آماده شدن نسخه قابل ارسال ثبت کنید. زمان خواندن سند، بررسی نتیجه و بازنویسی هم بخشی از کار است. اگر در ده مورد مشابه، جمع زمان بدون ابزار ۶۰ دقیقه و با ابزار ۴۵ دقیقه شود، صرفهجویی ثبتشده ۱۵ دقیقه یا ۲۵ درصد است. این اعداد فقط مثال محاسبه هستند و برای برآورد واقعی باید از زمانسنجی خود تیم استفاده کنید.
در کنار زمان، تعداد ارجاع درست و تعداد مواردی را بنویسید که کارشناس مجبور شد معنی پاسخ را تغییر دهد. اصلاح یک ویرگول با عوض کردن وعده بازپرداخت هزینه مشابهی ندارد. در دوره آزمایشی میتوانید بازگشت مشتری به همان موضوع را هم ثبت کنید. اگر مشتری دوباره پیام میدهد، موضوع و علت آن را بخوانید. شاید پیوند معرفیشده کار نکرده باشد یا متن پاسخ مشخص نکرده باشد که پس از ثبت درخواست چه اتفاقی میافتد.
این روش برای یک مرکز آموزشی چگونه تغییر میکند؟
مرکز آموزشی میتواند آزمون را با پرسشهای ثبتنام آغاز کند. ساعت کلاس و روش دریافت گواهی در راهنما قابل مشاهدهاند، اما تأیید تخفیف استثنایی یا جابهجایی شهریه به بررسی پرونده و تصمیم مسئول نیاز دارد. برای آزمون، دو نسخه از یک پرسش بنویسید که فقط نام دوره در آن عوض میشود. اگر شرایط گواهی برای هر دوره فرق دارد، نام دوره باید در پاسخ درست منعکس شود. پرسشی مثل «برای هفته بعد ثبتنام بازه؟» را هم وارد کنید تا روشن شود ابزار هنگام نبود تاریخ معتبر چگونه درخواست را هدایت میکند.
خطاهایی که نتیجه آزمون را گمراه میکنند
یکی از خطاها این است که ابتدا خروجی را بخوانیم و بعد درباره معیار قضاوت تصمیم بگیریم. با این روش جملههای روان آسانتر پذیرفته میشوند و خطاهای کوچک در معنی تعهد از چشم میافتند. خطای دیگر اجرای همه نمونهها از یک بخش راهنماست. وقتی همان ساختار پرسش بارها تکرار میشود، آزمون درباره عبارتهای مبهم، پرسشهای ترکیبی یا اطلاعات ناقص چیزی نشان نمیدهد. درخواست واقعی ممکن است هم زمان تحویل را بپرسد و هم بخواهد سفارش را لغو کند.
تغییر همزمان سند، تنظیمات و شیوه امتیازدهی نیز مقایسه دو نوبت را دشوار میکند. برای هر دور، تاریخ، نسخه راهنما، دامنه و تغییر اعمالشده را ثبت کنید. موارد حساس را در چند اجرای مستقل تکرار کنید تا اگر خروجی متغیر بود، آن را ببینید. پس از تغییر سیاست یا ابزار، آزمونهای مرتبط را دوباره اجرا کنید. راهنمای ارزیابی OpenAI نیز بر آزمون متناسب با کار واقعی، ثبت نتایج و ترکیب سنجهها با قضاوت انسانی تأکید دارد.
اگر بخشی از تماسهای پشتیبانی از پیدا نکردن کالا آغاز میشود، خود مسیر جستوجوی فروشگاه را هم بررسی کنید. پاسخ سریع به این سؤال جای اصلاح مسیر پیدا کردن کالا را نمیگیرد. برای بررسی آن مسیر میتوانید از راهنمای تحلیل جستوجوی بدون نتیجه در فروشگاه آنلاین استفاده کنید و سپس ببینید آیا موضوع پیامهای ورودی تغییر کرده است.
تمرین اجرایی برای اولین هفته
یک موضوع و یک مسئول انتخاب کنید. در روز اول نسخه معتبر راهنما و محدوده اختیار ابزار را بنویسید. در روز دوم نمونهها و معیار قبولی را آماده کنید. روز سوم آزمون را بدون اتصال به گفتوگوی واقعی اجرا کنید و نمونه خطاها را کنار دلیل آنها بگذارید. روز چهارم فقط یک تغییر مشخص اعمال کنید و چند پیام تازه را همراه با موارد حساس قبلی آزمایش کنید. روز پنجم، با مشاهده نرخ قبولی، خطاهای بحرانی و زمان بازبینی، تصمیم بگیرید ابزار برای چه گروهی از پیامها وارد دوره آزمایشی شود. تاریخ بازبینی و مسئول توقف پاسخ مستقیم را همانجا ثبت کنید.
پیشنهاد از فروشگاه راه ایده آل




دیدگاهها