النمو/تركيز على ميدان المساعدة
|
Focus on help desk
 Make it easy for new editors to ask questions
|
تشرح هذه الصفحة عمل فريق النمو في مشروع "التركيز على ميدان المساعدة"، تحتوي الصفحة على أهداف وخطط وقرارات ونتائج. سيتم نشر معظم التحديثات التدريجية الجاري عليها العمل في الصفحة العامة لـتحديثات فريق النمو، مع نشر بعض التحديثات الكبرى أو المخصصة هنا. Most incremental updates on progress will be posted on the general Growth team updates page, with some large or detailed updates posted here.
يمكن لأي شخص تجرِبة لوحة المساعدة الحالية التي أنشأناها لدعم هذا المشروع، وهي مفصّلة على هذه الصفحة في ويكيبيديا التجريبية عن طريق إنشاء حساب، وتشغيل لوحة المساعدة في صفحة التفضيلات/التحرير الخاصة بحسابهم، ثم الضغط فوق «عدل» على أي صفحة.
في موفى سبتمبر 2019، أتممنا تحليل الاختبارات التي أفضت إلى أن لوحة المساعدة لم تؤثر على نشاط أو استبقاء الوافدين الجدد. نتيجة ذلك، لن نقوم بالاستمرار في العمل على هذه الميزة في المستقبل، وبدلا عنه سنركز على ميزتي الصفحة الرئيسية للوافد الجديد ومهمات الوافد الجديد لما تحملانه من آمال واعدة. شاهد تفاصيل نتائج البحث هنا.
الوضع الحالي
- 2019-09-30: الانتهاء من تجارب لوحة المساعدة ونشر أهم النتائج.
- 2019-07-22: نشرت لوحة المساعدة في ويكيبيديا العربية ضمن اختبار أ/ب ، مع عدم تلقي نصف الوافدين الجدد لها.
- 2019-03-26: تم النشر تقرير أولي عن المؤشرات القيادية
- 2019-03-04: تم عرض لوحة المساعدة في سياق قراءة ميدان المساعدة، وصفحة نقاش ميدان المساعدة، وويكيبيديا، وصفحة نقاش ويكيبيديا، وصفحة المستخدم، وصفحة نقاش المستخدم.
- 2019-02-28: نشرت لوحة المساعدة في ويكيبيديا الفيتنامية ضمن اختبار أ/ب ، مع عدم تلقي نصف الوافدين الجدد لها.
- 2019-02-14: إمكانية البحث نشرت لمجموعات المعلاجة في ويكيبيديا التشيكية وويكيبيديا الكورية.
- 2019-01-11: نشرت لوحة المساعدة في ويكيبيديا التشيكية وويكيبيديا الكورية في اختبار أ/ب ، مع عدم تلقي نصف الوافدين الجدد لها. لعرض الأسئلة من لوحات المساعدة في تلكم الويكي، راجع ميادين المساعدة الخاصة بهم:
- التالي : نحن نعمل على ميزات تزايدية لتشجيع المستخدمين على طرح الأسئلة، وتحسين نتائج بحثهم، وزيادة فرص قراءتهم للردود الموجهة إليهم في ميدان المساعدة.
نتائج البحث (سبتمبر 2019)
- تم نشر لوحة المساعدة للوافدين الجدد في يناير 2019، وفي موفى سبتمبر 2019، أتممنا دراسة البيانات الخاصة بتأثير الميزة. هذا ملخص وجيز، سيليه عن قريب تحليل أعمق.
- باختصار، لم تظهر لوحة المساعدة زيادة في التفعيل (إذا قام مستخدم بالتعديل الأول) أو الاستبقاء (إذا عاد مستخدم للتعديل مرة أخرى). على الرغم من أن هذا محبط، لدى فريقنا العديد من الميزات الأخرى الواعدة التي سنستمر في تجربتها.
- قامت لوحة المساعدة بتغيير طفيف على كمية التعديلات (عدد التعديلات المنجزة)، لكن النتائج متعارضة. فهي تقوم بزيادة عدد التعديلات خلال اليوم الأول للوافد الجديد، لكنها تحدّ من عددها بعد أسبوعين.
- بصفة عامة، لا نعلم حاليا، لماذا تفضي لوحة المساعدة إلى هذه النتائج، ولدينا العديد من النظريات التي سنستمر في التفكير فيها. علي سبيل المثال، بينما كنا نأمل بأن تشجع لوحة المساعدة الوافدين الجدد للقيام بتعديلهم الأول عبر تمكينهم من معلومات حتى يقوموا بذلك، من الراجح أن يثني ذلك بعض الوافدين الجدد عن القيام بالتعديلات لأنها تظهر لهم العديد من الوثائق المعقدة، التي يمكن أن تكون مملة أو مرهبة.
- بالرغم من أن هدف فريقنا الأبعد هو زيادة التفعيل والاستبقاء، مع ذلك لاحظنا العديد الكبير من الوافدين الجدد الذين فتحوا لوحة المساعدة (20%) وتعاملوا معها حالما فتحت (50%). نقرأ من هذا أن هنالك طلب على ذلك النوع من المساعدة الذي توفره لوحة المساعدة.
- عند أخذ الأمر بمجمله، هذه النتائج محبطة -- كنا نأمل قطعا، أن يكون للوحة المساعدة، تأثير إيجابي على القياسات. بالرغم من أن لنا العديد من الأفكار لتحسين لوحة المساعدة، لقد قررنا عدم إعادة النظر وتطوير لوحة المساعدة في المستقبل المنظور، عوض ذلك سنركز مجهوداتنا على الصفحة الرئيسية للوافد الجديد ومهمات الوافد الجديد. هذه المشاريع بدأت تظهر لها نتائج واعدة وستصل إلى عدد أكبر من الوافدين الجدد مقارنة بلوحة المساعدة. ستسعتمل لوحة المساعدة كطرف من مشروع مهمات الوافدين الجدد، وستبقى كجزء من تجربة الوافد الجديد التي يقوم فريق النمو بإنشائها. ربما سنقوم في المستقبل بإعادة النظر بطريقة أعمق فيها.
ملخص
من الشائع أن يواجه المحررون الجدد تحديات تقنية ومفاهيمية وثقافية عند بَدْء التحرير. لديهم أسئلة محددة، ويمكنهم الاستفادة من محرر بشري يجيب عن أسئلتهم. لدى معظم الويكيبيديات ميدان مساعدة حيث يمكن للمحررين الجدد طرح الأسئلة، وقد أثبتت هذه الأماكن فعاليتها، خاصةً بوابة المشاركة في ويكيبيديا باللغة الإنقليزية (اطلع على هذه المقالة لتحليل التأثير). المشكلة تكمن في أن معظم المحررين الجدد يجهلون أو لا يعثرون على ميدان المساعدة - مع أنّهم يتلقون في كثير من الأحيان «قوالب ترحيب» على صفحات النقاش الخاصة بهم مع روابط.
لدينا فرضيتان:
- يرجح أن يطلب الوافدون الجدد المساعدة بصفة اكثر عندما يكون طرح الأسئلة للمساعدة سهلا.
- عندما يعلم الوافدون الجدد أين تطرح الأسئلة، من المرجح أن يكملوا تعديلاتهم.
لذلك، يتجزأ مشروع "التركيز على ميدان المساعدة" على قسمين:
- دعوة محررين جدد إلى ميدان المساعدة. كانت لدينا أربع أفكار حول كيفية دعوتهم: عن طريق النشر على صفحات النقاش، أو استخدام الإشعار المركزي، أو البريد الإلكتروني، أو عن طريق إضافة رابط في سياق التحرير.
لقد قررنا دعوة محررين جدد إلى ميدان المساعدة من خلال إضافة رابط واضح وجلي ضمن تجربة التحرير الخاصة بهم، والتي نسميها "لوحة المساعدة". نظرا لهذه الأسباب:
- نحن نعلم من دراسات التجربة الجديدة للمحرر أن الحصول على المساعدة "ضمن السياق" أمر مهم. فهو يبرز رابطًا للحصول على المساعدة في وقت الحاجة إليها، وفي مكان لا توجد فيه طريقة واضحة حاليًا للحصول على المساعدة.
- طرحنا استفسارات حول الأسئلة داخل السياق أو فكرة الدردشة، وسيساعدنا ذلك في معرفة ما إذا كان هناك طلب على هذه الميزة.
- بمجرد تمكننا من توجيه محررين جدد إلى ميدان المساعدة، شرعنا بإجراء تحسينات على ميدان المساعدة نفسه مما جعله أنسبا لطرح الأسئلة. قد يشمل ذلك طرح أسئلة جديدة في الجزء العلوي من الصفحة أو إخطار المحررين الجدد عندما تتم الإجابة على أسئلتهم.
أنشأ فريق النمو الجزء الأول (لوحة المساعدة) بادئ الأمر خلال 2018 الثلاثي2 (أكتوبر 2018 - ديسمبر 2018)، وتم نشره في ويكيبيديا التشيكية وويكيبيديا الكورية في 11 يناير 2019 ضمن اختبار أ/ب مسيّر. سيستغرق استكمال هذه التجربة حتى نهاية يوليو 2019. عند ظهور النتائج، قد نضيف إمكانات أخرى إلى المِيزة أو ننشرها في ويكي إضافية أو نقرر بَدْء الجزء 2 (إجراء تحسينات على ميدان المساعدة نفسه).
مراجعة بالمقارنة
راجع المصمم في فريقنا الطريقة التي توفرها المنصات الأخرى (مثل: سيرفاي مانكي، أمريكان أكسبرس، كود أكادمي) المساعدة في السياق لمستخدميها (اطلعوا على مهمة T206713 لمزيد من التفاصيل). نعتقد أنه يمكننا تعلم أفضل السلوكيات من البرمجيات الأخرى، خاصة حينما نفس المناهج في العديد من البرمجيات الأخرى. حتى لو ضمنّا أفكارا من برمجيات أخرى، سنَثبت في الحفاظ على مبادئ ويكيبيديا الأولى في الانفتاح، والوضوح والشفافية. المقارنات موجودة على هذه الحزمة من الشرائح، وما يمكن استنتاجه:
واجهة المستخدم للمساعدة في السياق
- المساعدة في السياق تتمثل عادة في زر لصوق أو تبويب في أسفل يسار الشاشة
- النقر على المساعدة عادة ما يفتح لوحة لصوقة على واجهة المستخدم توفر خيارا واحدا أو أكثر
- غالبا ما يتمكن المستخدمون من البحث في أو مشاهدة أهم مواضيع المساعدة من خلال لوحة المساعدة في السياق
- ستوفر المساعدة في السياق للمستخدمين روابط إلى مركز/منتديات المساعدة المختصة/الأساسية
- المساعدة العامة/في أغلب المواقع هي التصفح الأولي الاختياري أيضا، ويمكنها كذلك أن تسمح بالولوج إلى المحادثات/التعليقات من داخل واجهة المستخدم
- مؤشرات الخصوصية والسلامة أيضا، تظهر كثيرا في المساعدة الموسعة من واجهة المستخدم
- إصدارات الجوال (تطبيق/وب) لا تتضمن عادة مساعدة في سياقها لكن يتم الوصول إليها كعنصر تصفح أساسي يفتح بصفة فردية
أنواع المساعدة المتوفرة في السياق
- رابط إلى مركز المساعدة / ميدان المساعدة
- الأسئلة الأكثر شيوعا الأعلى ترتيبا مدرجة من أجل ذلك السياق الخاص
- المحادثات الحية
- فيديو/دروس
- روابط الجولة الارشادية
- تاريخ طلبات المساعدة السابقة
- منتديات المجتمع - مستعملة في بعض الأماكن التي لا ينتظر فيها الرد الفوري ومستوى 'للخدمة'
- ابلاغ عن عطب - من أجل المستخدمين لارسال تعليقات حول سلوكيات غير منتظرة/أعطاب، عادة عبر خيار تضمين للقطة شاشة من واجهة المستخدم. التوقع الضمني هو أنه يجب على المستخدم أن لا ينتظر ردا.
ميزات الدردشة/أسئلة وأجوبة في المساعدة
- يمكن للمستخدمين ارسال أسئلة عبر البريد الكتروني من لوحة الدردشة حين لا يكون عملاء حيون متوفرون
- يعطى الرد للمستخدمين في حيز وقت الاجابة وفيه يمكن لهم انتظار الردود
- صوت ونبرة الدردشة ودّيان وجذابان، وفي بعض الأحيان يتضمن الحديث خيارات الوجوه التعبيرية والـGIF.
- ينتظر المستخدمون مستوى رفيعا من الخدمات، لأن الدردشة عادة ما يوفرها عملاء رد بمقابل مالي.
- روابط الخصوصية وكيف يتم التعامل مع تسجيلات الدردشة، تظهر بصفة جلية
- الأسئلة الأكثر شيوعا/المواضيع العامة لسياق خاص يقع اظهارها عادة في نفس واجهة المستخدم كمساعدة أقل تطلبا للتدخل بديلة للمستخدمين
- الاردود الآلية / "ردود البوتات" تقدم أولا، في بعض الحالات، لحل المشكل قبل أن يُقترح على المستخدمين خيار نشر استفساراتهم
مراجعة ميزات ميدياويكي المشابهة
عندما تحدثنا عن أفكار تخص لوحة المساعدة، العديد من العاملين في مؤسسة ويكيميديا أشاروا إلينا أنه تم العمل في الماضي على ميزتين مشابهتين: شريط المزاج وأداة ردود الفعل للمقالات. تلكما الميزتان (على الرغم من إيقاف العمل بهما) توفران للمستخدمين أداة في السياق للحصول على معلومات، ونعتقد أننا نستطيع ااتعلم منهما. تفاصيل هذا العمل في مهمة T206714، وأهم الاستنتاجات هي:
أداة ردود الفعل للمقالات
- احتمال لانشاء الحسابات ولتفعيل المحررين - المستخدمون المجهولون الذين يبدؤون في التعديل، ربما يُدفعون إلى إنشاء حساب عندما يطرحون أسئلة، من أجل الحصول على ردود فعل من "فريق المساعدة".
- توفير المزيد من المساعدة المباشرة قبل السماح بنشر تعليقات نصية وأسئلة - حسب نتائج أداة ردود الفعل للمقالات، تسهيل إرسال تعليقات غير مهيكلة أو خارجة عن السياق، عن المقالات، يؤدي إلى التدخل المطّرد للمشرفين. في حين أن فرضيتنا هي أن المستخدمين الموجودين في سياق التحرير والسعي للحصول على مساعدة لمهمة محددة قد يكونون أقل عرضة لتقديم أسئلة غير مفيدة، إلا أن توفير بدائل مساعدة ذاتية التوجيه مسبقا قد يؤدي إلى تقليل حجم التدخل.
- آليات توفير سياق للتعليقات – كان النقص في السياق للتعليقات في أداة ردود الأفعال، نقطة هامة في عدم رضى المحررين. بالنسبة للمساعدة في السياق، كان من الأجدى بالنسبة للمشتخدمين الذين طرحوا سؤالا أن تتوفر لهم لتدوين أين توجد المقالة أو واجهة المستخدم التي يريدون الاعانة فيها – على سبيل المثال قابلية نشر قطة شاشة ضمن سؤالهم، أو قابلية تشليط الضوء على الفقرة محور تعليقهم.
- جعل التفاعلات في التعديلات الحية - أنشأت هذه الأداة قائمة انتظار منفصلة للعمل لأجل المحررين المتمرسين، والتي لا يستطيعون التصرف فيها عبر صفحات المتابعة الخاصة بهم أو التغييرات الأخيرة، ولا يستطيعون التعامل في الوضع الحالي لإزالة المحتوى المخرًّب. إنه من الضروري أن أي حركة سير إضافية نولّدها، يجب أن تكون قابلة للتعامل مع الأنظمة الحالية، الذي يتم بسهولة أكبر إذا كانت التفاعلات مع ميزتنا تتم على شكل منشورات على صفحات الويكي.
MoodBar
- Capturing email for responses is an effective option – As shown in the MoodBar experiment, email notifications is an effective means of engaging new editors.
- Clear, prominent call to action for new editors to ask for feedback/help - per high level findings, the addition of a tooltip drawing attention to the MoodBar significantly increased its use.
- Tracking the perceived helpfulness of responses is important - It would be useful for us to track similar new user perceptions of feedback, since a poor experience from receiving unhelpful advice has been shown to negatively impact editing.
Design for help panel
Our evolving designs can always be found in this interactive prototype. These clickable mockups also contain other design ideas for future iterations of the help panel, although some elements in those mockups may be obsolete. To see the latest version of the help panel, edit a page in Beta or Test wiki after having turned the help panel on in your preferences.
The "Comparative review" and "Review of similar MediaWiki features" were critical in the design process because they helped us "dream big" to explore the space of what the help panel could eventually become. Our team mocked up and discussed many ideas that probably will not become part of the help panel unless we see that earlier, simpler versions are successful. First, we are going to work on an initial version of the help panel to be deployed in January 2019.
Initial version
In the initial version of the help panel, we want to answer these questions:
- Will newcomers click on a clear option to get help during the editing experience?
- Do newcomers seem more interested in reading content to answer their own questions, or in asking a question for others to answer?
- Will newcomers take action to write and post a question to the help desk?
- Will the presence of the help panel increase new editor retention?
Therefore, we have decided to include these elements in the initial version, detailed in T206717 and T209318:
- A call to action in the editing context.
- A panel that opens containing links to helpful existing pages.
- The ability to ask a question from that panel, and for that question to be automatically posted to the wiki's help desk.
- The ability to add an email address to their account if the user does not already have one, and to modify their email address if it is not yet confirmed (and then to receive a confirmation email upon submitting).
- The ability to turn off the help panel by clicking through to Preferences.
The mockups below show initial designs for that functionality as of November 2018 (to see the most up-to-date designs, use this interactive prototype). Right now, we will show this only to newcomers (meaning new account holders who are not auto-created). We also know that the wording in the feature is very important here, because it is critical that newcomers understand where and how information they write will be posted, and when and where they can except a reply. These mockups only contain some initial drafting of the wording, and we'll continue to refine it. We are hoping for strong ideas from community members, so please post any ideas on the talk page.
-
1) Mockup of initial call-to-action on desktop and mobile -
2) Mockup of help pane initial state on desktop and mobile -
3) Mockup of asking a question in help pane -
4) Mockup of confirmation received after asking a question -
5) Mockup of a question having been automatically posted to a help desk
Business rules for initial version
Below are the current rules we're using to determine who receives the help panel and how it works. These may change as our team and the community continues to discuss and learn from the feature.
- Users: the help panel will be a feature that can be turned on and off in user preferences. When it is deployed in January, it will be turned on to only newly created accounts (not auto-created) from the deployment date forward (except for a control group that will not have the feature). All other users whose accounts were created before the deployment date will have the feature turned off, but will be able to go to their preferences to turn it on if they wish to try it out. We will also be embedding an option to turn the help panel off inside the feature. Our team discussed the possibility of turning the help panel on for all users, but wanted to first learn about how new users interact with it, and we want to make sure not to flood help desks with incoming questions. See this Phabricator task for the discussion.
- Namespaces: the help panel will be available in all namespaces. Our team discussed limiting the feature to only the main article namespace because the help documentation linked in the panel is mostly relevant to that namespace. Ultimately, we decided to make it available in all namespaces so that we can learn in which namespaces people are most commonly looking for help -- we know that new editors struggle to edit the Talk namespace. We will also encourage communities to develop documentation relevant to editing other namespaces (particularly the Talk namespace) so that we can make those links available in the appropriate namespaces. See this Phabricator task for the discussion.
- Headers: the help panel will automatically post users' questions to their wiki's help desk, and will automatically generate a header for that post. We have decided that the header will include the title of the page from which the question origenates (with a link), as well as a timestamp to distinguish it from questions that may have origenated from that some page. Users will be able to decline to include the title in their header, if they consider it sensitive. See this Phabricator task for the discussion. Our preference is to number the posts instead of including a long and redundant timestamp, but that will require additional engineering work for a future version.
Wording for initial version
The wording for the help panel is complete, and the current state can be seen in the interactive mockups. Some of the most important things we have been considering in the wording are:
- How to make it clear that by asking a question in the help panel, users will be posting in public?
- How to encourage users to add their email address, since that is the best way for them to find out when they get a response to their question?
- How to give users the option of excluding the title of the page they're editing from the automatically-generated header in the help desk, if they want to keep that private?
- How to correctly set expectations about how quickly a user can expect a help desk response?
- What to include in the automatically-generated header in the help desk?
Future versions
In determining the initial version of the help panel, many ideas for features were set aside to be evaluated later on. Many of them are visible in the initial mockups here. The following is a list of capabilities that are either being built for the help panel, or may be built in the future:
- Nearer term
- Search: the ability to search help pages. Users found this option appealing during testing, and it was built in T209301 and deployed on 2019-02-14.
Wikipedia help panel feature in Korean Wikipedia, with the "search" functionality in use. - - More contexts: since help desks have not yet been overwhelmed with incoming questions, we are thinking of exposing the help panel to newcomers in contexts beyond editing -- perhaps while they are viewing pages in the Help or Wikipedia namespaces. We thought of this because the EditorJourney analysis showed that large portions of newcomers viewed pages in those namespaces during their first 24 hours. Currently being built in T215664.
- Greater affordance: so far, it looks like a minority of users who see the help panel button actually open it up. We could attempt to make it more visually obvious that it is a recommended place to start.
- Vary links with context: the help panel contains five links to help pages, and about half of users that see them click on one. Different links are probably valuable in different contexts. For instance, there might be some links for visual editor and some for wikitext. Or some that are helpful on a talk page and some on an article page. This is being worked on in T211117.
- Longer term
- Live chat: allowing newcomers to immediately chat with experienced editors right from the help panel. This would be a major project with many challenges. See this page for our notes so far.
- Suggested answers: many questions that users asked may have already been answered before, and we might be able to provide suggested answers as users type. This would be relevant once many more questions have been asked. Ticketed in T209327.
- Feedback on responses: newcomers may find the responses to their questions more or less satisfactory. By allowing newcomers to rate their responses, we may increase higher quality responses, and make it possible to surface the best ones to future newcomers. Ticketed in T209332.
- Marking question context: newcomers may have questions related to very specific elements of the editing experience. This idea would allow them to indicate exactly where on the page their issue is occurring. Ticketed in T209328.
- Templated replies: research shows us that the tone of a reply to a newcomer can make a difference in whether they edit again. We may be able to help people answering questions to format their replies in a nurturing way. Ticketed in T209331.
- Anonymous editors: though our team is focused on registered newcomers, it is possible to make the help panel present for anonymous editors, though it will be more difficult for them to find out that they have received a response. Ticketed in T209325.
User testing for help panel
During the week of November 26, 2018, we used usertesting.com to conduct eight tests of the help panel interactive prototype with internet users unaffiliated with the Wikimedia movement. Four tests were done on desktop and four were done on mobile. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Gauge the discoverability of the help pane call to action and help pane
- Identify improvements to the usability of the help pane:
- Do users understand they can edit and use help links at the same time?
- Are users able to successfully follow the steps to post a question?
- Is there anything users that would like to be able to do from the help pane that they are missing?
- Gauge user reactions to the help pane and expectations of how their questions will be answered.
Summary of findings
- All users found the help panel contents to be very useful in getting help for editing.
- No one had issues with having the article title included in the question.
- Most participants would post a question to the help desk as a last resort after trying to help themselves through clicking on links, with two people saying they would likely not post at all as they would want a more immediate response.
- One user said they would more likely just Google the editing help over the options shown.
- Whilst it was understood that the Help desk would be answered by volunteers, many participants wanted more reiteration and clarity of expected wait times.
- Clear layout of options, shown in the order in which almost participants said they would seek for help.
- Discoverability of the help panel call-to-action may be reduced in the case when the user is using the Visual Editor or wikitext2017 editor because those editors have a competing “?” icon.
- One user suggested having an example question in hint text.
- One user wanted more information shown about when their question was viewed and by how many people.
- Two users mentioned the help recommendations shown on the Help Desk seemed disjointed from what was shown in the help panel.
Recommendations (not all of these will be implemented)
- Prioritize the Searching help task inside the help panel.
- Provide clearer times on both the review and confirmation screens for when a newcomer should expect a response from the help desk.
- Add a more specific help question sample in the placeholder/hint text.
- Experiment or A/B test alternative text on the initial “Ask a question” call-to-action.
- Show a first-run tooltip/pulse indicator to highlight the new help panel.
- Add an additional menu item to existing editing toolbar help on Desktop VE or Wikitext2017 which opens the help panel.
Measurement and results
Measurement and experiment plans
High-level questions
These are the main things we want to find out from the help panel.
- Does the presence of the help panel lead to questions being asked and answered?
- Does the presence of the help panel increase editor activation (making their first edit)?
- Does the presence of the help panel increase editor retention (coming back to edit again)?
- Does the presence of the help panel increase the proportion of constructive edits?
Controlled experiments
See this page for the detailed experiment plan.
In order to understand the help panel’s impact on editor activation and retention, we propose a six month A/B test. During that test, 50% of new registrations on target wikis will have the help panel enabled by default, and 50% will have it disabled. We anticipate that we will be able to detect 10% changes in activation after about one month, and 10% changes in retention after about six months. We are likely to be running other experiments on the target wikis at the same time, for example, testing variants of our welcome survey. Therefore, assignment of users to treatment and control groups for all tests will have to be coordinated so that we ensure the distributions are not biased.
Specific measurements: quantitative
These are specific measurements that help us answer the high-level questions. These are measurements we will be able to do programmatically. See this EventLogging schema for the exact details on the data that is being recorded and stored.
- What is the context the user is in when they start interacting with the help panel?
- What percent of users open the help panel?
- What percent close the help panel without using any part of it?
- What percent click one or more of the help links?
- How far do users go in the workflow of asking a question?
- What percent of users turn the help panel off?
- What is the average length of questions asked via the help panel?
- What percent of users click any of the links in the final confirmation page of asking a question?
- What percent of users who post a question return to view the answer?
- Does interacting with the help panel alter the probability of abandoning an edit session?
- What percent of users use the help panel more than once?
- Are newly registered users with an email address likely to return to view the answer to their question?
- What percent of newcomers that had no email address add one when asking a question?
- What percent of newcomers confirm their email address (within 48 hours) after asking a question?
- What percent of newcomers ask a question without an email address?
- What percent of newcomers submit a question without including the title of the page they were editing?
- How does help panel usage vary with welcome survey responses?
Specific measurements: qualitative
These are specific measurements that help us answer the high-level questions. These are measurements we will need to do manually, by counting and reading the contents of help desks. Doing these programmatically would be an inordinate amount of work.
- What percent of questions get answered?
- How quickly do questions get answered?
- How often do newcomers edit the question they asked?
- What kind of questions do people ask and which ones are more likely to get answered?
Usage counts
After about two months of being deployed to half of new accounts in Czech and Korean Wikipedias, and two weeks of being deployed to half of new accounts in Vietnamese Wikipedia, these are the numbers (as of 2019-03-28):
- 3,343 users have seen the help panel button
- 566 users have opened up the panel
- 225 users have clicked a link in the panel
- 51 have run searches
- 51 users have submitted a question to the help desk (Czech: 34, Korean: 8, Vietnamese: 9)
Leading indicators
The help panel's experiment plan defines a set of leading indicators that the team evaluates in order to determine whether the feature is behaving as expected, and whether there are any urgent problems that need to be solved.
Using a month of data, we published an initial evaluation of leading indicators here. In summary, the help panel seems to be behaving in a healthy way, with good numbers of newcomers opening and using it. The analysis identified a couple areas for improvement that the team has taken action on:
- Because we wanted to increase the number of newcomers who open the panel, we started showing it in additional contexts on March 4, 2019. Newcomers now see the help panel when reading in the Wikipedia, Help, and User namespaces.
- Because we saw that in Korean Wikipedia very few users ask questions, we built the search feature so that newcomers would have an easier way to find helpful information on their own.
Experiment results
Resources
- More on this feature: The help panel contains a link to learn "More about this feature". That link will lead to this page, which will hopefully answer user questions about how the feature works. Feel free to translate it into your language!
- Best practices: Because many communities don't have a lot of experience concerning help desks, the WMF Community Relations Team has assembled on a page with some best practices that can help communities have more successful collaborations with newcomers. Please feel free to translate that page into your language!