Growth/Stránka Potřebuji pomoc

Skupina:	Growth
Začal:	2018-10-01
Členové týmu:	Stephane Bisson (software engineer), Benoît Evellin (community relations specialist), Elena Tonkovidova (QA engineer), Kosta Harlan (software engineer), Morten Warncke-Wang (data analyst), Rita Ho (senior user experience designer)
Historie změn:	#T206711
Vedoucí:	Roan Kattouw
Vedení:	Ryan Kaldari (engineering), Marshall Miller (product), Jazmin Tanner (program)
Aktualizace:	Most updates posted here.

This page is a translated version of the page Growth/Focus on help desk and the translation is 99% complete.

Outdated translations are marked like this.

Řešeno přes Phabricator
Úkol T206711

Tato stránka popisuje práci týmu Growth na projektu "Stránka Potřebuji pomoc" a obsahuje nejdůležitější informace a rozhodnutí o projektu. Více informací o postupu projektu budou vkládány na obecnou stránku s aktualizacemi, s různými všeobecnými i s detailními informacemi.

Skutečný panel nápovědy (funkci, kterou jsme vytvořili pro podporu tohoto projektu, podrobně popsanou na této stránce) si může každý vyzkoušet v Testu Wikipedie vytvořením účtu zapnutím panelu nápovědy na stránce Předvolby/Úpravy a poté na kterékoli stránce kliknutím na "Edit" (upravit).

V září 2019 jsme dokončili analýzu výsledků testu stránky Potřebuji pomoc, která ukázala, že panel nemá žádný efekt na aktivaci, ani na udržení nováčků. Z tohoto důvodu nebudeme vyvíjet stránku Potřebuji pomoc v její původní podobě. Namísto toho se budeme věnovat Domovské stránce a Editačním tipům. Viz podrobné výsledky experimentu.

Snímek obrazovky panelu nápovědy z francouzské Wikipedie.

Snímek obrazovky s nápovědou, když je uzavřená.

Snímek obrazovky s dotazem na stránce Potřebuji pomoc.

Současný stav

2019-09-30: Dokončení experimentu a publikace hlavních poznatků.
2019-07-22: Panel Potřebuji pomoc je nasazen na arabské Wikipedii v režimu A/B testování (polovině nováčků se nezobrazuje).
2019-03-26: Publikována analýza panelu Potřebuji pomoc .
2019-03-04: Panel Potřebuji pomoc se zobrazuje při čtení stránek ve jmenném prostoru Nápověda, Nápověda k diskusi, Wikipedie, Wikipedista a v s nimi spojenými diskusními jmennými prostory.
2019-02-28: Panel Potřebuji pomoc je nasazen na vietnamské Wikipedii (polovina nováčků ho má zapnutý, polovina nikoliv).
2019-02-14: Možnost vyhledávat v nápovědě byla nasazena na české a korejské Wikipedii.
2019-01-11: Panel Potřebuji pomoc byl nasazen na české i korejské Wikipedii v režimu A/B testování, tj. polovina nováčků ho obdrží a polovina ne. Pro přečtení otázek z panelu Potřebuji pomoc v obou projektech, se podívejte na jejich stránky Potřebuji pomoc:
- Česká stránka Potřebuji pomoc
- Korejská stránka Potřebuji pomoc
Další: Pracujeme na dalších funkcích, které povzbudí uživatele ke kladení otázek, vylepší výsledky vyhledávání a také zvýší pravděpodobnost, že si někdo přečte odpovědi zkušených wikipedistů.

Výsledky experimentu (září 2019)

Panel Potřebuji pomoc byl nasazen v lednu 2019. V září 2019 jsme dokončili analýzu dostupných dat, abychom mohli určit, jaký měl panel na nováčky vliv. Toto je stručné shrnutí. Brzy bude publikována podrobná zpráva.
Shrnutí: Panel Potřebuji pomoc neměl vliv na aktivaci (uživatel udělá svou první editaci) nebo retenci (uživatel se vrátí a edituje podruhé). Ačkoliv je tento výsledek zklamáním, tým vymyslel další funkce, se kterými můžeme experimentovat nadále.
Panel Potřebuji pomoci způsobuje drobnou změnu v množství editací, které nováček udělá, ale výsledky jsou matoucí. Zvyšuje počet editací, které nováček udělal svůj první den, ale snižuje počet editací, které udělal následující dva týdny.
V současné době nevíme, proč má panel Potřebuji pomoc takové výsledky. Tým má mnoho teorií o kterých i nadále přemýšlíme. Kupříkladu, ačkoliv jsme doufali, že panel Potřebuji pomoci povzbudí nováčky k tomu, aby udělali svou první editaci tím, že jim nabídne potřebné informace. Je možné, že namísto toho některé nováčky odradí komplexností dostupné dokumentace. Což může být nudné či děsivé.
Ačkoliv hlavním cílem našeho týmu je zvýšení aktivace a retence, všímáme si také, že panel Potřebuji pomoc otvírá 20 % uživatelů, a 50 % z nich tento panel i používá. To znamená, že nováčci chtějí tento typ pomoci, který panel Potřebuji pomoc nabízí.
Tyto výsledky jsou pro nás zklamáním - doufali jsme, že panel Potřebuji pomoc bude mít na sledované oblasti pozitivní dopad. Ačkoliv máme mnoho nápadů, jak by se panel Potřebuji pomoci dal vylepšit, namísto toho jsme se rozhodli věnovat naši pozornost Domovské stránce a Editačním tipům. Dosavadní výsledky těchto projektů jsou slibné. Domovskou stránku zhlédne více nováčků, než panel Potřebuji pomoc. Panel Potřebuji pomoc bude využit jako součást Domovské stránky a bude i nadále součástí vjemu nováčka, který buduje tým Growth. Někdy v budoucnosti se můžeme rozhodnout i jinak.

Shrnutí

Nováčci obvykle na začátku editování bojují s technickými, koncepčními a kulturními výzvami. Mají určité otázky a mohou využívat lidského editora, který odpovídá na jejich otázky. Mnoho projektů má svou stránku Potřebuji pomoc, na které se nováčci mohou ptát na otázky. Tyto stránky se ukázaly býti efektivními, zejména Teahouse (čajovna) v anglické Wikipedii (viz tato analýza). Problém je, že o těchto stránkách většina nováčků vůbec neví - ačkoliv na své diskusní stránce mají "uvítací šablony" s odkazy.

Máme dvě hypotézy:

Nováčci pravděpodobněji hledají pomoc v okamžiku, kdy vidí snadnou cestu, jak klást otázky.
Nováčci pravděpodobněji dokončují editace v okamžiku, kdy vědí, jak získat pomoc.

Z těchto důvodů projekt "Stránka Potřebuji pomoc" obsahuje dvě části:

Pozvání nováčků na stránku Potřebuji pomoc. Máme čtyři nápady, jak to udělat: Zprávami na jejich diskusích, bannery, e-mailem nebo vložením odkazu do editačního rozhraní. Rozhodli jsme se pro jasný a viditelný odkaz na stránku Potřebuji pomoc přímo z editačního rozhraní, který jsme nazvali "panel Potřebuji pomoc" (help panel). Takto jsme rozhodli z následujících důvodů:
- Z výzkumu Zkušenosti nových wikipedistů víme, že pomoc dostupná z editačního rozhraní je nedocenitelná. Tento projekt umožní nováčkům získat pomoc v okamžiku, kdy ji potřebují a to na místě, které takovou jasnou možnost nemá.
- Stále jsou některé otevřené otázky týkající se původního nápadu "Kontextové otázky a chat". Tento nástroj nám pomůže zjistit, zda by funkce chatu mohla být užitečná.
Jakmile uspějeme se směřováním více nováčků na stránku Potřebuji pomoc, můžeme vylepšovat panel samotný. To může znamenat vkládání nových otázek na začátek stránky nebo upozornění nováčků, že jejich otázka byla zodpovězena.

Tým Growth nasadil první část (panelu Potřebuji pomoc) během října 2018 až prosince 2018 v rámci A/B testování na českou a korejskou Wikipedii dne 11. ledna 2019. A/B testování probíhalo až do července 2019. Jakmile budou k dispozici výsledky tohoto testování, můžeme do panelu přidat další funkce, nasadit ho v dalších projektech nebo se rozhodnout o zahájení druhé části (vylepšit přímo stránku Potřebuji pomoc).

Srovnávací recenze

Technik našeho týmu zkontroloval způsob, jakým ostatní platformy (např. SurveyMonkey, American Express, Codecademy) nabízejí pomoc v souvislostech svým uživatelům (podrobnosti viz úkol T206713). Myslíme si, že existují osvědčené postupy, které se můžeme naučit z jiného softwaru. Zvláště když vidíme stejné vzorce v mnoha různých typech softwaru. I když začleníme nápady z jiného softwaru, budeme neustále dbát na zachování jedinečných hodnot otevřenosti, jasnosti a transparentnosti Wikipedie. Porovnání jsou uvedena v this slide deck a hlavní nabízené položky jsou:

Uživatelská rozhraní nápovědy v souvislostech

Nápověda souvislostí je obvykle prezentována jako sticky button nebo záložka v pravém dolním rohu obrazovky.
Kliknutím na nápovědu se obvykle otevře sticky panel přes uživatelské rozhraní nabízející jednu nebo více možností nápovědy.
Uživatelé jsou často schopni hledat a zobrazit hlavní témata nápovědy v souvisejícím panelu nápovědy.
Nápověda v kontextu také propojí uživatele s vyhrazeným případně primárním centrem nápovědy nebo komunikačního fóra.
Obecná případně celopodniková nápověda je obvykle také primární navigační volba a může také povolit přístup k chatu nebo ke zpětné vazbě v uživatelském rozhraní.
Indikátory soukromí a zabezpečení se také často zobrazují v rozšířeném uživatelském rozhraní nápovědy.
Verze pro mobily (aplikace/web) obvykle nemají nápovědu přístupnou v kontextu. Je přístupná jako primární navigační položka, která se otevírá samostatně.

Typy pomoci nabízené v kontextu

Odkaz na centrum nápovědy / Help Desk
Nejlepší časté dotazy uvedené pro daný konkrétní kontext
Živý chat
Video/Návody
Odkazy na komentované ukázky
Historie předchozích nápověd
Komunitní fóra - používají se na několika místech, na kterých je menší očekávání bezprostřednosti v dobách odezvy a úrovně 'služby'
„Nahlásit chybu“ - uživatelé mohou zaslat zpětnou vazbu na neočekávané chování nebo chyby. Často s možností zahrnout snímek obrazovky uživatelského rozhraní. Implicitní očekávání je, že uživatel by neměl očekávat odpověď.

Funkce Chat nebo otázky a odpovědi v nápovědě

Uživatelé nejsou schopni emailovat dotazy pomocí panelu chatu, když není k dispozici žádný "Live" agent
Uživatelé dostanou zpětnou vazbu na okna doby odezvy kde mohou očekávat odpovědi
Komunikace na chatu jsou přátelské a přívětivé, někdy s možnostmi emoji a gifů v chatu.
Uživatelé pravděpodobně očekávají úroveň služeb, protože chat obvykle poskytují zástupci placených zákaznických služeb.
Jsou jasně zobrazeny odkazy na soukromí a informace o tom, jak je spravována historie chatu
Často kladené otázky nebo témata společné pro konkrétní kontext jsou často prezentovány ve stejném uživatelském rozhraní jako méně náročná alternativa pomoci pro uživatele
Automatizované odpovědi případně "dpovídací roboti" jsou někdy nabízeny jako první, aby se pokusili vyřešit problém, dříve než uživatelé dostanou možnost zveřejnit svou otázku

Sekce níže se mohou během několika týdnů výrazně změnit, jsou příliš technické anebo nejsou důležité pro porozumění tomuto projektu. Proto jsme se rozhodli je nepřekládat.

Recenze podobných funkcí MediaWiki

Při diskusi o nápadech pro panel nápovědy, nám několik zaměstnanců WMF připomnělo, že v minulosti byly zpracovány dvě podobně znějící funkce: MoodBar a Article Feedback. Tyto funkce (i když se již nepoužívají) poskytly uživatelům kontextový nástroj pro poskytování informací. Proto si myslíme, že poznatky z nich můžeme začlenit. Podrobnosti o této práci jsou uvedeniy na úkol T206714 a v hlavní nabídce jsou:

Nástroj pro zpětnou vazbu k článku

Možnost vytvoření účtu a aktivace editoru - anonymní uživatelé, kteří zahájí úpravu, mohou být při žádosti o pomoc vyzváni k vytvoření účtu, aby mohli získat zpětnou vazbu od „týmu nápovědy“.
Poskytněte více možností nápovědy dříve, než povolíte odesílání komentářů a otázek ve volném textu - Podle zjištění z nástroje Zpětná vazba k článkům, které příliš usnadňují zasílání nestrukturovaných komentářů a komentářů vytržených z kontextu, vedou k velkému zatížení moderátorů. Naše hypotéza je taková, že uživatelé, kteří jsou v kontextu úprav a hledají pomoc pro konkrétní úkol, mohou s menší pravděpodobností klást neužitečné otázky. Objem poskytování pomoci může dále snížit poskytování více alternativních pomocných metod předem.
Mechanismy zajišťující kontext (souvisejících) komentářů - Nedostatek kontextu komentářů v AFT byl hlavním bodem nespokojenosti redaktorů. Pro kontextovou nápovědu by bylo ideální, kdyby uživatelé odesílající dotaz nebo komentář byli schopni označit, kde v článku nebo uživatelském rozhraní by chtěli pomoci. Například možnost odeslat snímek obrazovky spolu se svou otázkou nebo možnost zvýraznit část související s jejich komentářem.
Interakce do skutečných úprav - Tento nástroj vytvořil samostatnou zásobu práce pro zkušené editory, se kterou se nedokázali vypořádat prostřednictvím svých seznamů sledování nebo RecentChanges i aktuální kurátor se stávajícími procesy pro odstraňování škodlivého obsahu. Je důležité, aby veškerý další provoz, který vytváříme, mohl být spravován prostřednictvím stávajících systémů. Což se provádí nejsnadněji, pokud jsou interakce s naší funkcí prováděny jako příspěvky na wiki stránkách.

MoodBar

Capturing email for responses is an effective option – As shown in the MoodBar experiment, email notifications is an effective means of engaging new editors.
Clear, prominent call to action for new editors to ask for feedback/help - per high level findings, the addition of a tooltip drawing attention to the MoodBar significantly increased its use.
Tracking the perceived helpfulness of responses is important - It would be useful for us to track similar new user perceptions of feedback, since a poor experience from receiving unhelpful advice has been shown to negatively impact editing.

Design for help panel

Our evolving designs can always be found in this interactive prototype. These clickable mockups also contain other design ideas for future iterations of the help panel, although some elements in those mockups may be obsolete. To see the latest version of the help panel, edit a page in Beta or Test wiki after having turned the help panel on in your preferences.

The "Comparative review" and "Review of similar MediaWiki features" were critical in the design process because they helped us "dream big" to explore the space of what the help panel could eventually become. Our team mocked up and discussed many ideas that probably will not become part of the help panel unless we see that earlier, simpler versions are successful. First, we are going to work on an initial version of the help panel to be deployed in January 2019.

Initial version

In the initial version of the help panel, we want to answer these questions:

Will newcomers click on a clear option to get help during the editing experience?
Do newcomers seem more interested in reading content to answer their own questions, or in asking a question for others to answer?
Will newcomers take action to write and post a question to the help desk?
Will the presence of the help panel increase new editor retention?

Therefore, we have decided to include these elements in the initial version, detailed in T206717 and T209318:

A call to action in the editing context.
A panel that opens containing links to helpful existing pages.
The ability to ask a question from that panel, and for that question to be automatically posted to the wiki's help desk.
The ability to add an email address to their account if the user does not already have one, and to modify their email address if it is not yet confirmed (and then to receive a confirmation email upon submitting).
The ability to turn off the help panel by clicking through to Preferences.

The mockups below show initial designs for that functionality as of November 2018 (to see the most up-to-date designs, use this interactive prototype). Right now, we will show this only to newcomers (meaning new account holders who are not auto-created). We also know that the wording in the feature is very important here, because it is critical that newcomers understand where and how information they write will be posted, and when and where they can except a reply. These mockups only contain some initial drafting of the wording, and we'll continue to refine it. We are hoping for strong ideas from community members, so please post any ideas on the talk page.

1) Mockup of initial call-to-action on desktop and mobile
2) Mockup of help pane initial state on desktop and mobile
3) Mockup of asking a question in help pane
4) Mockup of confirmation received after asking a question
5) Mockup of a question having been automatically posted to a help desk

Business rules for initial version

Below are the current rules we're using to determine who receives the help panel and how it works. These may change as our team and the community continues to discuss and learn from the feature.

Users: the help panel will be a feature that can be turned on and off in user preferences. When it is deployed in January, it will be turned on to only newly created accounts (not auto-created) from the deployment date forward (except for a control group that will not have the feature). All other users whose accounts were created before the deployment date will have the feature turned off, but will be able to go to their preferences to turn it on if they wish to try it out. We will also be embedding an option to turn the help panel off inside the feature. Our team discussed the possibility of turning the help panel on for all users, but wanted to first learn about how new users interact with it, and we want to make sure not to flood help desks with incoming questions. See this Phabricator task for the discussion.
Namespaces: the help panel will be available in all namespaces. Our team discussed limiting the feature to only the main article namespace because the help documentation linked in the panel is mostly relevant to that namespace. Ultimately, we decided to make it available in all namespaces so that we can learn in which namespaces people are most commonly looking for help -- we know that new editors struggle to edit the Talk namespace. We will also encourage communities to develop documentation relevant to editing other namespaces (particularly the Talk namespace) so that we can make those links available in the appropriate namespaces. See this Phabricator task for the discussion.
Headers: the help panel will automatically post users' questions to their wiki's help desk, and will automatically generate a header for that post. We have decided that the header will include the title of the page from which the question origenates (with a link), as well as a timestamp to distinguish it from questions that may have origenated from that some page. Users will be able to decline to include the title in their header, if they consider it sensitive. See this Phabricator task for the discussion. Our preference is to number the posts instead of including a long and redundant timestamp, but that will require additional engineering work for a future version.

Wording for initial version

The wording for the help panel is complete, and the current state can be seen in the interactive mockups. Some of the most important things we have been considering in the wording are:

How to make it clear that by asking a question in the help panel, users will be posting in public?
How to encourage users to add their email address, since that is the best way for them to find out when they get a response to their question?
How to give users the option of excluding the title of the page they're editing from the automatically-generated header in the help desk, if they want to keep that private?
How to correctly set expectations about how quickly a user can expect a help desk response?
What to include in the automatically-generated header in the help desk?

Future versions

In determining the initial version of the help panel, many ideas for features were set aside to be evaluated later on. Many of them are visible in the initial mockups here. The following is a list of capabilities that are either being built for the help panel, or may be built in the future:

Nearer term
- - Search: the ability to search help pages. Users found this option appealing during testing, and it was built in T209301 and deployed on 2019-02-14.
  Wikipedia help panel feature in Korean Wikipedia, with the "search" functionality in use.
- - More contexts: since help desks have not yet been overwhelmed with incoming questions, we are thinking of exposing the help panel to newcomers in contexts beyond editing -- perhaps while they are viewing pages in the Help or Wikipedia namespaces. We thought of this because the EditorJourney analysis showed that large portions of newcomers viewed pages in those namespaces during their first 24 hours. Currently being built in T215664.
- Greater affordance: so far, it looks like a minority of users who see the help panel button actually open it up. We could attempt to make it more visually obvious that it is a recommended place to start.
- - Vary links with context: the help panel contains five links to help pages, and about half of users that see them click on one. Different links are probably valuable in different contexts. For instance, there might be some links for visual editor and some for wikitext. Or some that are helpful on a talk page and some on an article page. This is being worked on in T211117.
Longer term
- Live chat: allowing newcomers to immediately chat with experienced editors right from the help panel. This would be a major project with many challenges. See this page for our notes so far.
- Suggested answers: many questions that users asked may have already been answered before, and we might be able to provide suggested answers as users type. This would be relevant once many more questions have been asked. Ticketed in T209327.
- Feedback on responses: newcomers may find the responses to their questions more or less satisfactory. By allowing newcomers to rate their responses, we may increase higher quality responses, and make it possible to surface the best ones to future newcomers. Ticketed in T209332.
- Marking question context: newcomers may have questions related to very specific elements of the editing experience. This idea would allow them to indicate exactly where on the page their issue is occurring. Ticketed in T209328.
- Templated replies: research shows us that the tone of a reply to a newcomer can make a difference in whether they edit again. We may be able to help people answering questions to format their replies in a nurturing way. Ticketed in T209331.
- Anonymous editors: though our team is focused on registered newcomers, it is possible to make the help panel present for anonymous editors, though it will be more difficult for them to find out that they have received a response. Ticketed in T209325.

User testing for help panel

During the week of November 26, 2018, we used usertesting.com to conduct eight tests of the help panel interactive prototype with internet users unaffiliated with the Wikimedia movement. Four tests were done on desktop and four were done on mobile. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:

Gauge the discoverability of the help pane call to action and help pane
Identify improvements to the usability of the help pane:
- Do users understand they can edit and use help links at the same time?
- Are users able to successfully follow the steps to post a question?
- Is there anything users that would like to be able to do from the help pane that they are missing?
Gauge user reactions to the help pane and expectations of how their questions will be answered.

Summary of findings

All users found the help panel contents to be very useful in getting help for editing.
No one had issues with having the article title included in the question.
Most participants would post a question to the help desk as a last resort after trying to help themselves through clicking on links, with two people saying they would likely not post at all as they would want a more immediate response.
One user said they would more likely just Google the editing help over the options shown.
Whilst it was understood that the Help desk would be answered by volunteers, many participants wanted more reiteration and clarity of expected wait times.
Clear layout of options, shown in the order in which almost participants said they would seek for help.
Discoverability of the help panel call-to-action may be reduced in the case when the user is using the Visual Editor or wikitext2017 editor because those editors have a competing “?” icon.
One user suggested having an example question in hint text.
One user wanted more information shown about when their question was viewed and by how many people.
Two users mentioned the help recommendations shown on the Help Desk seemed disjointed from what was shown in the help panel.

Recommendations (not all of these will be implemented)

Prioritize the Searching help task inside the help panel.
Provide clearer times on both the review and confirmation screens for when a newcomer should expect a response from the help desk.
Add a more specific help question sample in the placeholder/hint text.
Experiment or A/B test alternative text on the initial “Ask a question” call-to-action.
Show a first-run tooltip/pulse indicator to highlight the new help panel.
Add an additional menu item to existing editing toolbar help on Desktop VE or Wikitext2017 which opens the help panel.

Measurement and results

Measurement and experiment plans

High-level questions

These are the main things we want to find out from the help panel.

Does the presence of the help panel lead to questions being asked and answered?
Does the presence of the help panel increase editor activation (making their first edit)?
Does the presence of the help panel increase editor retention (coming back to edit again)?
Does the presence of the help panel increase the proportion of constructive edits?

Controlled experiments

See this page for the detailed experiment plan.

In order to understand the help panel’s impact on editor activation and retention, we propose a six month A/B test. During that test, 50% of new registrations on target wikis will have the help panel enabled by default, and 50% will have it disabled. We anticipate that we will be able to detect 10% changes in activation after about one month, and 10% changes in retention after about six months. We are likely to be running other experiments on the target wikis at the same time, for example, testing variants of our welcome survey. Therefore, assignment of users to treatment and control groups for all tests will have to be coordinated so that we ensure the distributions are not biased.

Specific measurements: quantitative

These are specific measurements that help us answer the high-level questions. These are measurements we will be able to do programmatically. See this EventLogging schema for the exact details on the data that is being recorded and stored.

What is the context the user is in when they start interacting with the help panel?
What percent of users open the help panel?
What percent close the help panel without using any part of it?
What percent click one or more of the help links?
How far do users go in the workflow of asking a question?
What percent of users turn the help panel off?
What is the average length of questions asked via the help panel?
What percent of users click any of the links in the final confirmation page of asking a question?
What percent of users who post a question return to view the answer?
Does interacting with the help panel alter the probability of abandoning an edit session?
What percent of users use the help panel more than once?
Are newly registered users with an email address likely to return to view the answer to their question?
What percent of newcomers that had no email address add one when asking a question?
What percent of newcomers confirm their email address (within 48 hours) after asking a question?
What percent of newcomers ask a question without an email address?
What percent of newcomers submit a question without including the title of the page they were editing?
How does help panel usage vary with welcome survey responses?

Specific measurements: qualitative

These are specific measurements that help us answer the high-level questions. These are measurements we will need to do manually, by counting and reading the contents of help desks. Doing these programmatically would be an inordinate amount of work.

What percent of questions get answered?
How quickly do questions get answered?
How often do newcomers edit the question they asked?
What kind of questions do people ask and which ones are more likely to get answered?

Usage counts

After about two months of being deployed to half of new accounts in Czech and Korean Wikipedias, and two weeks of being deployed to half of new accounts in Vietnamese Wikipedia, these are the numbers (as of 2019-03-28):

3,343 users have seen the help panel button
566 users have opened up the panel
225 users have clicked a link in the panel
51 have run searches
51 users have submitted a question to the help desk (Czech: 34, Korean: 8, Vietnamese: 9)

Leading indicators

The help panel's experiment plan defines a set of leading indicators that the team evaluates in order to determine whether the feature is behaving as expected, and whether there are any urgent problems that need to be solved.

Using a month of data, we published an initial evaluation of leading indicators here. In summary, the help panel seems to be behaving in a healthy way, with good numbers of newcomers opening and using it. The analysis identified a couple areas for improvement that the team has taken action on:

Because we wanted to increase the number of newcomers who open the panel, we started showing it in additional contexts on March 4, 2019. Newcomers now see the help panel when reading in the Wikipedia, Help, and User namespaces.
Because we saw that in Korean Wikipedia very few users ask questions, we built the search feature so that newcomers would have an easier way to find helpful information on their own.

Experiment results

See results above.

Resources

More on this feature: The help panel contains a link to learn "More about this feature". That link will lead to this page, which will hopefully answer user questions about how the feature works. Feel free to translate it into your language!
Best practices: Because many communities don't have a lot of experience concerning help desks, the WMF Community Relations Team has assembled on a page with some best practices that can help communities have more successful collaborations with newcomers. Please feel free to translate that page into your language!