Hackathon 2011

Wikimedia foundation satsar på att förbättra användbarheten på sina webbplatser och det är ett högprioriterat projekt att ta fram en visuell texteditor till MediaWiki, dvs själva wikiprogramvaran som används på bl.a. Wikipedia.  Problemet är dock att en formell specifikation av wikitextens nuvarande format saknas.  Det gör det mycket svårt att omvandla texten till en struktur som kan hanteras på ett korrekt sätt av en visuell editor.  Därför har projektet Wikitext.next lanserats för att skriva om den programkomponent som för närvarande översätter wikitexten till html-kod så att den kan utgöra en mer formell specifikation av textformatet och möjliggöra olika typer av automatiserad behandling av texten, utan att behöva ta till olika ”hack” som aldrig fungerar till hundra procent.

I egenskap av att ha skrivit en exprimentell sk parser – dvs programkomponenten som överför wikitexten till en strukturerad form – för MediaWikis wikitext deltog jag på Hackathon i Berlin där detta projekt skulle diskuteras.  Brion Vibber leder projektet och kommer att koordinera insatser från både frivilliga och stiftelsens egna programmerare för att sammanställa testfall.  Svårigheten är dock uppenbar – det finns ett mycket stort antal artiklar i detta format.  Enbart engelskspråkiga Wikipedia har över 3,6 miljoner artiklar.  Till det kommer alla andra språkversioner och Wikiprojekt.  Varje artikel har dessutom en fullständig historik med de redigeringar artikeln genomgått.  För att inte någon del av denna samling skall gå förlorad, krävs stor nogrannhet i formatspecifikationen.

En ytterligare svårighet är att formatet inte låter sig sorteras under någon befintlig formalism för programspråk eller dataformat.  En specialiserad sådan formalism måste därför troligvis tas fram som en del av projektet om wikitexten skall kunna specificeras utan att man gör några större ändringar.

Tidsplanen är optimistisk, men inte orealistisk.  Ett grafiskt redigeringsverktyg av tillräckligt hög kvalitet skall vara klart under 2012.  Detta är dock inte den enda anledningen att specificera formatet.  Det är också ett sätt att höja tillgängligheten till artiklarnas innehåll då det möjliggör automatisk behandling av artikeltexter med andra verktyg än MediaWiki självt.

Frivilliga kan hjälpa till bland annat med att hitta exempel på udda användning av Wikitexten som kan användas som testfall.

Wikipedias största utmaning framöver

Efter allt som har hänt på Wikipedia, och alla planer som har tröskats fram och tillbaka, har wikipedianen David Gerard nu föreslagit vad han tycker skulle bli Wikipedias största utmaning framöver:

Our current markup is one of our biggest barriers to participation.

AIUI [As I understand it], edit rates are about half what they were in 2005, even as our fame has gone from ”popular” through ”famous” to ”part of the structure of the world.” I submit that this is not a good or healthy thing in any way and needs fixing.

People who can handle wikitext really just do not understand how offputting the computer guacamole is to people who can cope with text they can see.

We know this is a problem; WYSIWYG that works is something that’s been wanted here forever. There are various hideous technical nightmares in its way, that make this a big and hairy problem, of the sort where the hair has hair.

However, I submit that it’s important enough we need to attack it with actual resources anyway.

This is just one data point, where a Canadian government office got *EIGHT TIMES* the participation in their intranet wiki by putting in a (heavily locally patched) copy of FCKeditor:

http://lists.wikimedia.org/pipermail/mediawiki-l/2010-May/034062.html

”I have to disagree with you given my experience. In one government department where MediaWiki was installed we saw the active user base spike from about 1000 users to about 8000 users within a month of having enabled FCKeditor. FCKeditor definitely has it’s warts, but it very closely matches the experience non-technical people have gotten used to
while using Word or WordPerfect. Leveraging skills people already have cuts down on training costs and allows them to be productive almost immediately.”

http://lists.wikimedia.org/pipermail/mediawiki-l/2010-May/034071.html

[...]

- Attempting to solve it:
* The best brains around Wikipedia, MediaWiki and WMF have dashed their foreheads against this problem for at least the past five years and have got *nowhere*. Tim has a whole section in the SVN repository for ”new parser attempts”. Sheer brilliance isn’t going to solve this one.
* Tim doesn’t scale. Most of our other technical people don’t scale.
*We have no resources and still run on almost nothing*.

($14m might sound like enough money to run a popular website, but for comparison, I work as a sysadmin at a tiny, tiny publishing company with more money and staff just in our department than that to do *almost nothing* compared to what WMF achieves. WMF is an INCREDIBLY efficient organisation.)

- Other attempts:
* Starting from a clear field makes it ridiculously easy. The government example quoted above is one. Wikia wrote a good WYSIWYG that works really nicely on new wikis (I’m speaking here as an experienced wikitext user who happily fixes random typos on Wikia). Of course, I noted that we can’t start from a clear field – we have an existing body of wikitext.

[...]

This is a problem that would pay off hugely to solve, and that will take actual money thrown at it.

WYSIWYG, för den som inte vet det, står för ”What you see is what you get”. Words ordbehandlingsprogram gör till exempel att när du skriver ut dina dokument så ser de ut som de ser ut på skärmen. Wikipedia är inte WYSIWYG, eftersom man måste kunna lite lite wikikod. Till exempel sätter man dubbla hakparenser runt ett ord, [[så här]] för att göra en länk inom Wikipedia (länken hade då lett till sidan ”så här”).

Gerard föreslår att vi gör det här till nästa stora satsning. Som han skriver: ”[it's] a project that will be difficult, expensive and pay off hugely”.

Förra året fick Wikimedia Foundation ett stipendium för att göra Wikipedia lättare att använda. Då fick WMF 890.000 dollar. I dagens pengavärde motsvarar det 6,2 miljoner kr. Men det projektet resulterade inte i något storartat. För att göra en sådan här sak, krävs mer pengar. Kanske uppåt 30 miljoner kronor.

Vem hjälper till med de resurserna? Svenska staten? Linköpings universitet? IKEA? Bonniers?

Om man tittar på hur mycket 30 miljoner kronor är, så är det en spottstyver i sådana här sammanhang. Det är vad en storfilm drar in på två dagar. Det är också vad ett enda spelarköp i en engelsk fotbollsligaklubb kostar. Andra siffror.

Överblick på momangen – visualisera en Wikipedia-artikels historik

På Wikipedia kan man, som du kanske vet, fiska fram tidigare versioner av en artikel och på så sätt hålla reda på precis vem som har gjort vilka ändringar genom den så kallade versionshistoriken. Utan denna funktion hade det knappast gått att samskriva artiklar på det framgångsrika sätt som sker idag. Har du ibland funderat över en artikels versionshistorik? mwhistory är ett verktyg som i en handvändning kan generera en artikels versionshistorik som bild. Idén är inte ny men nu realiserad för svenskspråkiga Wikipedia som ett verktyg där graferna är tillgängliga för alla. Visualiseringen ger dig en omedelbar överblick av hur artikeln har vuxit fram: Varje vertikal linje representerar en ny version och varje färg representerar en skribent. Höjden på ett färgsjok representerar hur många bytes som användaren har bidragit med. mwhistory är programmerad av Andreas Jonsson.

Licentianden Martin Wilson vid vid Lunds universitet, kommer att använda mwhistory som verktyg för sin avhandling om Wikipedia. Två frågor till Martin:

Kan du med ett par meningar sammanfatta vad du tänker avhandla?

Informations- och kommunikationstekniken, IKT, har utvecklats explosionsartat de senaste decennierna. Frågor om hur denna utveckling påverkat människan och människans relation till historien är mycket intressanta. Frågorna är rimligen alltför stora för ett enskilt forskningsprojekt, men det är möjligt att närma sig svaren genom att granska Wikipedia. Uppsatsens syfte är att analysera hur Wikipedia påverkat svenska historiekulturer. Wikipedias roll är i sig intressant och syftet kan dessutom bidra till en större förståelse om hur IKT påverkar människan. Metoden för att uppnå syftet är dels analys av innehållet i Wikipedia och dels intervjuer med gymnasieelever.

Vad hoppas du få ut av en visualiserad versionshistorik?

Visualisering av artikelhistorik kan för det första användas för att förklara för en oinvigd läsare hur en artikel förändras över tid. Med hjälp av bilderna hoppas jag att även en läsare som inte är insatt i Wikipedias värld ändock kan förstå min licentiatuppsats. För det andra blir programmet ett viktigt analysredskap. Visualiseringen hjälper mig att hitta viktiga förändringar i en artikels historia. När väl sådana förändringar spårats kan jag gå in och djupanalysera artikelversionerna som föregår och som följer efter förändringarna.

Jag önskar Martin lycka till!

Det skall bli spännande att se om mwhistory kommer att visa sig användbart även för andra. Må mwhistory leva och kommentera gärna verktyget här.

Wikipedia

Astronomi

Michael Jackson

Microsofts nya översättningsverktyg

Idag meddelade Danese Cooper, som är teknisk chef på Wikimedia Foundation, att Microsoft Research center kommit med ett nytt översättningsverktyg för att underlätta översättning mellan språkversioner av Wikipedia:

WikiBhasha takes content from a targeted Wikipedia page and displays a machine translation to a second language side-by-side.  Users can edit, add to or delete the translated content, preview their work and then submit it to the second language Wikipedia.

Verktyget är än så länge bara i beta-version, men går att ladda ner här och eftersom det är fri programvara kan det användas av alla MediaWiki-installationer. Du kan se en presentation av verktyget här:

För att redan nu svara på tänkbar kritik: det rör sig inte maskinöversatt text trots att det står så här på sidan:

[...] supported by Microsoft’s Machine Translation system

Man måste nämligen välja vad som ska översättas, och kan välja mellan flera alternativ, innan själva översättningen görs. Wikipedias texter behöver översättas och bearbetas av människor.

Moka Pantages, som är communications officer på Wikimedia Foundation, kommenterar likheten med Googles översättningsfunktion så här:

WikiBhasha is an open source layer of functionality running directly in the context of Wikimedia sites. Unlike Google’s tool, WikiBhasha is not primarily a translation tool, but rather focused on simplifying work across multiple languages. So it’s designed to help you compose articles drawing information from other languages. It does support direct translation, if that’s what people want to do.

We’re supportive of both efforts and hopeful that we’ll ultimately see consolidation of multi-language collaboration and translation functionality in a single open source toolkit.

Pröva gärna funktionen och kommentera hur du tycker att det fungerar.

Nu blir det lättare att se Wikipedias bästa artiklar

Svenskspråkiga Wikipedia är i ständig förändring. Inte bara på det sättet att artiklarna skrivs om och att nya tillkommer. Dessutom förändras policies och programvara lite då och då. Sedan 2007 har till exempel kravet på källor blivit mycket hårdare. Och för en kort tid sedan togs alla Wikimedia Foundations logotyper bort ur artiklarna. Svenskspråkiga Wikipedia är dessutom nästan unikt med att ha tidsbestämda administratörsskap. Liksom alla förändringar finns det fördelar och nackdelar, men jag är övertygad om att svenskspråkiga Wikipedia åtminstone är på väg åt rätt håll, även om inte allting blir rätt alla gånger.

Den senaste stora förändringen är jag mer övertygad om är positiv än med de flesta andra förändringar. Det har nämligen pågått en diskussion sedan någon vecka om att den stjärna som markerar att en artikel har genomgått en nomineringsprocess för att markeras som en av Wikipedias bästa artiklar borde flyttas. Från längst ut i höger hörn till strax efter artikelnamnet. Se till exempel veckans utmärkta artikel, akkadiska.

Det här betyder att det blir lättare att upptäcka svenskspråkiga Wikipedias bästa artiklar. Vi är inte först med att ha stjärnan närmare artikelnamnet, men vi är åtminstone före engelskspråkiga och tyskspråkiga Wikipedia. Vi får se om de kommer att följa exemplet – och vad det får för konsekvenser för de stjärnmärkta artiklarna.

I arbetet med Wikimedia Foundations långsiktiga arbete med vad som kommer framöver, har det bland annat diskuteras att det ska bli lättare att se kvaliteten på en artikel. Det här är ett sätt. Men titta gärna på ungerska Wikipedia, där man redan har infört bedömnings-verktyget (längst ner här) så att läsarna kan avgöra om de gillar artikeln eller inte. De artiklar som får sämst betyg, kan man sedan lägga högre upp på ”att göra”-listan, och det tror jag kan göra dem bättre snabbare. När inför svenskspråkiga Wikipedia den funktionen? Och vill vi det? Enligt skribenter såsom David Andersson (gästkrönika på Kristianstadsbladet) lider svenskspråkiga Wikipedia av många saker:

Det mest påfallande med svenska Wikipedia är de många faktafelen, det dåliga språket och den bristande känslan för relevans. Trivialiteter får stort utrymme medan väsentligheter förbigås. Själva tanken med ett lexikon som görs av alla är problematisk. Att alla människor har samma värde innebär inte att alla kan lika mycket om första världskriget, atomfysik eller Händel.

Första världskriget är en artikel på ca 26.000 tecken. Och Wikipedia har av tradition haft många krigsintresserade skribenter, så det skulle förvåna mig om inte den artikeln vore ganska bra trots att det finns en skylt längst upp om att det behövs fler källor. Atomfysik däremot är bara 1900 tecken för tillfället. Där är inte ens motsvarande artikel på engelskspråkiga Wikipedia särskilt uttömmande. (Men det finns en ganska fylld kategori som heter Atomfysik och jag gissar att en hel del av informationen finns där, eller i länkarna i artikeln.) Där kan förklaringen ligga i att de grundläggande artiklarna sällan får så mycket uppmärksamhet som man kan tro: det är svårt och ganska otacksamt att skriva basartiklarna, eftersom man måste föra samman så många olika fält. Det är lättare att skriva om enskilda saker. (Georg Friedrich) Händel däremot är mitt favoritexempel. Det är nämligen en ”bra artikel”. Det ser man numera mycket tydligt med hjälp av den blå stjärnan. Jag undrar vad Andersson har att anmärka på den artikeln. Eller om han bara tog tre exempel ur luften – och därmed omedvetet råkade skjuta sig själv i foten.

Lägg till media trollkarl

Sökgränssnittet. Skärmbild av Mdale. Licens: GFDL.

Det finns en ny finess på svenskspråkiga Wikipedia: Add media wizard. Denna finess gör den tidigare processen att hitta och lägga till bilder i Wikipedia artiklar mycket enklare.

När man står i redigeringsläget på Wikipedia och trycker på bildknappen i verktygslisten görs automatiskt en sökning i mediadatabasen på artikelnamnet och förslagen visas i ett galleri. Där klickar man helt enkelt på bilden man vill ha och koden som krävs för att visa den i Wikipedia skapas automatiskt. Man kan till och med beskära bilderna direkt ifall man vill fokusera bilden på något särskilt. Tidigare har man varit tvingad att ladda hem bilden, beskära den i lämpligt bildbehandlingsprogram och sedan ladda upp bilden på mediadatabasen Wikimedia Commons igen.

Vill du aktivera den här finessen så går du till sidan Special:Inställningar på Wikipedia. Under fliken finesser kryssar du i rutan ”Lägg till mwEmbed support för video uppspelning, Firefogg uppladdning och ”Add-Media-Wizard”. (Dessa kompenenter är fortfarande under utveckling, du kan hjälpa till genom att ge feedback och rapportera fel på respektive diskussionssida.)” Du får alltså även en del annat godis samtidigt. I dagsläget funkar nog bara finessen på webbläsarna Firefox och Chrome, men utveckling pågår. Hittar ni något fel i programmet får ni gärna anmäla det.

Länkar:

Blog med djupare beskrivning
Wikimedia Technical Blog om Add media wizard
Hämta tillägget till din egen Mediawiki-installation

Du läste det här först

Så här kommer den nya versionen att se ut

I slutet av april kommer en ny version av MediaWiki, programvaran som bl.a. Wikipedia använder. Det blir en stor omdaning. Anledningen är att Wikimedia Foundation för en tid sedan startade ett användbarhetsinitiativ för att göra Wikipedia lättare att använda, och då behövs en nyare version av MediaWiki. Som du kan se till höger kommer saker och ting att bli lite annorlunda, samtidigt som mycket kommer att vara likadant. Utfällbara flikar, förbättrad sökning och förenklade verktyg för att göra tabeller och länkar. Det här kommer att bli spännande.

Om du klickar på bilden kommer du till Wikimedia Foundations teknik-blogg. Klickar du däremot på den här länken finns där mer information om vad som kommer att hända framöver i användbarhetsinitiativet.

I teknikbloggen kan du också läsa om det stora mötet i Berlin där programmerare, hackare och datanördar från hela världen kommer att samlas för att diskutera saker som är på gång, saker som har hänt och hur man ska gå vidare för att göra Wikimedia Foundations sajter och i förlängningen alla MediaWiki-sajter bättre. Wikimedia Sverige kommer att ha representanter där. Om du har några saker du vill att de ska ta upp på mötet, lämna en kommentar nedan.