The Technology Stack of the Living Reviews Project

Robert Forkel

dev.livingreviews.org

In this presentation we give an insight into the technical environment of the Living Reviews project.

Things we do ...

We publish journals,
startup journals,
develop software ...
... and we talk about it.

Further information at

... and tools we use

subversion
trac
ePubTk
S5 - this presentation is brought to you by S5!
and a couple more - but we want to keep the tool zoo small.

Further information at

subversion ...

... is a version control system, intended as THE replacement for cvs.

No more inetd! Access repositories via Apache.
Versioned filesystem - i.e. revisions are snapshots of the tree!
atomic commits - commit all or nothing!
diff algorithm is efficient for binary data as well.

Weitere Informationen unter http://subversion.tigris.org/. Subversion ist mittlerweile in allen großen Linux Distributionen enthalten. Für subversion gibt es exzellente kostenlose Dokumentation.

trac ...

... is a wiki,
a ticket/issue Tracker,
a minimal project management tool,
a subversion repository browser,
exensible via macros and plugins
and all objects (tickets, changesets, ...) have nice URLs.

Weitere Informationen unter http://www.edgewall.com/trac/. trac kann als cgi Skript laufen, oder unter mod_python in Apache. Als backend steht mittlerweile neben sqlite auch PostgreSQL zur Auswahl.

Use Cases

Everybody likes use cases! Well how do we use our tools?

software development
manuscript management
web content management

Software development

For the ePubTk development we use subversion and trac in the standard way.
Being a distributed project, webbased collaboration tools are indispensable.
The trac timeline allows tracking of the work of others at a glance.

Die ePubTk Projektseite finden sie unter https://dev.livingreviews.org/projects/epubtk.
Momentan ist die Entwicklung auf die Living Reviews Standorte AEI Golm, Wien, Muencheberg und Garching verteilt.

Manuscript Management

Sources (manuscripts) of Living Reviews publications are stored in one svn repository per journal.
Work on these manuscripts is documented in corresponding trac instances.
Concurrent work of technical/proofreading editors and authors becomes possible.
The status of all manuscripts can easily be tracked via timeline, tickets und milestones
The wiki serves as knowledgebase for manuscript handling know-how.

Bei den bisherigen Living Reviews journals werden Artikel in LaTeX (und BibTeX) eingereicht. Diese files (und zusätzliches Material) wird in ein subversion repository eingecheckt. Das allein ermöglicht bereits gleichzeitiges, verteiltes Arbeiten an diesen sources. Im Gegensatz zu CVS, das vorher im Einsatz war, wird aber jetzt auch das Umbennen von files versioniert und ein Aufblähen des repository durch wiederholte commits von binären Daten wie Bilder oder Videos wird begrenzt.

In trac wird für jeden artikel ein Milestone angelegt, dem dann tickets zugeordnet werden, die die einzelnen Bearbeitungsschritte beschreiben. Die Flexibilität dieses Modells genenüber einem festgeschriebenen workflow kommt der Realität unserer Arbeit sehr entgegen.

An Example

The screenshot shows a typical revision log for the LaTeX source of a Living Reviews article.

Web Content Repository

The web content of each journal is stored in a subversion repository, too.

Secure access via HTTPS.
Atomic commits provide for robustness of big uploads.
Distributed, concurrent work on the web content becomes possible.

ePubTk

our own software to manage journals
various components ...
... managing various journal resources.
Technologies:
- Python
- XML, XSLT
- LaTeX and tex4ht
- Javscript, AJAX, unAPI, OAI-PMH, OpenSearch, RDF, the works.

Why Python?

Get things done faster ...
... while retaining maintainability.
An all-in-one programming tool for everyone ...
... which still attracts smart programmers.

Why XSLT?

Our target is not only HTML, but RSS, RDF, OAI-DC, ...
Garanteed to handle different encodings.
Easy access to all XML configuration data.

Synergies

Everyone in the project uses trac and subversion - not only developers.
Authentication for all services is done via Apache and HTTP basic authentication over ssl.
Python - trac and ePubTk are written in python, subversion has a python API.
subversion + trac are by now a de-facto standard in the python open source community.
code reuse - e.g. the trac user interface.

Mit subversion und trac hat jeder in unserem Projekt zu tun, vom technical editor über managing editors zu Entwicklern. Dadurch ist es leicht, gemeinsames know-how aufzubauen.

Verschiedene Dienste in unserem Projekt sind zugangsbeschränkt - z.B. der upload von web content, das Bearbeiten von Manuskripten von Artikeln, etc. Die beschriebene Verwendung von trac und subversion ermoglicht es uns, für alle diese Dienste denselben persönlichen Apache user account zu benutzen.

Da python die Programmiersprache der Wahl im Living Reviews Projekt ist, kommt es uns entgegen, daß subversion per python bindings auch programmatisch benutzt werden kann - etwa als versioniertes file system backend für unser Editorial Information Management System. trac ist sogar komplett in python geschrieben, was es uns erleichtert, mit immer wieder einmal auftretenden sicherheitsrelevanten bugs umzugehen.

Die Tatsache, daß trac open source und liberal lizensiert ist, erlaubt es uns, das user interface - mit dem in unserem Projekt ja alle vertraut sind - auch für Eigenentwicklungen zu verwenden. Auch der plugin Mechanismus von trac könnte in Zukunft ein Kandidat für eine "Übernahme" sein.

EIMS - a trac-clone

Die Benutzeroberfläche von trac gefällt uns so gut, dass wir sie für eine unserer Applikationen übernommen haben.

Der screenshot zeigt das von trac "inspirierte" user interface der EIMS Komponente unserer ePubTk software. Insbesondere die Aufteilung der Navigation in die drei horizontalen Bereiche Metanavigation, Hauptnavigation und kontextspezifische Navigation sollte jedem trac-Nutzer sofort vertraut sein.

MPDL Meeting, 13. Dezember 2006

The Technology Stack of Living Reviews