Bernds Blog

Wenn man in Python mit Unicode-Objekten arbeitet, gerät man gelegentlich an den Punkt, an dem man diese Objekte in Strings konvertieren muss.

Prinzipiell kann Python das auf implizit, allerdings wird dafür immer der "ascii"-Codec benutzt und es entsteht ein UnicodeEncodeError (oder UnicodeDecodeError) wenn ein Umlaut oder ein sonstiges Non-ASCII-Zeichen auftaucht.

Da mich das heute einiges an Nerven gekostet hat, habe ich mich umgeschaut, wie man denn den Standard-Codec von ascii auf utf-8 umstellen kann. Leider ist das so nicht wirklich vorgesehen.
Für das Setzen dieses Codecs ist site.py verantwortlich, wo es auch bereits entsprechenden Code gibt, der aber mittels »if 0:« unbenutzt gemacht wurde.
Allerdings bindet site.py eine sitecustomize.py ein, sofern sie im PYTHONPATH existiert.

Also habe ich mir diese Datei erstellt:

import sys

sys.setdefaultencoding('utf8')

Jetzt werden alle Unicode-Objekte mit dem utf8-Codec in strings umgewandelt und es gibt keine UnicodeEncodeErrors mehr. disclaimer: Selbstredend wird dadurch in manchen Fällen die Fehlersuche erschwert! Wo es sinnvoll ist, sollte man weiterhin die Konversionen manuell machen!

Hintergrund: Die mitgelieferte site.py läuft bei jedem Python-Aufruf implizit und entfernt setdefaultencoding aus sys, wenn sie fertig ist.

Seit heute haben wir auf dem keks MySQL 5.0 im Einsatz. Zuerst sah alles gut aus, dann haben wir aber bemerkt, dass Umlaute manchmal (genauer: in manchen Webanwendungen) korrekt (als UTF-8), meistens aber falsch (latin1) codiert geliefert werden.

Nun, der Fehler hat uns nen halben Tag gekostet, aber das Problem ist geflickt (ich will es nicht »gelöst« nennen).

Und zwar war MySQL vorher (vor 5.0) einfach inkonsequent, es hat Daten angenommen und Daten ausgeliefert, allerdings nicht auf den charset geachtet. D.h. wenn man die Daten als latin1 eingespielt hatte und mit latin1 wieder ausgelesen hat, dann hat alles gepasst, wenn nicht, dann halt nicht. Offenbar kann das aktuelle MySQL nun mit verschiedenen charsets korrekt umgehen, allerdings erfordert es dafür zwingend die Angabe des Charset. Und zwar muss man nun nach dem Aufbau der Verbindung erstmal das folgende Kommando absetzen um UTF-8 zu bekommen:
SET NAMES utf8;

phpMyAdmin und MediaWiki scheinen das zu machen, fast alle andere Software nicht.
Als Workaround kann man das da in die [msqld]-Section der my.cnf setzen:
init-connect='SET NAMES utf8'