Récemment, j'ai utilisé un live-USB de Debian, tout était configuré par défaut en anglais. Pour changer les locales, en root, cela suffit :
dpkg-reconfigure locales
Pour changer le layout en français, il faut utiliser :
dpkg-reconfigure console-data
Attention, ce n'est pas pris en compte immédiatement, il faut relancer un shell, ou carrément rebooter la machine.