В системах RedHat для этого нужно просто сменить default runlevel с 5 на 3 в файле /etc/inittab, после чего система будет грузиться в текстовом режиме, однако в Debian придется сделать любую из двух вещей:
Либо эту
askar@viking:$ mv /etc/rc2.d/S30gdm /etc/rc2.d/K70gdm
Либо эту
askar@viking:$ mv /etc/rc2.d/S30gdm /etc/rc2.d/s30gdm
Вместо gdm у вас может быть kdm или xdm, сути это не меняет.
P.S. По материалам статьи Distro Choice: Based on Using runlevels, в которой можно найти подробности о механизме уровней запуска в Debian.