Недавно при переезде на новую версию debian со стабильной ветки на экспериментальную сломались у меня X-ы. Чего только не делал, сдавил и удалял драйвера nvidia, откатывался назад, ничего не помогало - при старте gdm графика отваливалась, с какой-то невнятной ошибкой.
Методом проб и ошибок установил, что дело в конфликте дебиановского пакета nvidia и родных драйверов nvidia, взятых с сайта. Что еще раз подтверждает мысль, что лучше не засорять систему сторонними пакетами, а все делать через apt.
В общем что было. Дело в том, что в директории автостарта, или как там она называется по русски (/etc/init.d/) где описываются скрипты которые последовательно вызываются ядром при старте, остались после дебиановского пакета загрузочные скрипты, которые пытались загрузить свои пакеты, что приводило к краху загрузки родных драйверов. После удаления ставших уже не нужными ссылок на несуществующие пакеты nvidia-glx все заработало.
Редактировать скрипты (вернее удалять или добавлять ссылки на них в автозагрузку) можно с помощью команды update-rc.d(8)

p.s. почему не ставил драйвера из пакета, потому что в моем 64 разрядном дистрибутиве данные пакеты были поломаны, не хватало glx пакета, как это решить стандартными способами я не знаю, поэтому воспользовался инсталлятором с сайта nvidia.com
При компиляции от туда тоже надо быть внимательным. Так система модулей в линукс требует, чтобы модули были скомпилированы той же версией gcc что и ядро системы. У меня в результате перехода на тестовую + экспериментальную ветку, это хронически не выполняется, в системе стоит gcc на одну версию новее, чем образы ядра, устанавливаемые через apt из репозитория. В итоге модуль видеокарты опять же не хочет загружаться. Выход - собрать ядро на своей машине. После этого все работает