Уф, поборол проблему.
И вот, как я этого добился.
Ядро скомпилировал с поддержкой framefb, в конфиге груба прописал
vga=796 video=vesafb:ywrap,mtrr
Вот собственно и вся премудрость. Но с ядром 2.6.15 работать на хотело. Но работало с 2.6.14 и с 2.6.16.
