Много вожусь с видео, перекодировками и форматами. Штука более чем нетривиальная и иногда, чтобы сделать нужный формат приходится делать два шага - что всегда плохо, если не по качеству, то по времени.
Вот собственно два суперхита для таких преобразований. Рекомндую:

Gspot http://www.headbands.com/gspot/v26x/index.htm
Suprer http://www.erightsoft.com/SUPER.html

Обе фришные. Если не помогли они, то скорее всего полная жопа...