Для программеров: array_unique(), а потом sort(), так быстрее. Намного.
Для любознательных: да, да, да! в ВМ на целых 5 тысяч больше слов, чем в ТД.

Определение слова	Война и мир	Тихий дон
С дефисами	49267	44867
Без дефисов	48565	44290

upd bonus: слова, как ни странно, почти не пересекаются. Всего 78288(76980) уникальных слов. WoW.

У кого есть в электронном текстовом виде Росмэновский Гарри Поттер? Да, именно Росмэновский*злобно ухмыляется*