Это цитата сообщения ValeZ Оригинальное сообщение

Второй день пытаюсь разобраться в проблеме поиска в информации в целом и поиска в сообщениях дневников в частности. Пытаюсь индексировать 50Мб ваших текстов. Индексировать - это вычленить из них список всех слов и для каждого слова сказать - сколько раз оно встречается в этой куче текста и где именно оно встречается.

По ходу дела вижу, что слишком уж много получается слов. Думаю - надо пренебречь словами с ошибками, зачем ошибки индексировать и давать искать. Как понять, в каких словах ошибка ? А очень просто - надо найти все слова, которые встретились всего один раз. Уж правильно то написанные слова наверняка были написаны хоть дважды хоть двумя людьми.

Так вот казус в том, что не вижу я в списке этих одиночных слов почти ни одного неправильного. Люди, вы чего. Все с ошибками пишете ?)

приведу начало списка слов, которые редко (1 раз) встретились

слушающая зажравшийся браслета bistree встречаца восхищаешься протащив вводя мухосранске предсказываю хвастал ступивший pojti ирэна сиюминутная задубела переметнулись takaia покрою герцы седне язвительной беби съебаться коллоквиума excess поят недвижны смотаюсь производственное 690999 кипяточком бессонными оденем трупиком вершинах мармеладзе тенденциями опрошено талькова завыванием нейтральном разговорную перепиши вестником кариночку германского цокают гнул нелюдем ощипанного одернула полнометражных подопытных беспрерывной невмешательство обгорели объедками солёной спальниках влечений