Этимология словосочетания, скорее всего, восходит к давним временам, когда у людей было всего несколько слов для обозначения количества (например, у папуасов Новой Гвинеи - до сих пор 7), а превышающее их количество обозначали словом "много" (или "более 7"). А китайский иероглиф 万 (вань, wàn) означает конкретно "10000", и по совместительству тоже просто очень большое число.