Думаю., что Игорь имеет ввиду не только дом, как строение, но и массу другого - женщина заполняет собой всю его жизнь - мысли , чувства, планы, дела, увлечения...Но , думаю, что это мужчине может надоесть...Хотя - не уверена...
"..думаю, что это мужчине может надоесть..." - а вот тут все зависит от женщины.. насколько она органично может войти в выстроенный им дом.. и не тесно ли им там будет вдвоем...