1714. aastal ostis Peeter I Drentelnidelt nende suvemõisa ja ligikaudu sada hektarit maad Lasnamäe nõlva all. Nii sai temast ka endise raesekretäri Heinrich Fonne 17. sajandist pärineva suvemõisa omanik.

22. juulil 1718 mõõtis arhitekt Niccolò Michetti koos Peeter I-ga maha lossi ja aia plaani. Michetti planeeris pargi ja lossi kolmeosalisena Itaalia villade eeskujul.

1719. aastal said katuse alla tiibhooned, 1720-1721 ehitati peahoone ja põhiosas valmis loss 1725. aastal.

Nimi Katharinenthal (Kadriorg) võeti senise Fonnenthali asemel kasutusse alles 1740. aastatel.
 
Laemaal Kadrioru lossist

Aastal 1921 asus lossi Tallinna Eesti Muuseum, mis reorganiseeriti 1928 Eesti Kunstimuuseumiks.

Aastal 1929 võeti Kadrioru loss kasutusele Eesti riigivanema (alates 1938. aastast presidendi) residentsina. Hoone restaureeriti 1933–1934 ja 1938 valmis tema juurde Alar Kotli projekti järgi ehitatud Kadrioru administratiivhoone. Arhitekt Aleksander Vladovsky projekti järgi ehitati juurde banketisaal ning arhitekt Olev Siinmaa kavandite järgi kujundati mõned ruumid ümber rahvusromantilises stiilis.

Alates 1946. aastast on loss jälle Eesti Kunstimuuseumi käsutuses.

22. juulil 2000 avati renoveeritud Kadrioru lossis Eesti Kunstimuuseumi filiaal Väliskunsti Muuseum.