I 1166 udsendtes en gruppe cisterciensermunke fra Vitskøl Kloster. De havde fået til opgave at grundlægge en ny klosterstiftelse i Midtjylland på jord tildelt af den århusianske biskop. Munkene kom til at flakke om de næste 6 år, med tre forskellige bosættelser, inden de endelig i 1172 fandt frem til deres blivende hjem på en sandet landtange mellem Mossø og Gudensø.

Stedet kalder munkene for Cara Insula, hvilket betyder Den Kære Ø på latin. Navnet hentyder muligvis til, at klostret kom til at ligge på en ø, efter at munkene for at skabe en fast vandforsyning, havde anlagt et system af kanaler mellem de to søer. Ø-navnet kan også henvise til ideen om, at et klostersamfund var en Ø i verden, hvor munkene levede isoleret i forhold til resten af det middelalderlige samfund.

Ved midten af 1200-tallet havde munkene opført en klosterkirke og østfløj i munkesten. Tilsyneladende gik teglstensbyggeriet i stå i en længere periode, og genoptages ikke før i senmiddelalderen, hvor klostret atter synes at blomstre, og hvor der igen tilflydes stiftelsen donationer i form af gavebreve. I den mellemliggende periode må klostret foruden teglstensbygningerne have bestået af flere bygninger opført af lettere materialer som træ og bindingsværk.

Det fuldt udbyggede teglstenskloster med fløje og korsgange rundt om en fratergård, samt økonomibygninger udenfor klosterindelukket, som kan iagttages ud fra de bevarede fundamentrester blev først færdigbygget i senmiddelalderen, sandsynligvis kun ganske få årtier inden klostret blev nedlagt ved reformationen i 1536.

Til trods for klosterets nedlæggelse får munkene lov til at blive på stedet, hvis de undlod at praktisere deres katolske tro. Der måtte heller ikke optages nye brødre i klostret, så med tiden døde klostersamfundet ud. Den sidste munk, abbed Jens, forlod stedet i 1560. Herefter tog Kong Frederik II ophold på klostret for en kort periode, inden han beordrer ”Emsborg kirke og søvnhus” og andre unyttige huse nedreven og sten, tømmer og andet derfra ført til Skanderborg til opførelsen af bygningerne på Skanderborg Slotsbanke.