Il castello di Linderhof è il più piccolo dei tre palazzi costruiti dal re Ludovico II di Baviera e l’unico che visse per vedere completato. Ludwig conosceva la zona intorno a Linderhof fin dalla sua giovinezza, quando aveva accompagnato suo padre, il re Massimiliano II di Baviera, nelle sue battute di caccia nelle Alpi Bavaresi.
Quando Ludovico II divenne re nel 1864, ereditò la cosiddetta casa reale da suo padre e iniziò ad ampliare l’edificio nel 1869. Nel 1874 decise di abbattere la casa reale e ricostruirla nella sua attuale posizione nel parco. Allo stesso tempo, tre nuove stanze e la scala sono state aggiunte al rimanente complesso a forma di U e la precedente facciata in legno è stata rivestita con facciate in pietra.
L’edificio è stato progettato nello stile del secondo periodo rococò.
La Grotta di Venere è completamente artificiale ed è stata costruita per il re come illustrazione del primo atto del «Tannhauser» di Wagner. A Ludwig piaceva remare sul lago con la sua barca cigno d’oro, ma allo stesso tempo voleva la sua grotta azzurra di Capri. Furono quindi installate 24 dinamo e quindi era già possibile ai tempi di Ludovico II illuminare la grotta con colori cangianti.
Il chiosco moresco è stato progettato dall’architetto berlinese Karl von Diebitsch per l’Esposizione Internazionale di Parigi nel 1867. Ludovico II voleva acquistarlo, ma fu impedito dal re delle ferrovie Bethel Henry Strousberg. Ludwig acquistò il padiglione dopo la bancarotta di Strousberg. Il mobile più notevole di questo edificio è il trono del pavone.
La casa marocchina è stata effettivamente costruita in Marocco per l’Esposizione Internazionale di Vienna nel 1873. Il re lo acquistò nel 1878 e lo ridipinse in maniera regale.