На мисі Ай-Тодор на місці сучасного палацу в античні часи існував храм. Потім цю місцевість захопили племена таврів. Вже в ХІХ сторіччі тут зводиться садиба. На початку ХХ століття ці землі дісталися бакинському нафтовому магнату – барону В.Шнейгелю. На його замовлення в 1911 – 1912 роках створюється романтичний замок-палац, який своїми формами повністю відповідає назві «Ластівчине гніздо». Хоча сам автор називав його Палацом кохання.

Чомусь вважається, що споруда на скелі з'явилася у другому десятилітті минулого сторіччя. Насправді їй майже 130 років. Невідоме навіть ім'я першого власника – якраз того, хто наважився першим побудувати дачу на цьому скелястому п'ятачку.

Свій нинішній вигляд «Ластівчине гніздо» отримало завдяки нафтовому промисловцеві баронові Штейнгелю.

Проект нового будинку був замовлений інженерові і скульпторові Леоніду Шервуду, синові архітектора Володимира Шервуда, автора Історичного музею на Червоній площі в Москві.

У 1927 році Ластівчине гніздо мало не загинуло під час сильного землетрусу. Були два поштовхи серед ночі. Перший — слабкий, ніби застережливий, примусив людей вийти з будинків, що допомогло уникнути багатьох жертв. Другий поштовх ударив в повні дев'ять балів.

Тільки у 1967-68 роках, через сорок років після землетрусу, робочі «Ялтаспецстрою» виконали  ремонт, не розбираючи стін.

Керував операцією архітектор І.Г. Татієв.  Сьогодні відновлений замок офіційно визнаний пам'ятником архітектури минулого сторіччя.