Zaniklý sídelní celek se skládá ze dvou vsí - Horních a Dolních Neslív, tvrze v Dolních Neslívech, vodních děl a středověkých cest. Pojmenování vsí prošlo běhen času výraznou proměnnou. V době života osad jejich název značně kolísal: jsou doloženy tvary Nestev, Nestějov, Nestajov, Nestevec. Z tohoto důvodu se zde přidržujeme názvu Nestajov, neboť se užívá v dnešní literatuře nejčastěji.

Historické zmínky o Nestajovu se datují od roku 1361, kdy je uváděna ves a tvrz Nestev. V roce 1375 se jméno vsi objevuje v titulu Jiříka, svědka při prodeji poloviny lánu v nedalekém Kamýce. Část Hořejšího a Dolejšího Nestajova patřila podle údaje k roku 1379 k panství Heřmana z Litic, sídlícího na Lopatě, šest čtvrtí v Hořejším Nestajovu pak náleželo jistému Valterovi, jehož vztah k sídlu v Dolním Nestajovu je ovšem nejistý. Další zpráva pochází z roku 1392, kdy bylo provoláno s věnem zemřelé Běty, vdovy po Valterovi z Nezbavětic, i pět dvorů v Nestějově. Snad šlo o téhož Valtera jako v předchozím údaji. Později byly obě vsi připojeny k panství hradu Lopaty úplně. Stalo se tak asi již roku 1400, kdy ho král daroval Maršíkovi z Hrádku. Roku 1432, kdy byl hrad oblehnut a během čtyř měsíců dobyt husitskými posádkami západočeských měst v čele s Přibíkem z Klenové, předpokládáme násilný zánik vsí. V odůmrti po Habartu z Hrádku z roku 1457 je již zmiňován pustý hrad Lopata a dvě pusté vsi Nestevec menší a větší. Obě pusté vsi později trvale tvořily součást Šťáhlavského statku. Naposled jsou zmíněny roku 1623 v souvislosti s pobělohorskými konfiskacemi.

Název vsi se kromě toho od začátku XV.století mnohokrát objevuje v predikátu příslušníků rodů na Kutnohorsku, Mladoboleslavsku, Čáslavsku a jinde. V první polovině XV.století koupil Jan Chotuň Žehušice a založil rod Žehušických z Nestajova. Jeho bratr Zdeněk získal statek Chuchel na Čáslavsku a založil rod Chuchelských z Nestajova. August Sedláček předpokládá přestěhování rodu již před rokem 1390. Erbovním znamením obou rodů byl stříbrný korbel (část kola s loukotí) v červeném poli.

Stopy Dolního Nestajovajsou soustředěny především na západním svahu údolí Rakovského potoka. Na nízké terase nad nivou potoka se nachází kruhové tvrziště o průměru přibližně třicet dva metry, opevněné příkopem, se středovým pahorkem porušeným průzkumnou sondou F.X.France, který zde prováděl průzkum v roce 1880. Jednalo se nejspíš o první archeologický průzkum středověké vsi u nás. Při průzkumu nebyly nalezeny žádné stopy zděných konstrukcí. Zlomky keramiky datují život tvrze od 2.poloviny XIII.století do 1.poloviny XV.století.

K tvrzišti se na jihovýchodě váže rozměrná kupa, vysunutá do dna údolí, a na jihu a jihozápadě dvě skupiny pozůstatků středověkých objektů. Ke středověkému stavu náležejí vodní díla, která vzbuzují respekt svou mohutností: náhon a zejména rybniční hráz.