Павильон "Чайный домик" – сохранившаяся часть библиотеки, построенной в конце XVIIIв. князем Голицыными. В 1812 здание пострадало от французов и от крестьянского бунта, случившегося в том же году. В конце 1810-х библиотеку перенесли в западный флигель парадного двора.
В 1829 крылья библиотеки сильно пострадали при пожаре. В начале 1834 года князь Юсупов решил превратить ее в парковый павильон. Но работы возобновились лишь в 1838. В сентябре 1838 архангельская столярная мастерская приступила к изготовлению дверей для павильона. Деревянные двери и решетки к "Чайному домику" были сделаны и установлены в апреле следующего года. В 1840–1850-х годах павильон получил свое новое название – "Чайный домик".
В 1936 в интерьере павильона было установлено мраморное надгробие Юсуповой – «Ангел молитвы», перенесенное для хранения с могилы княжны Татьяны Николаевны Юсуповой при церкви Михаила Архангела. Отделочные работы в павильоне были окончены в 1939 году.
В 1952 году памятник был отреставрирован. Реставрационные работы павильона проводились также в 1999-2002 годах и 2017-2018гг.