مشهور است ناصرالدین شاه هر روز به بالای شمس العماره می رفت و از آنجا شهر را تماشا می کرد. اما شمس العماره اولین بنایی بود که به غیر مسجد، از دیگر خانه های مردم بلندتر بود و به خانه آنها اشراف داشت. همین احساس ناامنی مردم، بلای خوش گذرانی های شاه شد.
در خاطرات ناصرالدین شاه آمده است که شکایت مردم باعث شد که بسیار کمتر برای تماشای شهر به شمس العماره برود.
