「素書樓」命名源於錢先生無錫七房橋五世同堂之故居，母親居所「素書堂」，為紀念母親生養之恩而命名。錢先生在其間講學著述不斷，成就甚高，有人在「素書樓」聽課，一聽就是二十年，由學生聽成教授後，再帶學生來聽。錢先生在課堂上總是神采飛揚，讓聽者感受到中國文化之博大精深，並深受感動，也難怪先生的講堂每每座無虛席。

居住二十二年後，先生以九十六高齡遷出，另覓居所，不幸在數月後滆然辭世。自主人遷出「素書樓」，閒置年餘，政府遂有闢為紀念館之議。台北市立圖書館於民國八十一年元月六日正式將「素書樓」闢為紀念館。由於房舍年久失修，台北市政府於民國進行修繕工程。民國九十年十二月三十一日由台北市政府文化局委託東吳大學經營，並於民國九十一年三月二十九日重新開館。