明万历二年甲戌（1574），孙继皋举廷试一甲第一，时年二十五岁。他及第显贵后，御史谈恺拟将自住的园宅相赠。该园宅系谈恺解组归乡后精心构筑而成，名万备堂，为当时无锡城中第一胜处。孙继皋辞谢不成，遂作价买下部分房屋。至万历中叶，由朝廷出资扩建门庭，号为少宰第，原在小河上，今为崇宁路52号。以后宅东一隅分属秦氏，园及万备堂又割主让给王氏。

少宰第门楼坐北朝南，面临六箭河，俗称“小河上”。门前原有照壁，后被毁，未再建。前有上马石，在扩建崇宁路时被迁移。大门两旁有墙四面，八字分开。门楼斗拱数重，单檐歇山翘角，黑漆大门两扇，左右盘跎石各一，大门左右有楹联曰：“尚书清节衣冠后，吏部文章日月光。”门头上有一竖匾“状元及第”，门楣上有一白底黑字横匾“少宰第”。因孙继皋曾任吏部侍郎，明清时称吏部侍郎为少宰，故有此称。1935年前，该宅曾彻底大修过，1960年无锡市政府又出资重修，直到“文革”，历经四百多年。

少宰第东邻秦氏章庆堂。相传清乾隆时，秦氏先祖立朝为大臣，弘历南巡，临幸其家，鸾驾及门，秦府人等跪迎，上问：“尔西邻亦是簪缨世家，想今已子孙零落？”秦答：“其家人丁兴旺。”上曰：“既是子孙众多，何以门楼破败至此，不加修葺？”皇上金口玉言，这么一说，遂得奉旨修葺门楼，不使败坏。这虽然是传说，但门楼之建，封建社会有严格规定，而孙氏是有这个资格的。

清制官绅府第，从大门而大小厅事，重重建筑均在一中轴线上。而明制官三品以上，进大门必有院落一曲向西，然后再由南向北，成一中轴线。少宰第布局，正是如此。

大门内一长方院落，迤西向北，立一牌楼，左右石狮两个。牌楼上南面为“尚书”、北面为“学士”，族人通称为学士牌楼。过牌楼有一院落，东边为宗伯公家祠，内有百年古柏两株。西边族人两户，再进为轿厅，中立一“福”字墙门，里人呼为“家堂下”，“家”读如“姑”音。“福”字墙门平常紧闭，人从左右进出。厅东为孙继皋长房（源孝）祠堂，厅西为孙继皋二房（源忠）祠堂，厅两旁立衔牌十馀对，红漆金字，有“状元及第”、“礼部尚书”、“闽浙总督”、“广西巡抚”、“父子翰林”等等。孙氏每届婚丧，旗伞排道出行，必以衔牌数对前导，以炫耀家世。邑中轻薄子嘲曰：“孙家何所有，抄灰板特多耳。” “抄灰板”乃是灶下扒灰之木制工具。厅北门两旁置立灯一对，东弄堂起于此，进厅门即为小厅院落。

小厅内悬四匾，后楹为“锡羡严疆”。左右间为“重宴鹿鸣”、“笔生甘露”。前楹曰“含香伟望”。但知“锡羡严疆”是二房文靖公孙尔准封疆事，馀三匾文，不知是何代祖宗的故实。东弄堂东为四房笨庵公孙源文家祠，院落西侧为孙尔准家祠，小厅西侧为仲襄公孙思慎诸子所居。小厅后轩，西弄堂起于此，后轩左右各有天井。

再进，则为大厅院落，有百馀平方米，东西各植梧桐一株，亦数百年物，枝叶茂盛，荫天蔽日，其根系尤发达，盘根错节，故院内砖砌地面，多处碎裂，高低不平，且已延伸至大厅台阶及屋基下。1935年前大修，不得已只能将两株梧桐锯掉，重铺地砖。

大厅三楹，宽约七丈，深有五丈，厅正中一匾，曰“鼎元铨宰”，宗伯公任吏部郎侍时御赐。左右高悬两诰命箱，厅前楹一匾，曰“国封人瑞”，系宗伯公曹夫人九秩寿辰御赐，曹氏寿至九十四岁。中堂一幅，缘由勖三公孙显所绘之鹊松图，后被窃；改由寒厓公孙揆均书，节抄宗伯公《先儒林行状》，文曰：“吾父为人甚质，绝不解人间世有所设机锋械巧，亦绝不解有甘言便利，可欺可逝，勿羡勿援。”“总之，不欲有一念欺人，一言忤人，一事先人。”左右楹联两副，一曰：“时雨庆云，斯人所望；金章玉质，希世之珍”；一曰：“华国文章，六经根柢；传家孝友，百世箕裘。”又抱柱联曰：“有名宦，有醇儒，毕竟诗书能裕后；事睦恤，事任信，愿凭忠厚其传家。”中堂、对联皆为木质彩漆。大厅中堂楹联下方，置长案桌一张，前两方桌横置，厅中间两旁各有三椅两几成排，方桌几椅均成联体，不可搬动。大厅三间均落地长窗，窗北厅侧各有一门，通东西弄。厅北亦有两门，一门进厅后轩三间，轩后一院落；一门又通西弄，门旁厅后又房一间。

大厅东弄东边，有花厅一座，曰敦让堂。前有庭院，院内有假山，上盘紫藤一本，堂南即空地一方，边长约五六十米。族中原有小学一所，即勉强初小，或称孙氏小学，族中子孙均免费，亦收外姓子弟，略收学费。敦让堂作教室，室中纵向双人座四行，设一、二、三、四年级。教师两人，亦族人担任。大厅翻轩，即教师办公室。教室南之方场，即学生操场也。

孙氏小学，不知何年停办。日寇侵华，无锡沦陷，一时城内烟赌嫖三毒猖獗，乌烟瘴气，民不聊生。当地汉奸头目，遇有红白事都来少宰第举行，在大厅设赌局，大门、仪门都有宪警守卫，族人出入，一一盘查。族人不堪其扰，遂将大厅、花厅等租与他人，办一中学，厅上匾对，以纸糊封，后得相安无事，这所中学大约一直存在至“文革”前。

东弄往里，为乌门前，内一大院，又有祠堂，祀朴斋、子价两公，系老二房祖先，内有屋多间。东弄堂至乌门前，成一横弄。西经一露天弄堂，有一大铁锅之澡房，供族人洗沐。再进而至穿堂下，乌门前东弄再向东再进，颇深暗，南有一野园，亦有数百平方米，杂生草木，瓦砾成堆，不知为何房子孙所有。曲折前行，两旁多屋宇，直至后门，出为露天弄堂，数十步后，即为小娄巷。大率东弄一边，均二房子孙所居。

两弄堂自大厅后进，弄西一大院，居四五家，乃大房梅庵公孙其业之子孙。北进一院房宇，四房觐南公居。右折即穿堂下，出而天井数重，东为来鹤楼，俗称“洋房里”，系孙揆均曾祖宅；西为与龄公孙寿昌家；最后为张士芳家，出即小娄巷，旁亦有一后门。此数家皆四房子孙，少宰第布局大概如是。

1966年“文革”初期，“状元及第”和“少宰第”匾额被砸毁。“文革”结束后，在此建造无锡市中级人民法院，少宰第主体建筑被全部拆除，仅存“少宰第”弄堂一条，以及弄堂底西侧附房两幢和东侧来鹤楼，均为晚清时所建。