吴姓有悠久的历史，钱塘吴氏，亦及源自浙江杭州岳官巷吴宅的吴氏，均出自姬姓，后以国为姓氏。周太王古公建周国（陕西岐山县），因喜孙姬昌（后周文王），晚年欲传位于三儿子季历，长子泰伯和次子仲雍自动让贤，远赴江南，以农为业。后由太伯建立勾吴国，太伯无后传位于仲雍。周朝建立后，武王封太伯第三世孙周章（仲雍孙子）为侯，改国号为吴。后被越国所灭，其王族子孙便以吴为姓。汉朝吴芮（长沙王）、唐朝吴少微（右台御史）、宋朝吴儆（大学者）均是岳官巷吴宅吴氏的先祖。
明万历年间，泰伯九十四世孙吴敏惠（恒吾公）游杭，创木业兼行淅盐商，定居杭州，为钱塘吴氏一世祖。时年，杭州城东橫河坝圯，抽分木之过会源坝者多阻滞，众病之。恒吾公独捐数万金，建坝于泥桥，增筑水門城楼。《通志》谓“至今称吴公新坝”者是也。
杭州岳官巷吴宅，是殳氏兄弟于明代万历年间（1600 年）始建。它是杭州现存规模最大、保存最为完整的明代古宅，占地七亩。殳氏兄弟之后，这座宅子五易其主。太平天国时期，这儿还被当做某王的王府。后来又被清军占领，设为军事机关。咸丰二年（1852 年），八世云贵总督吴振棫（时任潘司），从孙家购得此宅，并进行扩建，建成南北长 108 米、东西宽 67 米，三轴五进，占地 5700 多平方米的大型封闭式组合院落，自此吴宅之名一直传承至今，而吴家的后代也在这个宅子里生活到了上个世纪 90 年代中期。