历史上南浔曾是富可敌国的重镇，单靠两个“粮仓”而造福九州百姓。明万历至清中叶，南浔经济空前繁荣鼎盛，清末民初已成为全国蚕丝贸易中心，民间有“湖州一个城，不及南浔半个镇”之说。富豪达数百家，那时候喜欢用动物形体的大小来衡量一个家庭的财产，一千万两以上家产的称为象，五百万两以上的家产称为牛，一百万两以上的称为狗。而就这么一个小小的古镇里居然有“四象、八牛、七十二金狗”，难怪被称之为巨富之镇。尤其是“四象”留下的各种文化遗产，可以说支撑起了整个南浔的文化底蕴和古镇灵魂。甚至还有民谣曰:“刘家的银子、张家的才子、庞家的面子、,顾家的房子。”可见其影响之大。四象之首——刘家刘镛
据传刘镛的财富达二干多万两银子之多，被誉为四象中“刘家的银子”。当刘镛发迹后，深感列祖以来，都缺少文化，虽有财，但无禄，不上门第，故亟力教子读书，应试科举，使他的四个儿子都能进入仕途，刘镛也因儿子的及第，恩封为通奉大夫，达到了荣宗耀祖的目的。刘镛还把女儿嫁给一品大学士徐甫的儿子为妻，另一个女儿嫁给蒋锡绅之子清学部总务司郎蒋汝藻为妻，使刘氏更加光耀了门第，在南浔成了一户有钱有势的大户。
刘锦藻
原名刘安江，是刘镛的第二个儿子，字澄如，蓄志励学，按照其父走科举之路的理想，终成一代饱学之士。他于清光绪十四年1888年乡试中举，光绪二十年1894年与南通张謇同榜登甲午科进士，成为南浔刘氏第一个在科举上成功的人。1899年其父去世后，他回南浔奔丧，办理家乡慈善事业，从此不再北返，挑起了家族事业的重担。
四象其二——张家张颂贤
据传他的财富仅次于刘家，占四象之第二位。字竹斋，祖籍徽州休宁，其父张维岳在南浔开一小酱盐店为生。张维岳有两个儿子，张颂贤为老二。张颂贤善经营，遂从事丝业后，全力经营辑里丝出口业务，并开设了“张恒和丝行”，营丝发家后，又着眼于盐务，为盐业界巨头。张颂贤有二个儿子，长子张宝庆，字质甫；次子张宝善，字定甫。
张石铭
名钧衡，字石铭，系张宝庆的独生子。张钧衡光绪二十年中举人，承袭祖业后，经商有方，产业盛丰。他奉母至孝，在自家宏丽的园林“适园”内，为母建佛堂，供玉佛，让母焚香拜佛，还建造一座石塔，篆刻唐柳公权书《金刚经》。
张静江
名增澄，又名人杰，字静江，号饮光，另号卧禅，系张颂贤次子张宝善之子。张静江早年参加孙中山所领导的同盟会，为革命捐款效劳，孙中山先生曾说过：“自同盟会成立后，始有向外筹资文举，当时出资最勇而多者张静江也。但其巴黎之店所得六七万元，尽以助饷。”是国民党四大元老之一。
四象其三——庞家庞云鏳
字芸皋，也为丝业行学徒出身，故通晓蚕丝经营之道，发家后，开设了“庞怡泰行”，在经营中，结识了杭州胡庆余堂国药店老板，人称“红顶商人”的胡雪岩，在合伙做蚕丝生意的同时，还与胡雪岩同做军火生意，为左宗棠向洋商购买军火。庞云鏳有官场朋友的帮忙，后又通过李鸿章，使儿子庞元济在光绪十七年得慈禧太后旨恩赏举人，特赏庞云镨一品封典，候补四品京堂，恩赠荣禄大夫，光禄大夫之称，故被誉为四象中“庞家的面子”之美称。
庞元澄
原字清臣，后改青城，号渊如。他致力于教育和创办医院，并提倡西医。光绪三十二年在上海捐款支持马相伯为抗议帝国主义势力干涉我国教育，创办复旦公学，青城列名复旦公学募捐公启。元澄也是孙中山所领导的同盟会会员，是同盟会上海支部核心人物之一。
庞元济
字莱臣，别号虚斋，光绪六年秀才，授例刑部江西司郎中之职。镇人都称他庞莱臣，他善于绘画和古画鉴赏，为国内外有名的古画鉴赏家和收藏家。解放前，中国古代书画只要盖有庞虚斋的鉴定印章，就可认定是真品，连外国收藏家也愿以重价购买。
四象其四——顾家
顾福昌
顾福昌早年的家境也属清贫，弃学从商，起初摆个布摊。后至南浔邻镇江苏震泽开小布店为生，兼营蚕丝后发家，与洋人往来后，遂成为上海早期的丝通事，经理洋务。并开设顾丰盛丝号，属南浔丝商中发迹最早的一家。顾福昌经营蚕丝致富后，又经营了当时上海滩上唯一的外洋轮船码头——金利源码头，并成了怡和洋行买办和怡和打包公司经理，还大做房地产生意，被誉为四象中“顾家的房子”之美称。