Depuis 1120 pendant la dynastie des Song jusqu’à la chute de ka dynastie des Qing en 1911, la ville de Huangshan était située dans une préfecture connue sous le nom de Huizhou. Les passionnés du « Roman des trois royaumes », un roman historique chinois qui décrit la période de guerre de 220-280, seront ravis d’apprendre qu’une ancienne résidence du Général Caocao se trouve dans la région et qu’à ses environs ont été découverts neuf tombeaux de la famille Caocao. Sans tenir compte des évènements du troisième siècle rapportés dans le Roman des Trois Royaumes, on peut dater au milieu de la dynastie des Song (1120-1279) le début de l’importance nationale de Huizhou, importance qui devait se développer les six cents années qui suivirent. Sous le règne de l’Empereur Gao Zong (r. 1127-1187), la cour impériale plongea dans de nouvelles extravagances. En réaction à la menace d’invasion Jurchen, la capitale de l’empire fut déplacée à Hangzhou et un programme d’investissements publics importants fut mis en place. Quand la cour impériale s’installa en 1132, les marchands du Huizhou étaient là pour fournir le bambou, le bois, la laque et les artisans nécessaires à la construction des palais, pavillons, villas et temples. Ce boom immobilier fournit aux marchands les capitaux nécessaires pour investir dans de nouveaux secteurs et dans d’autres provinces. La rumeur se répandit bientôt que la location de Huizhou, entre la province du Zhejiang et celle du Jiangsu était la meilleure pour faire du commerce. Huizhou devint donc une route-clé de commerce et de communication, les marchands locaux se spécialisèrent dans le commerce du thé, des céréales, de la soie, du tissu, de la peinture, de la poterie, de l’encre et du papier. Le commerce, pourtant dédaigné par l’éthique confucianiste, devint un tel bienfait pour cette région jusqu’à présent marginalisée qu’il occupait plus de 70% de la population de la région pendant le règne de l’Empereur Jiajing (r.1522-1567). Ce ne fut néanmoins que lorsque les marchands du Huizhou se tournèrent vers les commerces plus profitables du sel et des prêts sur gage qu’ils furent capables d’accélérer leur expansion. Ils se répandirent dans tous les coins de la Chine et même dans certains pays d’Asie du Sud-est. Il est en effet dit que pendant le règne de l’Empereur Guangxi (1875-1909), tous les prêteurs sur gage étaient du Huizhou. En investissant dans le système éducatif de leur région natale, les marchands du Huizhou purent présenter beaucoup de candidats aux examens impériaux et donc influencer l’administration impériale. Entre 960 et 1911, pas moins de 2.018 personnes de la région atteignirent les plus hauts niveaux de l’Etat impérial. C’est ainsi que ces marchands avisés complotèrent pour maintenir leurs avantages commerciaux comme le monopole du commerce du sel. Après avoir acquis gloire et fortune, les marchands du Huizhou s’en retournèrent dans leur province natale et y investir leur gains sous la forme de constructions à grande échelle. Afin d’augmenter leur prestige personnel, d’honorer leurs ancêtres et de fortifier l’esprit de leur clan, ils firent construire les halls aux ancêtres, les maisons, les arches commémoratives et les ponts qui décorent encore aujourd’hui la belle région de Huizhou.