各种古籍记载来看，张家港香山自古以来就是风景胜地，曾以“香山十八景” 闻名遐迩，和香山有关的传说、诗文和故事，还有大禹王、姜尚、苏东坡、张士诚等等，人文积淀深厚。从香山可以俯视长江，自古以来也是军事要地，“左控姑苏之雄，右据毗陵之胜”。山上目前还有古老的藏军洞、烽火台等古军事遗址，沿着香山的采香径上山，就能看到这些古迹。
在香山的山顶，有规模较大的聆风塔与香山寺。聆风塔八面九级，明清楼阁式样的江南宝塔，可以登塔远眺，塔上视野极为开阔，景色壮丽。
远远眺望，可以看到北面长江岸边的国际贸易商港张家港港，以及全国唯一的内河港型保税区张家港保税区，长江里的双山岛也清晰可见。
山上有香山寺，最老的香山寺约建于东汉末年，距今已有1700多年的历史，是江南七十二大寺之一，历史上有“佛门圣地”之称，但原寺早已湮没。目前看到的香山寺，是在1994年在元师祖殿庙基上扩建而成，寺庙内建筑较多，各有特点，有一个很大的五百罗汉石龛，寺庙楼阁中还供奉有舍利，在附近山里，还能看到有高僧的塔林。
