鼓楼横跨北院门大街之上。鼓楼和钟楼是一对孪生兄弟，相距仅半里，互相辉映，为古城增色。鼓楼是明洪武十三年（公元1380年）建成的，比当初的钟楼早建4年。楼基面积比钟楼楼基大738.55平方米，通高34米，雄杰秀丽不亚于钟楼。古时楼上悬挂一面大鼓，傍晚时击鼓向全城居民报时，故称鼓楼
    主持修建鼓楼的有长兴侯耿炳文、西安知府王宗周等人，据说是在微雨朦胧之中为鼓楼工程奠基的。清康熙三十八年（公元1699年）、乾隆四年（公元1740年）曾先后两次重修。据乾隆五年《重修西安鼓楼记》载，上年陕西小麦丰收，“陇有赢粮，亩有遗秉，民不俟命”，出现了“男娶女归，礼兴讼息”的太平景象，于是效法古事，重整鼓楼。长安县令王瑞具体负责修缮事宜。重修后的鼓楼，面貌崇隆敞丽，灿然一新。登楼远望，闹市风光、秦川景色历历在目。
    鼓楼呈长方形，分上下两层，基座宽38米，长52.6米，高7.7米，通体用青砖砌成。南北正中辟有券洞，供人车出入，高、宽均为6米。鼓楼主体建筑位于基座中心，结构为重檐、三滴水式。第一层楼上置腰檐和平座，第二层楼上覆盖绿琉璃瓦，属于重檐、歇山项式。上下两层面阔各为7间，进深均为3间，四周环有走廊。外檐和平座均饰有青绿彩绘斗拱，使楼的层次更为分明。以前在第三檐下，南北各悬匾额一块，南面为“文武盛地”，乃是在重修鼓楼竣工后巡抚（陕西）都御史赵可怀于明万历十八年（公元1580年）所题，北面为“声闻于天”，字大盈间，苍劲挺拔，相传是咸宁县“名儒”李允宽所书。两匾额毁于“文化革命”之中。
    古时击钟报晨，击鼓报暮，因此有“晨钟暮鼓”之称。同时，夜间击鼓以报时，“三鼓”，就是“三更”，“五鼓”就是“五更”，一夜共报5次。明代的西安城周长11.9公里，面积为8.7平方公里，鼓楼地处西安城中部偏西南，为使鼓声能传遍全城，就必须建造高楼，设置大鼓。明、清两代，鼓楼周围大多是陕西行省、西安府署的各级衙门，这些衙门办公和四周的居民生活都离不开鼓声，鼓声亦成为当时人们最熟悉的悦耳之声了。李允宽所书写的“声闻于天”的匾额，画龙点睛，说明了鼓楼的实际意义。现在楼内设有楼梯，登临楼上，凭栏便能眺望全城景色。西安鼓楼是城内明清建筑物的主要标志和代表之一。