灵山卫古城位于黄岛西部，小珠山南麓。灵山卫始建于明朝洪武五年，洪武5年右丞相魏国公徐达，派遣指挥佥事朱兴来此建造土城，灵山卫下辖三个千户所，以防倭寇。
灵山卫是明代开始的海防工程，始建于明朝洪武五年，当初是为了抵御倭寇袭扰而修建的沿海军事重镇。
它起源于明代特有的军民合一的管理体制。
卫所制度是明朝的一种主要军事制度，为明太祖所创立，其构想来自于隋唐时代的府兵制。
按照明太祖朱元璋的设计，“跨府设卫，连县设所”，灵山卫由当时的莱州府管辖，浮山所、雄崖所属于鳌山卫，灵山卫下辖后所在胶州，前所位于现琅邪镇夏河所，左所在灵山卫城内。
往南就是青州府所辖的安东卫，下辖左所石臼所、后所涛雒所，右所安东卫本所。
沿着中国东部沿海，东到鸭绿江口的丹东卫，南到广东的番禹卫，最盛时有58卫、89所，绵延4000余公里，构成了东南沿海的防御链条。
这些卫均隶属山东都指挥使司，由都指挥使司直接指挥。
沿海各地残留的卫所仍有很多，历经沧海桑田的变化，仍有许多遗址存世。