春秋战国之前，一些北方的游牧民族，如匈奴和东胡人在今天的内蒙古地区游牧生活。战国后期，燕国、赵国、秦国的领土已经拓展到今天的内蒙古地区，中原的华夏民族开始在内蒙古南部定居。如赵武灵王在今呼和浩特托克托县境内始建云中城。"赵长城"经过呼和浩特北面的大青山。燕将秦开击败东胡之后，构筑"燕北长城"，在今内蒙古赤峰市南建右北平部，治所在宁城。秦朝、汉朝在今天的内蒙古地区设立郡县。秦朝修筑万里长城，连接从前各国的长城，以防御匈奴。内蒙古南部，如云中郡，是边防重镇。而北部塞外主要是匈奴人和乌桓、鲜卑等东胡人的领地。西汉王朝建立后，匈奴是汉民族和平生活的重大威胁：几十次入侵边境，攻城屠邑，掠夺财物和大量人口，给西汉北方地区民众带来沉重的灾难。西汉前期对匈奴和亲，但匈奴仍然大举入侵，西汉皇帝和人民对匈奴的屡屡犯境，被迫出军还击。西汉时汉武帝对匈奴的战争取胜，匈奴势力北迁、西迁。在整个汉朝及其后的五胡十六国、南北朝时期，南匈奴人和东胡人逐渐和华夏民族融和，形成今天的汉族的前身。公元前129年2月， 匈奴入上谷郡，杀略吏民。以太中大夫卫青为车骑将军出上谷郡，太中大夫公孙敖为骑将军出代郡，太仆公孙贺为轻车将军出云中郡，卫尉李广为骁骑将军出雁门郡，各万骑，咸击匈奴。卫青至龙城。公元前一一九年，卫青从定襄，霍去病从代郡，向匈奴总攻。卫青兵团深入匈奴汗国五百公里，伊稚斜单于大败。卫青追击到寅颜山的（外蒙古哈尔和林西南）赵信城。霍去病兵团深入沙漠一千余公里，灭七万余人，霍去病追击到狼居胥山（蒙古肯特山）。 汉朝在今天的内蒙古地区设立郡县。如西汉（前127年）设置五原郡，辖境相当于今巴彦淖尔盟东部、包头市和鄂尔多斯市（伊克昭盟）达拉特旗、准格尔旗等地。三国时期著名将领吕布就出生于此。后内蒙古南部大部为从北朝北魏直到隋朝是中国领土。