霍去病，生于公元前140年。因为他是一个私生子，所以，他的幼年和童年生活痛苦而又奇特。
    霍去病的父亲霍仲孺是河东郡平阳县（今山西省临汾城区）人，受派遣到长安都城在平阳公主府当差的时候，卫青和他的三个姐姐卫君孺、卫少儿、卫子夫也在平阳公主府当差、当奴婢。卫氏三姐妹都长得漂亮、美丽动人。霍仲孺和卫少儿相互间产生了感情，有了私通。在卫少儿怀上了霍去病时，一次武帝来府内看望姐姐平阳公主，被卫子夫的美色所动，于是，武帝就把卫子夫接到宫内，后来成了皇妃直至皇后。
    卫少儿生下霍去病的时候，霍仲孺早已被打发回老家了。霍去病是在一群奴婢中长大的，生活在“低人一等”的境况之中。可是不久卫子夫进宫后，其弟卫青便当了朝廷的武将。卫青有这样显赫的职位，除了自己文武双全、人品厚重这一主要条件外，与皇帝是他的姐夫、皇帝姐姐平阳公主是他的情人、后来成了他的夫人，也有很大的关系。
    卫少儿凭着妹妹卫子夫和弟弟卫青的关系，自然可自由出入皇宫。有一次，卫少儿抱着不满周岁的儿子进宫去探望妹妹。宫内异常肃静，人们互相说话打招呼都悄声细气，蹑手蹑脚。卫少儿见状便不住地哄拍着孩子，生怕孩子哭闹。不料快到皇帝和卫子夫的寝宫时，孩子突然大哭起来，哭声震耳欲聋，被皇帝听到了，卫少儿吓得快昏过去了，只好静候这位皇帝妹夫发落。此时，武帝正躺在床上经受着重感冒带来的病痛，突然听到震耳的孩子哭声，惊出一身冷汗，顿觉身体轻松起来。他抬眼看到卫少儿跪在床前，等候降罪，就示意她起来，并叫她将孩子抱给他。武帝抱过婴儿，龙颜大悦，不停地逗着孩子，此时，这小子也眉开眼笑，武帝越发喜爱，遂问卫少儿：“这孩子叫什么名字？”卫少儿说：“还没有起上名字呢。”武帝眯起眼睛想了会儿说：“寡人近几天身体欠安，得了伤风感冒，不料这孩子几声大哭，惊得我出了一身冷汗，这病居然好了。因此，朕赐名与这孩子叫‘去病’怎样？霍，霍然迅捷，去病，除去祸根。”卫少儿叩头谢恩。霍去病，从此大名飞扬。
    霍去病的幼年和童年经受了没有父爱的痛苦，但因从小在皇宫里长大，又受到姨父和舅父的影响，很早就习文练武。因此，他在和同龄孩子们一起玩耍时，也表现非凡。
    当时，朝廷经常谋划怎样战胜匈奴，安邦治国。汉朝的军队在战略战术上，还是传统的那一套。虽不能说屡战屡败，但总是抵不住匈奴那种兵贵神速的偷袭战法。一夜之间，匈奴的军队就突袭到甘泉一带，待到汉兵出击时，匈奴部队又消失得无影无踪。对此，汉武帝刘彻一直想不出个好办法。有一天，他出来散步，偶然看到一帮孩子在玩打仗的游戏，便走过去看热闹。突然间，他听到一个男童大声命令道：“快上马，骑兵跑得比步兵快，守门的步兵要坚决顶住，追赶敌人的骑兵出发，有骑兵就可以追歼，要保证全胜。”武帝一听，喜出望外。这是谁在发号施令？原来是霍去病。此时，霍去病已长大了，武帝拉着霍去病的手，高兴地说：“好！好！真是一个霍去病，这下子又治了我的心病。”
    从此以后，武帝经常把霍去病叫到身边，教他学文习武，并交待卫青大将说，以后你还要好好带他练武，学习兵法。有一次，武帝和卫青大将军一起看霍去病练武，霍去病那雄姿英发的气势和过硬的身手，着实让武帝喜爱，他对卫青说：“你看，去病将来是要做大将的，好像他生下来就是大将的料。”卫青答道：“承陛下对他厚爱，可我总觉得去病不是福相。”
    “你这是啥话？”武帝听卫青这么说很不高兴，又补充说，“要去病有无富贵，不是在朕吗，我会让他一生富贵不尽的。”
    武帝和卫青说话之间，霍去病已来到他面前，并请示皇帝说：“陛下，我要让内侍穿胡儿的衣服。”
    “这又是做什么？”武帝奇怪地问他。
    “去病，休得胡闹。”卫青大声斥责外甥。
    但霍去病却固执地要这么做，武帝便依了他。于是内侍穿上了胡儿衣服，和霍去病一起玩的一个朋友叫董偃，不知深浅地也穿上了胡儿衣服，他们就一起走了。武帝和卫青不知他们要干什么。过了一会儿，突然董偃没命地喊爹叫妈地跑了过来，随后又一个内侍也跑来报案，说霍去病随便要杀人啦。武帝、卫青吃了一惊，心想霍去病一个十来岁的孩子怎么胡乱杀人。举目望去，只见霍去病骑着一匹白马，手持长矛，正在追杀董偃。其实，霍去病并不是真要杀他，要不然他就逃不到这里了。最后，还是皇帝下令，霍去病才住了手。
    此时，霍去病不慌不忙地下了马，跪在皇帝面前说道：“陛下，我杀的是匈奴，你看，他们穿着胡儿衣服，和匈奴有什么两样。”武帝听了，非但不怒不恼，还着实地赞扬了霍去病：“你小小的年纪，就有如此大志，吾大汉王朝有望矣。”
    公元前123年，边郡传来消息，匈奴万余骑兵袭击代郡。代郡郡守朱央虽早已得到匈奴蠢蠢欲动的消息，但因防范不严，结果城破，被匈奴掠走边民1000多人。
    就在这个时候，大将军卫青却因气不顺、体不适，和人酣斗受了点伤，所以当武帝找他来商讨对策时，他昏头昏脑，毫无准备。武帝传御医来给卫青诊断，却诊不出有什么病。于是，武帝认为卫青可能对自己不满，问他，他又不说。武帝一气之下，让卫青回去了。自言自语地说：“难道不用你卫青就打不了胜仗啦。”于是，他立即进行部署：合骑侯公孙敖为中将军，翕侯赵信为前将军，卫尉苏建为右将军，再调李广为后将军，左内史李沮为强弩将军，又任命张骞为向导，暂由李广代行统帅之职。这次出征作战，结果令武帝大失所望，他说：“朕十万大军劳师远征，却只斩了千余首级，甚至没有真正交上一仗。”武帝正在恼火之时，霍去病在一旁竟大胆说了一句：“这次无功退军，只因无大将军统帅大军，陛下，鸟无头不飞，蛇无头不走啊！”武帝感叹道：“不错，去病，你何时能为朕分忧？”
    “陛下，我的战马已备好了鞍，我的兵器已磨得锋利，我的行装已准备就绪，只待陛下一道圣令了。”霍去病信心十足地向皇帝请战。武帝听了虽然十分慰藉，但还是心疼地说：“去病，你才只有17岁，我朝历来还没有17岁的将领。”但是，武帝看他求战心切，斗志极高，从锻炼的角度考虑让霍去病随卫青先后出征了两次。