1963年，吉姆·哈勃出生于美国俄亥俄州的港口城市托莱多（Toledo, Ohio）。他的母亲是义大利西西里岛和波兰的混血。他的父亲杰克·哈勃（Jack Harbaugh）是德国和爱尔兰的混血，也是一位橄榄球教练。杰克先是执教一支托莱多的高中球队，后来前往了安娜堡（Ann Arbor），成为了薄·辛巴克勒麾下的一位助理教练，为密西根大学效力。吉姆也跟随父亲前往安娜堡生活。吉姆的哥哥约翰·哈勃（John Harbaugh）也是一位橄榄球冠军教练。

1983年，吉姆·哈勃被密西根大学录取，主修传媒。同时他也成为密西根大学狼獾队（Michigan）的一名球员。1984年，吉姆·哈勃成为了密西根大学的首发四分卫，然而赛季未过半，吉姆就在对阵死敌密西根州立大学斯巴达人队（Michigan State）的比赛中因伤离场，赛季报销。1985年，吉姆返回赛场，每场比赛都作为主力四分卫首发登场。他率领密西根大学狼獾队连克强敌，夺得十大联盟的联赛冠军，并在圣日碗比赛（Fiesta Bowl Game，NCAA系列碗赛之一）里击败了内布拉斯加大学玉米收割机队（Nebraska），夺得了冠军。最后密西根大学的总成绩在1985年是全国的亚军。1986年是吉姆·哈勃在密西根大学作为球员的最后一年。大四的他率领球队又一次连克强敌，击败了宿敌俄亥俄州立大学七叶树队（Ohio State），夺得联赛冠军。然而在玫瑰碗比赛（Rose Bowl Game）里，他率领的密西根大学不敌亚利桑那州立大学太阳恶魔队（Arizona State），屈居亚军。

1987年，吉姆·哈勃获得了密西根大学文理学院（LSA）的学士学位，从密西根大学毕业。随后他加盟了NFL的职业球队——芝加哥熊队（Chicago Bears）——成为了职业的橄榄球运动员。从1987年到1993年，吉姆·哈勃在芝加哥熊队效力了7个赛季。他第一次亮相是在1987年芝加哥熊队对阵圣路易斯红雀队（St Louis Cardinals）的比赛，然而在那场比赛中他发挥得非常不好。随后他也持续低迷了一段时间。直到在对阵旧金山49人（San Francisco 49ers）的比赛里，吉姆·哈勃才发挥出了应有的水平。

1988年，吉姆·哈勃在对阵洛杉矶公羊队（Los Angeles Rams）的比赛里获得首发，但发挥不尽人意。然而一周之后，在对阵底特律雄狮队（Detroit Lions）的比赛中，吉姆·哈勃证明了自己，也率领球队获得胜利。1991年，吉姆·哈勃第一次获得在季后赛里登场的机会。但是在那场比赛里，芝加哥熊队输给了达拉斯牛仔队（Dallas Cowboys）被淘汰出局。

1994年，吉姆·哈勃转会到了印第安纳波利斯小马队（Indianapolis Colts）。1995年，哈勃发挥出色，率领小马队杀进了AFC分区的决赛。然而在决赛里，小马队不敌卫冕冠军圣迭戈闪电（San Diego Chargers），未能晋级超级碗。这一年他获得了NFL的MVP球员选举中的亚军。1996年，吉姆·哈勃率领小马队又一次获得季后赛的外卡，然而被卫冕冠军匹兹堡钢人（Pittsburgh Steelers）淘汰出局。

1998年，吉姆·哈勃转会到巴尔的摩乌鸦队（Baltimore Raven）。他在乌鸦队当了一年的主力四分卫，然而最后乌鸦队并未获得好成绩。1999年，吉姆·哈勃再度转会，加盟了圣迭戈闪电。他在圣迭戈闪电效力了两个赛季。2000年对阵迈阿密海豚（Miami Dolphins）的比赛是吉姆·哈勃作为球员上场参赛的最后一场比赛。2001年吉姆转会底特律雄狮队，赛季里又交易转会卡罗莱纳黑豹队（Carolina Panthers）。在这两支球队，他六次入围大名单，但都没有获得上场的机会。

吉姆·哈勃于2001年赛季结束后退役。他决定继承父亲的衣钵，成为一名教练。他的父亲杰克在离开密西根大学以后，辗转成为了西肯塔基大学登顶者队（WKU）的教练。1994年开始，吉姆就加盟了父亲所在的西肯塔基大学当上了一名非正式的助理教练。2002年，他加盟了NFL的奥克兰突袭者队（Oakland Raiders），当上了专门负责训练四分卫的助理教练。在他的训练下，突袭者队的四分卫里奇·甘农（Rich Gannon）发挥出色，率队挺进了超级碗，并赢得了年度的MVP。

2004年，吉姆·哈勃在圣迭戈大学徒步斗牛士队（San Diego）当上了主教练。第一个赛季他率队在赛季后半程获得了五连胜。2005年第二个赛季，他率队夺得了先驱者联赛的冠军。2006年，他率队卫冕了先驱者联赛的冠军。圣迭戈大学的球员和球迷把哈勃视为校史上最佳的主教练。

2007年，吉姆·哈勃加盟了NCAA的顶级联赛——太平洋十二校联盟——的球队史丹福大学鲜红队（Stanford），并被任命为主教练。上任后不久，史丹福大学就迎来了强敌——当时全国排名第一、实力超强的南加州大学特洛伊人队（USC）。赛前新闻发布会上，吉姆·哈勃表示，南加州大学的确是全国最好的球队，要击败他们是很困难的。然而在第二天的比赛里，史丹福大学在哈勃的带领下，不仅爆冷在最后一分钟绝杀击败了南加州大学，还是在落后41分情况下实现的逆转，是NCAA历史上最大的逆转之一。2009年，史丹福大学再度击败南加州大学，而且是以极大的分差（55-21，破了南加州大学的校史输球记录）将对手羞辱。

2009年，在吉姆·哈勃的带领下，史丹福大学时隔8年再度挺进季后赛，参加了太阳碗比赛（Sun Bowl Game）。虽然在决赛里输给了俄克拉荷马大学捷足者队（Oklahoma），但是赛季末史丹福大学久违地位列在了全国排行榜的前25名。2010年，哈勃带队一路高歌猛进。在常规联赛里仅输给了当季后来的全国亚军俄勒冈大学鸭子队（Oregon），而赢得了其余所有比赛。这是史丹福大学有史以来成绩最好的赛季，最重他们以全国第四的排名进入了橙色碗比赛（Orange Bowl），并击败了维吉尼亚理工大学霍启鸟队（Virginia Tech）拿下了橙色碗冠军。

2011年，吉姆·哈勃以主教练的身份加盟NFL的旧金山49人队。他在旧金山很快就获得成功。2012年，他率队打进了NFC分区的决赛，但在决赛里输给了纽约巨人队（New York Giants），无缘超级碗。2013年，哈勃捲土重来，率队在季后赛先后击败了绿湾包装工队（Green Bay Packers）和亚特兰大猎鹰队（Atlanta Falcons）等，获得了NFC分区冠军併入围超级碗。在超级碗，吉姆·哈勃以微弱的分差输给了由他的哥哥约翰·哈勃执教的巴尔的摩乌鸦队（Ravens）。2013年，吉姆率领旧金山队连续第三次入围NFC分区决赛，但输给了西雅图海鹰队（Seattle Seahawks）。

2015年，吉姆的母校，球队处于低谷和危机中的密西根大学，以NCAA最高的薪酬将吉姆·哈勃请回了安娜堡。吉姆成为了自己母校和母队的主教练，在密西根体育场受到了热烈欢迎。2015年赛季，密西根大学的发挥完全出乎了评论员和球迷的期待。赛季第一轮，密西根大学客场输给了实力全国前五强的犹他大学犹他人队（Utah）。在那以后，密西根大学在第二轮击败了俄勒冈州立大学海狸队（Oregon State），并随之打出了一波五连胜，其中在对阵杨百翰大学美洲豹队（BYU）、马里兰大学淡水龟队（Maryland）和西北大学野猫队（Northwestern）的比赛中，连续三场零封对手，其中杨百翰大学和西北大学在赛前都是全国排前25的强队，这是在整个NCAA的各大顶级联赛里都是多年未见的壮举。在对阵夺冠热门、同州宿敌密西根州立大学的比赛里，哈勃的球队也全场占优，只是在最后10秒钟的一次失误让对手绝杀。