卡莱尔联于1903年由两支当地球队Shaddongate United及卡莱尔红玫瑰（Carlisle Red Rose）合併而成立，新球队初时在Milhome Bank比赛，稍后迁往德文希尔公园（Devonshire Park），最终搬到现时的主场般顿公园（Brunton Park）。

卡莱尔联于1928年获选加入足球联盟丙组北部联赛，取代德拉姆城（Durham City）的席位。卡莱尔联只曾在1974-75年升上顶级的甲组联赛一季，球队赢取头三场联赛并高据榜首，但到季尾却敬陪末席而降级。在1987年卡莱尔联降回丁组，此后17个赛季只曾两次脱离这个联赛最低组别。

1991-92年球季卡莱尔联在最后一季的丁组联赛排名包尾，原需降级到全国联盟联赛（GM Vauxhall Conference），幸好因艾迪索特（Aldershot）破产退出而获留级。

卡莱尔联于1995年夺得丙组联赛冠军，球队被古怪的地产大亨麦可·奈顿（Michael Knighton）收购而带来光明前途的希望。但当球队分别在米克·沃兹沃思（Mick Wadsworth）及默文·戴（Mervyn Day）带领下升级乙组时，奈顿未能提供财政上的支持，更安排自己出任领队之职，期间自称接触外星人，而球队亦降回联赛最低的组别。

1998-99年球季最后一日（1999年5月8日），卡莱尔联出战普利茅斯必需胜出方可留级，比赛最后一刻仍踢成1-1平手，濒临出局的卡莱尔联获得角球，从斯文登借用的守门员吉米·格拉斯（Jimmy Glass）亦上前，藉着对方守门员拍出不远，射入致胜的一球，迫使史卡保罗夫（Scarborough）降入全国联盟联赛，而卡莱尔联获得留级。接着两季卡莱尔联有惊无险保留丙组席位，2002年更获中游的成积。但卡莱尔联在2003年最终劫数难逃，球队委任柯林斯（Roddy Collins）为领队，因季初差劣的成绩而被辞退，在新领队保罗·辛普森（Paul Simpson）带领下，球队状态虽有改善，仍不足保留长达76年的联赛会员席位，降级全国联盟联赛。卡莱尔联是第一支曾在英格兰顶级联赛作赛的球队遭到自动降级脱离联赛的命运。

2005年5月卡莱尔联在全国联盟联赛附加赛决赛击败史提芬纳治（Stevenage），在降级一年后重返联赛行列。翌年（2006年）于4月22日作客以1-1战平曼斯菲尔德城（Mansfield）后确保升级甲级联赛，更于5月2日2-0击败罗奇代尔（Rochdale）后夺得乙级联赛冠军。

由于球队位处的地理位置（卡莱尔位于英格兰偏远的西北部，非常接近苏格兰的边境）及在本土的联赛缺乏成绩，经常有传言球队将会加入苏格兰的足球联赛。但卡莱尔联于2006年5月成为乙组联赛冠军，更是乙组观众最多的球队，相信卡莱尔联将永久留在英格兰境内。

带领球队升班的保罗·辛普森（Paul Simpson）于2006年6月16日转投英冠联的普雷斯顿，前博尔顿一队教练及水晶宫副领队尼尔·麦克唐纳（Neil McDonald）于6月29日接掌帅印。2006/07年球季末球队连输三场，只能位列第8位，失去参加升级附加赛的机会。2007年8月13日在新球季展仅一周后，球队突然宣布辞退麦克唐纳。10月2日付出巨额赔偿将切尔滕汉姆领队约翰·沃德（John Ward）带到卡莱尔联，签约4年。