吉林市图书馆始建于1909年，新中国成立后为吉林省图书馆。1954年吉林省图书馆随吉林省省会从吉林市迁至长春市，原吉林省图书馆馆址更名为吉林市图书馆。1999年吉林市委市政府投资在吉林市解放东路建设新馆，2003年新馆建成并投入运行。

截止2016年底，吉林市图书馆拥有中文图书报刊、外文图书期刊、古籍、民国文献、满铁文献等藏书177余万册，其中，12万册古籍线装书和6万多册民国时期文献为特色馆藏，具有很高的史料价值。2009年吉林市图书馆被确定为国家重点古籍保护单位，17种古籍善本列入《国家珍贵古籍名录》。

2017年4月至2018年4月，原文化部组织开展了第六次全国县级以上公共图书馆评估定级工作。经评估，吉林市图书馆评估定级为一级公共图书馆。