1956年5月12日，第一届全国人大常委会第40次会议，根据国务院总理周恩来提出的议案，由于重工业部的产业过多，难于全面兼顾，决定撤销重工业部，分别设定冶金工业部、化学工业部和建筑材料工业部，建筑材料工业部以原重工业部管理的建筑材料工业管理局为基础进行组建。1958年2月11日，第一届全国人大第五次会议，根据国务院总理提出的议案，由于国家管理体制有所改变，决定建筑材料工业部、建筑工程部和城市建设部合併成为新的建筑工程部。

1965年3月31日，第三届全国人大常委会第5次会议根据国务院总理周恩来提出的议案，为改进和加强对建筑业和建筑材料工业的领导，决定将建筑工程部分设为建筑工程部和建筑材料工程部。1970年6月中共中央批准在下放管理的同时，将国家基本建设委员会、建筑工程部、建筑材料工业部、中央基本建设政治部合併，成立新的国家基本建设委员会，下设建筑材料工业局，为国务院直属机构。

1979年4月3日，第五届全国人大常委会第7次会议，根据国务院总理华国锋提出的议案，为加强对建材工业的领导，决定设立建筑材料工业部、国家建筑工程总局、国家城市建设总局。1982年5月，国务院进行机构改革，根据第五届全国人大常委会第23次会议通过的《关于国务院部委机构改革实施方案的决议》，建筑材料工业部併入国家经济委员会。至此，中华人民共和国建筑材料工业部正式走入了历史。

第一届国务院的建筑材料工业部(1956年5月-1958年2月)主要管理的範围包括建筑材料、非金属矿产品和无机非金属新材料三大部分。

第三届国务院的建筑材料工业部(1965年3月-1970年6月)直接领导和管理的工业有水泥及水泥製品，平板玻璃及工业技术玻璃，玻璃纤维及其製品，建筑卫生陶瓷，硅酸盐新材料，非金属矿等。归口管理的工业有砖瓦、石灰、砂石采场，防水保温等材料工业。

第五届国务院的建筑材料工业部(1979年4月-1982年5月)业务範围为：主管水泥、玻璃、建筑卫生陶瓷、地方建筑材料、新型建筑材料、非金属矿及其製品、建材及非金属矿专业机械等，以及为工农业生产和国防尖端服务的无机非金属新型材料的生产、建设、科研、学校教育、进出口、对外经援等工作，负责建材产品的分配和销售。

在第一、三、五届国务院中，中华人民共和国建筑材料工业部分别设定如下：

中华人民共和国建筑材料工业部设定的三个时间段内，共有两位部长：

1、赖际发（1956年5月-1958年2月，1965年3月-1970年6月）

2、宋养初（1979年4月-1982年5月）