赤レンガの建物は明治24年に建てられた、旧制第四高等学校の校舎を利用したもので、重要文化財に指定されています。内部は石川四高記念館と石川近代文学館に分かれており、石川四高記念館は旧制第四高等学校（中学校）の開校からの歴史を展示。当時使用されていた制服など貴重な資料が揃っています。石川近代文学館は室生犀星、泉鏡花、徳田秋声などの郷土出身者や五木寛之など県ゆかりの作家、文学者たちの作品や資料のを展示してあります。