นายชาญชัย เกิดเมื่อวันที่ 27 พ.ค. พ.ศ.2495 เป็นบุตรของนายสดใส และนางทองใบ ชัยรุ่งเรือง เกิดที่ อ.บรบือ จ.มหาสารคาม สำเร็จการศึกษาชั้นประถมศึกษา จากโรงเรียนบรบือ และสำเร็จการศึกษาชั้นมัธยมศึกษา จากโรงเรียนสารคามพิทยาคม จ.มหาสารคาม และจบการศึกษาระดับอาชีวศึกษา จากวิทยาลัยช่างก่อสร้างอุเทนถวาย และในระดับปริญญาตรี จากมหาวิทยาลัยราชภัฏมหาสารคาม และหลักสูตรการป้องกันราชอาณาจักร ภาครัฐ เอกชน และการเมือง (วปม.) รุ่นที่ 1 ในระดับปริญญาโท รัฐประศาสนศาสตรมหาบัณฑิต จากคณะรัฐศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย
เข้าสู่การเมืองโดยการเป็น ส.ส.มหาสารคาม หลายสมัย เป็นรองโฆษกประจำสำนักนายกรัฐมนตรี ผู้ช่วยเลขานุการรัฐมนตรีว่าการกระทรวงมหาดไทย และได้รับแต่งตั้งเป็นรัฐมนตรีว่าการกระทรวงอุตสาหกรรม ในรัฐบาลของนายอภิสิทธิ์ เวชชาชีวะ ช่วงปลายปี 2550 และถูกปรับออกในเดือน มิ.ย. 2553 หลังการอภิปรายทั่วไปเพื่อลงมติไม่ไว้วางใจ
ต่อมาได้รับการแต่งตั้งให้เป็นเลขาธิการพรรคเพื่อแผ่นดิน ช่วงปลายปี 2551 และขึ้นเป็นหัวหน้าพรรคเพื่อแผ่นดินแทน พล.ต.อ.ประชา พรหมนอก กระทั่งช่วงเดือน พ.ค. 2554 นายชาญชัย พร้อมสมาชิกพรรคย้ายไปร่วมงานการเมืองกับพรรครวมชาติพัฒนา เปลี่ยนชื่อเป็นพรรคชาติพัฒนาเพื่อแผ่นดิน