Viện Luyện kim đen được thành lập từ năm 1972 theo Quyết định số 15CL/C ngày 08/01/1972 của Bộ trưởng Bộ Cơ khí và Luyện kim về việc thành lập Phân viện Luyện kim Thái Nguyên, tiền thân của Viện Luyện kim đen trực thuộc Bộ Cơ khí và Luyện kim. Trụ sở đóng tại xã Lương Sơn, thành phố Thái Nguyên, tỉnh Bắc Thái
Năm 1979, Viện Luyện kim đen chính thức được thành lập theo Quyết định số 119/CP ngày 17/3/1979 của Thủ tướng Chính phủ về việc thành lập Viện Luyện kim đen trực thuộc Bộ Cơ khí và Luyện kim. Trụ sở tiếp tục đóng tại xã Lương Sơn, thành phố Thái Nguyên, tỉnh Bắc Thái.
Năm 1982, Viện Luyện kim đen đã tiến hành chuyển trụ sở từ tỉnh Thái Nguyên về xã Văn Bình, huyện Thường Tín, tỉnh Hà Sơn Bình (nay là thành phố Hà Nội).
Năm 1990, Thủ tướng Chính phủ đã ra Quyết định số 128/CNNg-TC ngày 30/5/1990 của về việc thành lập Tổng công ty Thép Việt Nam.
Năm 1995, Viện Luyện kim đen là một trong những thành viên đầu tiên của Tổng công ty Thép Việt Nam, theo Quyết định số 255/TTg ngày 29/4/1995 của Thủ tướng Chính phủ về việc thành lập Tổng công ty Thép Việt Nam.
Viện Luyện kim đen hoạt động theo Quy chế tổ chức và hoạt động ban hành kèm theo Quyết định số 1840/2000/QĐ-T-TC ngày 31/10/2000 của Hội đồng Quản trị Tổng công ty Thép Việt Nam, Chứng nhận số A-170 ngày 17/5/2006 của Bộ trưởng Bộ Khoa học và Công nghệ về đăng ký hoạt động khoa học và công nghệ của Viện Luyện kim đen.
Hiện nay, Viện Luyện kim đen là đơn vị sự nghiệp khoa học và công nghệ trực thuộc Tổng công ty Thép Việt Nam – CTCP có chức năng thực hiện các hoạt động khoa học và công nghệ của Tổng công ty Thép Việt Nam – CTCP, đồng thời phục vụ phát triển một số hướng khoa học và công nghệ của Nhà nước. Viện Luyện kim đen được quyền mở rộng phạm vi hoạt động khoa học và công nghệ, kinh doanh và dịch vụ với các thành phần kinh tế theo khả năng của Viện và phù hợp với quy định của pháp luật