hay varias bibliotecas para c/c++, por ejemplo, TAUCS, LAPACK, entre otros,
algo mas fácil de compilar y de usar es el código del libro Numerical Recipes C y Numerical Recipes C++
Ahi encontraras varios métodos para resolver sistemas de ecuaciones, si no consigues el código de estos libros recuerdame disponibilizarlos.
salu2