Запишем матрицу в виде:

Вектор B:
BT=(0,-1,-2)
Система будет иметь решение, если определитель матрицы A отличен от нуля.
Найдем главный определитель.
∆=1•(2•5-(-1•2))-3•(1•5-(-1•(-3)))+1•(1•2-2•(-3))=14
Итак, определитель 14 ≠ 0, поэтому продолжаем решение. Для этого найдем обратную матрицу через алгебраические дополнения.
Транспонированная матрица

Алгебраические дополнения.

∆1,1=(2•5-2•(-1))=12

∆1,2=-(1•5-(-3•(-1)))=-2

∆1,3=(1•2-(-3•2))=8

∆2,1=-(3•5-2•1)=-13

∆2,2=(1•5-(-3•1))=8

∆2,3=-(1•2-(-3•3))=-11

∆3,1=(3•(-1)-2•1)=-5

∆3,2=-(1•(-1)-1•1)=2

∆3,3=(1•2-1•3)=-1
Обратная матрица

Вектор результатов X
X=A-1 • B

XT=(-1,1,0)
x1=-14 / 14=-1
x2=14 / 14=1
x3=0 / 14=0
Проверка.
1•-1+1•1+-3•0=0
3•-1+2•1+2•0=-1
1•-1+-1•1+5•0=-2

Решение было получено и оформлено с помощью сервиса:
Метод обратной матрицы
Вместе с этой задачей решают также:
Метод Крамера
Метод Гаусса
Обратная матрица методом Жордано-Гаусса
Обратная матрица через алгебраические дополнения
Решения СЛАУ методом простой итерации
Решения СЛАУ методом простой Зейделя
Умножение матриц онлайн
По координатам пирамиды найти: уравнение плоскостей, уравнение прямых и объем пирамиды