Запишем матрицу в виде:

Вектор B:
BT = (5,7,8)
Главный определитель
∆ = 4•(0•2-1•4)-5•(3•2-1•(-1))+2•(3•4-0•(-1)) = -27
Транспонированная матрица

Алгебраические дополнения.

∆1,1 = (0•2-4•1) = -4

∆1,2 = -(3•2-(-1•1)) = -7

∆1,3 = (3•4-(-1•0)) = 12

∆2,1 = -(5•2-4•2) = -2

∆2,2 = (4•2-(-1•2)) = 10

∆2,3 = -(4•4-(-1•5)) = -21

∆3,1 = (5•1-0•2) = 5

∆3,2 = -(4•1-3•2) = 2

∆3,3 = (4•0-3•5) = -15
Обратная матрица

Вектор результатов X
X = A-1 • B

XT = (-1,4,3)
x1 = 27 / -27 = -1
x2 = -108 / -27 = 4
x3 = -81 / -27 = 3
Проверка.
4•-1+3•4+-1•3 = 5
5•-1+0•4+4•3 = 7
2•-1+1•4+2•3 = 8

Решение было получено и оформлено с помощью сервиса:
Метод обратной матрицы
Вместе с этой задачей решают также:
Метод Крамера
Метод Гаусса
Обратная матрица методом Жордано-Гаусса
Обратная матрица через алгебраические дополнения
Решения СЛАУ методом простой итерации
Решения СЛАУ методом простой Зейделя
Умножение матриц онлайн
По координатам пирамиды найти: уравнение плоскостей, уравнение прямых и объем пирамиды