Выпишем расширенную и основную матрицы:
1	3	2	0	1	3	
2	-5	7	-14	-1	-8	
1	3	-1	3	4	6	
x1	x2	x3	x4	x5		

Здесь матрица А выделена жирным шрифтом.
Приведем матрицу к треугольному виду. Будем работать только со строками, так как умножение строки матрицы на число, отличное от нуля, и прибавление к другой строке для системы означает умножение уравнения на это же число и сложение с другим уравнением, что не меняет решения системы.
Умножим 1-ую строку на (2). Умножим 2-ую строку на (-1). Добавим 2-ую строку к 1-ой:
0	11	-3	14	3	14	
2	-5	7	-14	-1	-8	
1	3	-1	3	4	6	

Умножим 3-ую строку на (-2). Добавим 3-ую строку к 2-ой:
0	11	-3	14	3	14	
0	-11	9	-20	-9	-20	
1	3	-1	3	4	6	

Добавим 2-ую строку к 1-ой:
0	0	6	-6	-6	-6	
0	-11	9	-20	-9	-20	
1	3	-1	3	4	6	

Выделенный минор имеет наивысший порядок (из возможных миноров) и отличен от нуля (он равен произведению элементов, стоящих на обратной диагонали), причем этот минор принадлежит как основной матрице, так и расширенной, следовательно rang(A) = rang(B) = 3. Поскольку ранг основной матрицы равен рангу расширенной, то система является совместной.
Этот минор является базисным. В него вошли коэффициенты при неизвестных x1,x2,x3, значит, неизвестные x1,x2,x3 – зависимые (базисные), а x4,x5 – свободные.
Преобразуем матрицу, оставляя слева только базисный минор.
0	0	6	-6	6	6	
0	-11	9	-20	20	9	
1	3	-1	6	-3	-4	
x1	x2	x3		x4	x5	

Система с коэффициентами этой матрицы эквивалентна исходной системе и имеет вид:
6x3 =  - 6 + 6x4 + 6x5
 - 11x2 + 9x3 =  - 20 + 20x4 + 9x5
x1 + 3x2 - x3 = 6 - 3x4 - 4x5
Методом исключения неизвестных находим:
Получили соотношения, выражающие зависимые переменные x1,x2,x3 через свободные x4,x5, то есть нашли общее решение:
x3 =  - 1 + x4 + x5
x2 = 1 - x4
x1 = 2 + x4 - 3x5
Придавая свободным неизвестным любые значения, получим сколько угодно частных решений. Система является неопределенной, т.к. имеет более одного решения.

Решение было получено и оформлено с помощью сервиса:
Системы линейных уравнений
источник:
Метод Гаусса и метод Жордано-Гаусса
Вместе с этой задачей решают также:
Метод Крамера
Метод обратной матрицы
Решения СЛАУ методом простой итерации
Решения СЛАУ методом простой Зейделя
Умножение матриц онлайн
По координатам пирамиды найти: уравнение плоскостей, уравнение прямых и объем пирамиды