Az elinduláshoz egy ötlet a képen:
A különböző "a" és "b" átgondolásához egy segítség:
https://www.geogebra.org/m/Ubu9UymQ

Jó lenne, ha a következtetéseket is egyeztetnénk:

Ha felsőoktatás, akkor gondolom mátrixokkal kellene megoldani.
Természetesen ez is lényegileg ugyanaz, mint szzs válasza, csak mátrixos formában:

Írd fel az egyenlet mátrixát, aztán kell belőle csinálni felső háromszögmátrixot Gauss eliminációval:
`((1,1,1,6),(1,-2,2,5),(2,-1,a,b))`
Az első sort vond ki a másodikból, valamint az első sor 2-szeresét a harmadikból:
`((1,1,1,6),(0,-3,1,-1),(0,-3,a-2,b-12))`
A második sort vond ki a harmadikból:
`((1,1,1,6),(0,-3,1,-1),(0,0,a-3,b-11))`
Kész a háromszögmátrix.

- Ha `a-3=0`, de `b-11 ≠ 0`, akkor az alsó sor "tilos sor", a bal oldal csupa nulla, a jobb oldal nem. Ez ellentmondás, tehát nincs megoldás.
- Ha `a-3=0` és `b-11 = 0`, akkor az alsó sor csupa nulla. Ez azt jelenti, hogy az egyik ismeretlen az "szabad változó": tetszőleges értéket kaphat, lesz megoldása az egyenletnek. Vagyis végtelen sok megoldás lesz.
- Ha `a-3≠0`, akkor mindhárom sor "normális", mindhárom változó kötött, egyértelmű megoldás lesz.

A megoldáshoz tovább kell csinálni a Gauss elimináció második részét is:
Az utolsó esetben (ha a≠3) minden sort osztunk annyival, amennyi a főátlóban van, vagyis a főátlóban 1-ek lesznek:
`((1,1,1,6),(0,1,-1/3,1/3),(0,0,1,(b-11)/(a-3)))`
Aztán alulról felfelé: az alsó sor egyharmadát hozzáadjuk a második sorhoz, aztán az alsó sort kivonjuk az első sorból, hogy a harmadik oszlopban mindenhol máshol 0 legyen:
`((1,1,0,6-(b-11)/(a-3)),(0,1,0,1/3+(b-11)/(3a-9)),(0,0,1,(b-11)/(a-3)))`
Végül a második sort kivonjuk az elsőből, hogy az elsőnél is a második oszlopban 0 legyen:
`((1,0,0,6-1/3-(4b-44)/(3a-9)),(0,1,0,1/3+(b-11)/(3a-9)),(0,0,1,(b-11)/(a-3)))`

Le lehet olvasni a megoldást a jobb szélső oszlopból:
`x=6-1/3-(4b-44)/(3a-9)`
`y=1/3+(b-11)/(3a-9)`
`z=(b-11)/(a-3)`

Ha pedig a=3 és b=11, akkor az alsó (csupa nulla) sort elhagyhatjuk a mátrixból, `z` bármi lehet. A maradék két soros mátrixszal kell hasonlóan eljárni, mint amit fentebb írtam. Ez tehát a kiinduló mátrix:
`((1,1,1,6),(0,-3,1,-1))`
A főátlóban 1 legyen:
`((1,1,1,6),(0,1,-1/3,1/3))`
A második sort kivonjuk az elsőből, hogy az első sor második oszlopában 0 legyen:
`((1,0,1+1/3,6-1/3),(0,1,-1/3,1/3))`
Kész. Le lehet olvasni a megoldásokat azzal, hogy `z` bármi lehet:
`x+z·(1+1/3)=6-1/3`
`y-z·1/3=1/3`
-----
`x=6-1/3-c·(1+1/3)`
`y=1/3+c·1/3`
`z=c`