Szerintem:

A korrektség kedvéért: az első megoldás elvileg jó, számszerűen viszont hibás.

A megoldás kulcsa annak felismerése, hogy az E és F pontok az AC ív harmadoló pontjai.
Mivel az AC ív középponti szöge 90°, ezért az EF ívhez 30°-os középponti szög tartozik,
vagyis az EFD körcikk egy kör 12-ed része.

Ennyi bevezető után legyen
r = 5 - az alapkör sugara
R = r√2 - a központi (sraffozott) idomot határoló körívek sugara
α = 30°
a - az EF oldalú négyzet oldala
Tn - az 'a' oldalú négyzet területe
Ts - az EF szakasz fölötti körszelet területe
Tk - a központi idom területe

Ezekkel
Tk = Tn + 4Ts

A négyzet oldala a koszinusz tétellel
a = R √ 2(1 - cosα) 
a területe
Tn = a²
Tn = 2R²(1 - (√3/2))
Tn = R²(2 - √3)
****************

A körszelet területe
az EFD körcikk és az EFD háromszög területének különbsége, vagyis
Ts = R²π/12 - R²*sinα/2
mivel
sin30° = 1/2
Ts = R²π/12 - R²/4
Ennek a 4-szerese kell
4Ts = R²π/3 - R²
kiemelés után
4Ts = R²(π/3 - 1)
******************

Ezekkel a megoldás
Tk = Tn + 4Ts
Tk = R²(2 - √3)+ R²(π/3 - 1)
Kiemelve
Tk = R²(2 - √3+π/3 - 1)
Összevonva
Tk = R²(π/3 - √3 + 1)
Az alapkör sugarát beírva a végeredmény
Tk = 2r²(π/3 - √3 + 1)
===============

Lehet behelyettesíteni. :-)