Ez biztos, hogy nem jó, mert ezzel az esettel például azt is megszámolod, hogy csak kör van a táblán.

Ha jól értem, akkor te úgy gondolkoztál, hogy minden mezőbe kétféle szimbólum mehet; O vagy X, ennek megfelelően 2a mezők száma-féleképpen lehet kitölteni. Ezzel egyrészt azt az esetet is megszámoltad, amikor a mezőn csak O vagy X van, ez értelemszerűen nem jó.
De nézzük még, mi a probléma; az amőba játékszabályai szerint felváltva raknak a játékosok, tehát O után X jön, aztán megint O, aztán megint X, és így tovább, amíg vége nem lesz a játéknak. Ebből fakadóan közel feleakkora az O és az X száma az egészhez képest. A "közel" azért van ott, mert a végkifejlet kétféle lehet; ha a mezők száma páros, akkor tényleg fele-fele lesz az arány, ha pedig páratlan, akkor a kezdő játékosnak jeléből 1-gyel több lesz.
Tehát nekünk azt kell elérnünk valahogy, hogy ez az arány megmaradjon; ha `N` mező van, akkor a második játékos `[N/2]` darab jelet rak. A szögletes zárójel most az "alsó egészrészt" hivatott jelölni, ugyanis ha N páratlan, akkor fele nem lesz egész, de a játékosok egész számú jelet raknak, és ez pont annyi, mint az osztással eredmény lefelé kerekített értéke, mivel a második kevesebbet rak (például ha 5 mező lenne, akkor a második [5/2]=[2,5]=2 jelet rakna, és valóban így is van, könnyen ellenőrizhető). Így most az a feladat, hogy erre az `N` helyre elrakjuk ezt az `[N/2]` jelet, erre nemes egyszerűséggel az a válasz, hogy (`N` alatt az `[N/2]`)
Ebben a számításban az is benne van, hogy akár rengetegszer legyen benne 5 azonos jel egymás mellett, ami a játék végét jelentené egyébként, így ez azokat az eseteket számolja meg, hogy addig megy a játék, amíg be nem telik a játéktér.
És az is érezhető a számításból, hogy mindegy, hogy milyen alakú (te téglalappal számoltál), csak a mezők száma a lényeg.

Ha annyira eltekintesz, hogy akármennyi jelet megengedsz (tehát lehet akár egy 100x100-as táblán 9999 darab X és 1 O), akkor jó a számolási módod.

Hmm, abból, hogy "eltekintek a játék menetétől", az a valószínű, hogy nem is az amőbajáték állásainak száma érdekelt, de azért megpróbálom azt is felírni (nem fog jól sikerülni sajnos...) :

Van tehát `N=A·B` mező.
Állás alatt a játék egy adott állapotát értem.
A legelső állás az, hogy üres a tábla.
Aztán lehet `N` darab egyetlen X-et tartalmazó állás a szerint, hogy hová rak az első játékos.
A két bábut tartalamzó állások száma: `N·(N-1)`
stb.
`k` darab bábut tartalmazó állásokban van `|~k/2~|` darab X és `|__ k/2 __|` darab O. Az ilyen állások száma: `((N),(|~k/2~|))·((N-|~k/2~|),(|__ k/2 __|))`

Összesen tehát:
`sum_(k=0)^N ((N),(|~k/2~|))·((N-|~k/2~|),(|__ k/2 __|))`

Kész is lenne, de miért nem jó ez a válasz:
A játék véget ér, ha kialakul 5 azonos bábu egy vonalban. Azt viszont azt hiszem, nem lehet figyelembe venni, csak azt lehet mondani, hogy a gyakorlatban ennél sokkal kevesebb állás lehet.