Za razliku od klasičnih igara memorije, Silly Memory dolazi sa twistom. Naime, umesto da naizmenično otvarate polja, pamtite raspored simbola „ispod” njih i nakon toga po sećanju vršite uparivanje, ovde je situacija mnogo komplikovanija. Elementi su razbacani na praznoj ploči i, pre nego što počnete da ih uparujete, morate da ih pronađete.

Skeniranje se obavlja swipeovanjem prsta po ekranu, a kada naletite na element, morate da „parkirate” tačno iznad i sačekate da se proces detekcije završi. Osim što se razlikuju po obliku, elementi se razlikuju i po boji, te imaju nezgodnu osobinu da proticanjem vremena blede i na kraju nestanu sa ekrana. Da biste obavili uparivanje, morate istovremeno da pritisnete identične elemente, a ako slučajno pogrešite, moraćete da krenete ispočetka. Inače, autori su implemetirali kontrole za dve ruke, koje podrazumevaju da se ekran dodiruje palčevima, a da se uređaj drži u uspravnom položaju.

Vreme za rešavanje nivoa je ograničeno, ali nije sve tako crno. Na raspolaganju su power-upovi koji trajno boostuju mogućnosti skenera, a tu su i jednokratna pomagala, kao što je, na primer, opcija da se dozvoljeno vreme za rešavanje nivoa produži. Čitava akcija upakovana je u priču koja prati dogodovštine simpatičnih vanzemaljaca pred kojima se nalazi 30 nivoa. Nažalost, autori dijaloge nisu podvukli voiceoverom pa je praćenje priče utoliko otežano. Pored kampanje na raspolaganju je Endless režim.