チャーリーは10歳の夏休み、はじめて会う祖父母の家にあずけられた。町の探検に出かけたチャーリーは、図書館で耳の聞こえないおばあさん、アギーに出会う。 アギーが手話でのこした謎のメッセージを追って、「キャッスルろう学校」のフロッグをたずねると…… 指文字がわかるけれど、いつもひとりぼっちのチャーリーと、耳が聞こえず手話を使う「ろう者」で探偵になりたいフロッグ。ふたりは探偵コンビを組んで、アギー失踪（!?）事件の捜査にのりだした。指文字や筆談、そして手話で会話しながら、キャッスル・オン・ザ・ハドソンの町をかけまわる。 さあ、胸おどる冒険の始まりだ！ ろう者（耳が聞こえない人）にとって、手話は大切な言語。 手話が飛びかうアメリカの小さな町で、聞こえるチャーリーと聞こえないフロッグが、事件の謎を解き明かす。 図書館からはじまる、手話と友情の冒険ミステリー！