Osią kompozycyjną utworu Mądry i głupi jest kontrast pomiędzy postawami dwojga ludzi – jak sugeruje już sam tytuł – mądrego i głupiego. Kontrast ten został wzmożony poprzez swoisty paralelizm – opis zachowania bohaterów można nazwać równoległym, zajmuje on bowiem równe odcinki tekstu.
Podmiot liryczny charakteryzuje dwie postacie. Co ważne, nie została przytoczona żadna wypowiedź głupiego. Tak więc o jego zachowaniu można wnioskować z kontekstu oraz opisu sytuacji. Głupi bardzo dużo mówi, praktycznie bez przerwy. Raczej nie wykazuje się rozwiniętą inteligencją. Nie przeszkadza mu, że jego rozmówca nic nie mówi. Sam ciągnie swój monolog dopóty, dopóki nie zabraknie mu sił. Jest zadowolony.
Mądry okazuje się człowiekiem niezwykle cierpliwym, wykazuje się wręcz stoickim spokojem. Podczas tyrady głupiego nie odzywa się, nie przerywa mu. Gdy w końcu zostaje dopuszczony do głosu, nie odnosi się do pustej paplaniny swojego partnera. Zachowuje się grzecznie, postanawia odpowiedzieć interlokutorowi. Czyni to w formie niezwykle cennej puenty:
Rzekł mądry, żeby nie był w odpowiedzi dłużny:
«Wiesz, dlaczego dzwon głośny? Bo wewnątrz jest próżny»
Zwrot ten przeszedł do języka ogólnego i stał się do dziś chętnie wykorzystywanym aforyzmem.
Autor nie wyraża bezpośrednich sądów. To czytelnik ma wyciągnąć morał z bajki i ocenić postępowanie dwóch przedstawionych postaci. Odbiorca staje się tym samym sędzią w słownym pojedynku. Musi rozstrzygnąć, czy lepiej jest mówić dużo i bez sensu, czy też ograniczyć się do krótkiej riposty. Oczywiście z pojedynku tego wygrany wychodzi mądry. Należy bowiem zwięźle (wręcz lapidarnie) i rzeczowo przekazywać informacje.
Postulat ten spełnił Krasicki także pod względem budowy utworu. Bajka składa się z sześciu wersów, występują rymy dokładne, żeńskie, parzyste. Autor zdecydował się na wyeliminowanie wszelkich zbędnych treści – nie przytoczył na przykład w formie mowy niezależnej długiej wypowiedzi głupiego. Ponadto zostały opuszczone łączniki orzeczeń imiennych z orzecznikami: „Nie nowina, że głupi mądrego przegadał;/Kontent więc, iż uczony nic nie odpowiadał”, „«Wiesz, dlaczego dzwon głośny? Bo wewnątrz jest próżny»”. Na uwagę zasługuje także niezwykle celna puenta bajki.
Ze względu na formę utwór zalicza się do bajek epigramatycznych. Tematyka i przesłanie każą wpisać ją do grupy bajek uniwersalnych (brak odniesienia do konkretnego wydarzenia).