Выражение означает заниматься чем-либо ничего не значащим, попусту тратить время.
Произошло выражение от старинной русской настольной игры. Мелкие игрушечные предметы-бирюльки высыпают кучей на ровную поверхность. Бирюльками могли служить предметы, имеющие ушки (чашечки, чайнички, лесенки, шляпки) или отверстия (если предметы абстрактной формы).
Правила игры таковы: игроки с помощью специального крючка поочередно вынимают по одной игрушке-бирюльке, стараясь не пошевелить соседние. Если пошевелил – пропускаешь ход. Игра продолжается до тех пор, пока игроки не разберут всю кучу. Выигрывает тот, кто соберёт больше бирюлек. К началу 20 века эта игра была одна из самых популярных как среди детей, так и среди взрослых.
Однако занятие это считалось пустячным, поэтому и выражение «играть в бирюльки» означает заниматься несерьёзным делом.
Применяется выражение также в случае, когда хотят призвать собеседника к серьёзности: «мы с вами тут не в бирюльки играем!».