На жаль з такими вступними даними складно про щось говорити.
У столярній справі немає такого поняття "невеликий шматок", це ні про що.
Необхідно знати конкретні розміри шматків деревини.
Необхідно конкретно знати про призначення полиці.
Розміри полиці.
Яка деревина повинна склеюватися між собою?
Відштовхуючись від цього набувають клей.
Якщо в загальному (відповідаю на запитання під питанням) то склеїти деревину можна, от наприклад столярний клей для дерева "Момент Монтаж Миттєва Хватка",