С точки зрения элементарной (не простой, а связанной с элементами) физики, от куда собственно и взяты эти понятия, материя обладает рядом разительных отличий от энергии. И нет поводов в этом сомневаться, и вилку можно назвать карандашем.
Материя имеет массу, энергия - нет. Материя имеет геометрические хар-ки, энергия - нет. Это только первое что пришло в голову.
Энергия образует материю, так называемы пары, Электрон и позитрон как пример. Способны родиться при определенных условиях из ничего. Почти ничего, из энергии. Собственно это вполне согласуется с законом сохранения энергии (5 и -5 в сумме дают ноль, ту пустоту) и теории большого взрыва, что энергия порадила материю. Только большая проблема в том что в космосе 80% материи, а антиматерии как понимаете нехватает. Где она?
Хотя о чем я говорил, что между материей имеются общие черты, и различные. И наиболее среднее между ними - поле.