Attacken ägde rum i de judiska kvarteren i den nordöstra franska staden Strasbourg vid klockan 11:45 på fredagen.
Gärningsmannen kunde gripas av polis efter att ha hållits fast av ett ögonvittne.
Enligt den franska nyhetssajten DNA hörde flera vittnen mannen ropa "Allahu akbar" i samband med att han gick till attack.
Det 62-åriga offret, en herr Levy som tillhör den chasidistiska judiska sekten, klarade sig utan allvarliga skador och vårdas på sjukhus. Han bar religiösa kläder när han angreps.
