Avskedsbrevet, som har undertecknats Donald Trump, har publicerats av flera amerikanska medier. I brevet förklarar presidenten att han uppskattar att Comey flera gånger meddelat honom att han inte är under utredning.
Bakgrunden är att FBI ska ha undersökt uppgifter, som även spridits friskt i media, om att Ryssland skulle ha påverkat presidentvalet i slutet av förra året till Trumps fördel.
Presidenten skriver i brevet att han fattat beslutet på inrådan av justitieminister Jeff Sessions och att han delar ministerns uppfattning att James Comey inte är "kapabel till att på ett effektivt sätt leda" FBI.
– FBI är en av vårt lands mest välskötta och respekterade institutioner och idag inleds en ny början för vår brottsbekämpande kronjuvel, säger Donald Trump i ett uttalande.
Han uppger också att det är viktigt att återupprätta allmänhetens förtroende för myndigheten.
James Comey har tidigare fått kritik från olika håll för sin hantering av utredningen av Hillary Clinton och den privata mejlserver som hon använde sig av under sin tid som utrikesminister. I juli förra året meddelade FBI-chefen att det inte längre fanns några brottsmisstankar mot Clinton, men underströk samtidigt att politikern hade agerat "extremt vårdslöst".
I november, bara tio dagar innan presidentvalet, gick Comey ut med att förundersökningen mot Hillary Clinton hade återupptagits efter att nya känsliga mejl upptäckts hos hennes nära medarbetare Huma Abedin i samband med en separat utredning mot Abedins make, den före detta kongressledamoten Anthony Weiner, som åkt fast för sexbrott mot minderåriga.
Många framträdande Hillary-supportar har hävdat att den nu avskedade FBI-chefens agerande varit en starkt bidragande orsak till att hon förlorade valet.
Vita huset kommer nu att söka efter en ersättare till James Comey. Tills vidare kommer FBI:s vice chef Andrew McCabe att leda den federala polismyndigheten.
