· Като дете, бащата на Фрейзър, Рубин, му измисля прякора "Били Бой", модел автомобил на Форд.
· Рубин загубил лявата си ръка, както и част от предмишницата, след като е прострелян в изблик на ревност от бившия приятел на любовницата си.
· Семейство Фрейзър имало прасе във фермата си. Един ден то подгонило Джо, и при падане, той си чупи ръката. Това е и причината, той никога да няма пълен замах с дясната ръка.
· След като фамилия Фрйзър се меси във Филаделфия, младият Джо започва работа в касапница. Там той си отрязал част от малкия пръст.
· Прякорът си "Смоукин Джо", Фрейзър дължи на треньора Янк Дюрам.
· В 12-тия си професионален мач, Фрейзър е нокаутиран за пръв път в кариерата си от Оскар Бонавена. Все пак, той печели 10-рундовия мач.
· Фрейзър е бил част от музикална група, която се е наричала „Смоукин Джо и нокаутовете”. Групата е имала договор с Капитъл Рекордс, а след първите си успехи на ринга Джо е финансирал концерти на музикантите в Лас Вегас и Атлантик Сити. След оттеглянето си от бокса, Фрейзър създава „The Smokin’ Joe Frazier Revue”, група от 11 музиканти и танцьори.
· През 1969, вечните врагове Фрейзър и Мохамед Али живеят във Филаделфия. Семейството на Джо обитава къща в Lafayette Hill, предградие на града, докато Али живеел на Main Lane.
· "Медисън Скуеър Гардън" одобрява 760 акредитации за първия двубой между Фрейзър и Али през 1971, като отказва над 500 молби.
· Билетите за боя се продали за един ден. Двубоят е бил излъчван в кино салони по целия свят.
· Когато Фрейзър и Али водят известния като “Thrilla In Manila” двубой през 1975, Джо е имал двойно по-слабо зрение с дясното си око и 20-пъти по-слабо с лявото.
· Синът на Фрейзър, Марвис, печели през 1979 година Златни Ръкавици в тежка категория. Той достига до полуфиналите на Квалификациите за Олимпиисйките игри през 1980.
· Джо започнал да тренира Марвис и след отказването му през 1988, се опитал да го направи шампион. Джо младши, обаче предпочита да продължи развитието си в престъпния свят.
· В средата на 1980-те, Фрейзър и Флоранс се развели след повече от 20 години брак.
· През 1996 година, Фрейзър получава честта да е сред 100-те най-велики американци-олимпийци.
· През юни 2001-ва, дъщерята на Фрейзър, Жаки, загуби мача с дъщерята на Али, Лаила, по точки.
