16 Nisan 1821’de Divan-ı Hümayun Tercümanlığı’nın ilgası sonrasında Osmanlı dış ilişkileri için bir tercüman gerektiğinden Mühendishane hocalarından Rum kökenli Müslüman olmuş Yahya Efendi ile oğlu Ruhiddin Efendi Babıâli’deki Rumca ve Fransızca yazışmaları tercüme işinde görevlendirildi. Bu göreve bir kaç Müslüman atandıysa da atananlar bazı kesimlerce küçük görüldüğü için hemen ayrılmışlardı. Bunun üzerine II. Mahmud, 23 Nisan 1821’de tercüman yetiştirmek ve Babıâli memurlarından dil öğrenmek isteyenlere yabancı dil öğretmek amacıyla Tercüme Odası’nı kurdu. Odanın başına getirilecek olana ayda 500 kuruş maaş verilmesi için talimat verdi. Yahya Efendi’nin, Mühendishane’deki görevinden alınarak asaleten Babıâli Tercümanlığı’na ve Tercüme Odası’nın başına getirilmesiyle Tercüme Odası kurulmuş oldu.