唐代翰林院何时设置，目前尚无定论，史载多见于唐玄宗时。一开始是各种艺能之士供职的机构，自唐玄宗李隆基选擅长文词的朝臣入居翰林以起草诏制后，演变为草拟机密诏制的重要机构，任职者称翰林学士。

当时在翰林院供职的有词学、经术、合炼（炼丹）、僧、道、卜、祝、术、艺、书、弈等各色人才，称为待诏，即听候皇帝随时召见和差遣。其中词学之士最受重视。起草诏制本是中书舍人的专职，唐玄宗感到中书舍人草拟诏制的制度难以保守机密和应付急需，因此，他挑选擅长文学的亲信官员如张说、张九龄、徐安贞等人充翰林院待诏，以备起草急诏（兼撰拟诗文），又称翰林供奉。

翰林院设置在宫内深处，麟德殿之西，比属于中书省的中书舍人院更接近于寝宫内殿（这是在长安大明宫内的情况，皇帝若住在兴庆宫、西内或东都时，翰林院的位置也比中书舍人院密近）。可能是由于待诏翰林的各色人才很杂，不能保证机密不外泄，所以开元二十六年(738)，又在原翰林院之南另建翰林学士院，专供草拟诏制者居住，供职者称翰林学士(简称学士)。学士院建立之后，待诏于原翰林院的文学之士仍称供奉或待诏，也有学士与待诏二名兼称者，如天宝七载(748)所立的《封北岳安天王碑》，撰者李荃自题衔名为“直翰林院学士供奉”；大诗人李白被称为翰林学士，也被称为翰林供奉。这种待诏于旧翰林院的文学艺能之士长期存在，而且为数甚多，据《顺宗实录》记载，顺宗即位后，曾一次即罢翰林阴阳、星、卜、医、相、覆棋诸待诏者三十二人，可见人数之众。

学士院设置之后，与中书舍人院有了明确分工。学士所起草的是任免将相大臣、宣布大赦、号令征伐等有关军国大事的诏制，称为“内制”，用白麻纸书写，故又称“白麻”；中书舍人所起草的则是一般臣僚的任免以及例行的文告，称为“外制”，用黄麻纸书写，故又称“黄麻”。

学士院有两名由宦官充任的学士院使（或称翰林院使），在皇帝与翰林学士间起传达联系的作用，在政治上有很大影响，这是唐代后期宦官专政情况下的产物。