Google отвори кода TensorFlow Runtime (TFRT) и открива нов лейър на техния фреймуърк за задълбочено обучение TensorFlow, който позволява на моделите да постигат по-добра ефективност на инференция в различни хардуерни платформи. В сравнение с предишното изпълнение, TFRT подобрява средната латентност на извода с 28%.

Ерик Джонсън, продуктов мениджър TFRT и Mingsheng Hong, направи преглед на TFRT в публикация в блога. Ролята на TFRT е да изпълнява в kernel, специфични за устройството примитивни операции, които са написани за специфичен хардуер. Ефектното изпълнение извиква директно TFRT ядра, докато изпълнението на графиката изисква графиката да бъде „спусната“ до междинно представяне, преди да извика ядрата. Други подобрения включват повече поддръжка за едновременно изпълнение и подобрения на разширяемостта на кода.

TFRT и TensorFlow framework са публикувани в GitHub.