Poderá a PS5 ter hardware dedicado a Machine Learning que iguala ou supera os Tensor Cores da Nvidia?

A situação, a existir, nem sequer será segredo, apesar de não ter sido abordada nesse sentido.

Durante o The Road to PS5, Mark Cerny deu a conhecer duas situações às quais poderá não estar a ser dado o respetivo relevo. Naturalmente, e antes de começar, deixemos claro que o artigo que se segue se baseia em especulação, motivo pelo qual o mesmo poderá ser usado como base de reflexão, mas nunca como uma verdade, uma vez que as conclusões a que aqui se chega não estão comprovadas como sendo verdade.

Mas vamos a factos:

Facto 1

A apresentação “The Road to PS5” estava prevista como sendo apenas a primeira de algumas apresentações sobre as capacidades da PS5. Nesse sentido, nada nos garante que o que ali foi apresentado diz respeito à totalidade das alterações implementadas pela Sony na sua consola.

Facto 2

Devido à má interpretação por parte dos media de muitas das tecnologias apresentadas, a Sony resolveu cortar com as apresentações seguintes. E desde essa altura não mais deu a conhecer qualquer dado sobre a PS5, optando por “deixar os jogos falarem por si”.

Facto 3

Durante o “The Road to PS5”, o novo Geometry Engine da PS5, foi apresentado com um ícone de um cérebro, denotando a possível existência de alguma capacidade de inteligência artificial associada.

Facto 4

A Sony possui patentes e direitos sobre o Cell, uma unidade de processamento bastante avançada para o seu tempo, que era um misto de CPU com GPU.

Facto 5

Durante o the Road to PS5, Mark Cerny deu a conhecer a presença de um CU adicional e não contabilizado no GPU, que foi alterado para poder ter um comportamento semelhante a um dos SPUs do Cell.

Estes factos iniciais são a base da especulação que se segue. Pela ausência de informações adicionais vindas da Sony, esta é a base que temos para análise. O que vamos fazer de seguida é pegar em outros factos, e tentar associar os mesmos a estes. E essa é a parte especulativa do artigo, pois nada nos garante que tal seja efetivamente assim.

Que outros factos temos então?

Facto 6

Os Tensor Cores da Nvidia são baseados em GEMMS ou General Matrix Multiplications, que não são mais que operações de matrizes.

Facto 6

Conforme reportado pela Military & Aerospace Electronics, a Mercury Computer Systems criou um software para aplicação em cenários de guerra baseada no Cell.

Facto 7

Este software baseia-se no uso de GEMMs pelos SPEs, sendo que a empresa relatou que a performance encontrada foi “SOBERBA”

No entanto, estamos a falar de um software de 2007, pelo que o que era soberbo na altura poderá estar agora ultrapassado face ao novo hardware.

Facto 8

A realidade é que uma rede neural de inteligência artificial de elevada precisão pode ser feita quer com operações de virgula flutuante com precisão de 32 bits (FP32), como com um misto de precisão de 16 e 32 bits (FP 16/32). Este último caso é o que acontece nos Tensor Cores da Nvidia, que trabalham com matrizes 4×4, com entrada de dados de 16 bits e saida de 32 bits. Isso fica demonstrado no documento que se segue:

Facto 9

O Cell possuia suporte a Int 8, Int 16, FP 32 e FP 64, mas não possuía suporte nativo a FP 16, pelo que nestas matrizes trabalhava sempre a 32 bits.

Facto adicional não relevante para o artigo

Apesar de o Cell não suportar FP16, os cálculos de shaders nos jogos eram quase todos realizados nessa precisão. Tal devia-se ao suporte pelo Cell daquilo que ficou mais tarde conhecido como RAPID PACKED MATH, a capacidade de processar dois comandos de 16 bits, numa única string de 32 bits.

Especulação não relevante para o artigo

O RAPID PACKED MATH apareceu nos GPUs AMD com as VEGA, sendo que a sua primeira implementação apareceu na PS4 Pro, num GPU baseado na Polaris. Poderemos aqui especular que este suporte poderá ter aparecido devido à colaboração entre a Sony e a AMD, sendo uma tecnologia adaptada do Cell que transitou para os GPUs AMD.

Facto 10

Desde as Vega que a AMD suporta FP16 nativamente, sendo que com o RDNA 1.1 a AMD acrescentou suporte Int4, Int 8, FP 16, FP 32 e FP 64, pelo que o CU adaptado para funcionar como SPE da PS5 tem suporte FP16 nativo, algo que faltava aos SPEs originais.

Tudo o que temos em cima são situações fatuais… e é com elas que iremos especular. Mas antes disso temos uma questão que ficou por responder. Como vimos a Mercury Computer Systems considerou a performance dos SPEs do Cell como excelentes, sendo no entanto que isso foi em 2007. Será que actualmente os SPEs do Cell ainda são considerados como adequados ao tipo de operações Fundidas de Multiplicação Adição (FMA) usadas no cálculo matricial das GEMM?

Essa questão é respondida neste estudo:

Facto 11

De acordo com o estudo, um único SPE (e vemos isso pelos Gflops debitados – 25,4), processa uma matriz de 64×64 com precisão de 32 bits, debitando um total de 65536 operações FMA.

Ora perante isto, só temos de tentar obter um valor de operações dos Tensor Cores da Nvidia, que como já vimos no documento acima, trabalha com matrizes bem menores, de 4×4, pelo que, sendo hardware mais recente, o mais certo é esmagar o valor do Cell.

No entanto, a coisa não é bem assim:

Facto 12

Apesar dos seus Tflops, o número de operações FMA realizados em matrizes de 4×4 é de 40960. Um único SPE consegue realizar 60% mais operações deste tipo que os 640 Tensor Cores da Nvidia, e tudo isto usando matrizes bem mais complexas, e uma precisão fixa de 32 bits (a Nvidia, como já tínhamos visto, usa 16 bits de entrada e 32 bits de saída).

A não haver má interpretação dos dados, os SPEs são uma besta otimizada para este tipo de cálculos. A ideia de Ken Kutaragi na criação do Cell era um CPU, ou uma unidade de processamento genérico,  com SPEs que rivalizasse com os GPUs, mas tudo numa arquitectura eficiente que fosse adaptada às necessidades de processamento de redes neurais.

Facto 13

E alguns dos motivos para esta alta eficiência dos SPEs, é o seu design “dataflow”, com acessos DMA, algo que foi referido por Mark Cerny como tendo sido uma das alterações realizadas ao CU da PS5 que passa a ter acessos DMA, bem como um controlador DMA dedicado, equivalente a um ou dois Zen cores.

Ora é pegando nos factos todos de cima que fazemos então a nossa especulação.

Especulação

Será que o CU alterado, apenas será usado para áudio?

Sendo este um CU, que por calculo à velocidade de relógio da consola, é capaz de 285 Gflops, a sua adaptação para funcionamento como um SPE torna-o em algo mais capaz que o SPE do estudo, ainda por cima, acrescido do suporte a FP16.

Com a potência teórica deste CU, e com os resultados de um SPE do Cell com apenas 25.4 Gflops, este pode perfeitamente processar audio, e ainda processar IA. Tudo isto com resultados iguais ou superiores aos apresentados pela Nvidia com os seus Tensor Cores.

E tal explicaria ainda o motivo pelo qual o GE foi apresentado como uma inteligência. A capacidade de processamento de redes neurais poderá ter sido apenas uma das novidades colocadas pela Sony na PS5, com o seu GE a ser uma evolução do da PS3, mas com capacidades de IA associadas.

Conclusão

Como podem ver o artigo é basicamente uma sucessão de factos, e apenas as linhas finais são especulação. Mas não se pode dizer que é uma especulação qualquer, pois não só é bastante básica nos pressupostos, como se baseia numa quantidade enorme de situações que estão dadas como fatuais.

Basicamente a Microsoft apostou na alteração do Int4, e Int 8 para acréscimo de potencialidades de IA. No entanto, esta capacidade compromete as performances do GPU. Se a Sony tiver apostado nesta situação alternativa, com um SPE dedicado que faz isso, extra GPU, teria aqui uma situação vencedora nas mãos. E o facto é que a Sony desistiu de falar, e não abordou mais nada sobre a PS5, pelo que a especulação é tudo o que nos resta.

Infelizmente nada nos comprova que tal seja verdade. Mas a realidade é que a Insomniac acaba de lançar um Patch para o jogo Miles Morales na PS5 onde, usando ML, cria deformações nos tecidos e músculos realistas. Tudo isso com a afirmação de que as performances do jogo se mantém inalteradas.

Ora apesar de não sabermos o nível de exigência deste tipo de processamento específico, a realidade é que este sendo feito no GPU deveria ter algum impacto nas performances. Afinal se nunca ninguém usou algo do género antes, por algum motivo foi concerteza. E daí estes factos terem todos vindo à cabeça e a especulação aparecido.