Desbloqueando o poder do Infiniband: um mergulho profundo em cabos de cobre e soluções de conexão direta

Nas últimas décadas, tecnologias eficientes de fluxo e transmissão de dados amadureceram, e o Infiniband se destaca como um meio eficaz. Essa evolução permite que o desempenho de alta largura de banda e baixa latência de abertura prolifere. O Infiniband facilita a interconexão de processadores e dispositivos de E/S em um ambiente onde comunicações de dados de alta velocidade são vitalmente desejadas. Este blog aborda o cabo de cobre e aspectos de aplicação de conexão direta do uso do Infiniband. Tentaremos encontrar maneiras de otimizar esses componentes para uso nas 'infraestruturas de computação' atuais que sempre foram agressivas. Sendo completos e detalhados, explicamos o funcionamento do Infiniband sobre o par trançado de cobre, seus benefícios e fatores econômicos e industriais que devem ser considerados antes de mergulhar na implementação. No geral, este artigo oferece uma compreensão completa do uso e da alavancagem do cabeamento Infiniband, considerando outros padrões e melhores práticas da indústria para que, no final, o leitor esteja equipado o suficiente para aplicar essa tecnologia em seu trabalho, resultando em melhor desempenho.

O que é Infiniband e como funciona?

A tecnologia Infiniband se destaca pelo seu papel de expectativa em taxas de transferência de dados voltado para baixa latência e alta largura de banda, apesar de conectar apenas dois dispositivos. É comumente empregado em sistemas de computador e arquiteturas de soluções empresariais que enfrentam cargas de trabalho exigentes. Para atingir essa capacidade, a tecnologia usa uma rede de roteadores conectados com a ajuda de cabos e fibras ópticas. Ela move pacotes de dados entre muitos canais, reservando largura de banda de forma eficiente, ao mesmo tempo em que diminui o tempo gasto na comunicação por meio de RDMA movendo dados. Isso permite que os dados se movam entre as memórias do sistema em vez de passar pela CPU, o que preserva o desempenho do sistema e reduz os limites em configurações de computação, como DDR.

Compreendendo os fundamentos da tecnologia Infiniband

Para compreender a tecnologia Infiniband em seu contexto completo, é apropriado mencionar seus elementos essenciais e conceitos de design. Como uma tecnologia, o Infiniband foi projetado com uma arquitetura em camadas, que inclui camadas físicas, de link e de rede e, consequentemente, permite facilidade na transmissão de informações por toda a infraestrutura. As incursões físicas consistem em cabos blindados de alta capacidade, seja água ou fibra óptica, que transmitem um sinal de dados. A camada de link lida com o controle de fluxo e detecção/correção de erros. Em contraste, a camada de rede é responsável por entregar pacotes de dados aos destinos finais, garantindo que o gerenciamento de cabos twinax de cobre conectados diretamente funcione sem problemas. Entre os fatores para o Infiniband está o recurso RDMA que permite que os dados sejam transferidos diretamente de um local de memória para outro, mas em um nó diferente, sem passar pela CPU, o que significa menos latência. O Infiniband é um tipo de intercomunicação, um meio adequado para data centers e ambientes de cluster de computação de alta expansão, que exigem recuperação e transferência rápidas de dados.

Como o Infiniband se compara à Ethernet?

Infiniband e Ethernet são tecnologias populares de transmissão de dados, mas satisfazem requisitos e padrões distintos. Infiniband é excepcional devido à sua alta taxa de transferência e baixa latência, tornando-a adequada para computação de alto desempenho (HPC) e data centers que se concentram em processamento de dados de alta velocidade. Ela pode trabalhar a 100 Gbps e múltiplos disso. Ela tem o recurso RDMA, que permite a transferência de dados sem sobrecarregar a CPU.

Pelo contrário, a Ethernet, por ser mais disponível e mais barata, domina a implantação de redes gerais. Embora a Ethernet tenha aumentado em velocidade ao longo dos anos, com os últimos avanços chegando a 400 Gbps, ela fica atrás da latência oferecida pela Infiniband. O desenvolvimento atual da Ethernet RDMA sobre Ethernet Convergente (RoCE) persegue esse objetivo, mas a Infiniband é preferida em áreas onde cada microssegundo é crítico. Assim, os requisitos de desempenho da infraestrutura de rede e as considerações de custo parecem determinar a escolha entre os dois tipos de redes.

Explorando o papel do cabo Infiniband na transferência de dados de alta velocidade

O sistema Infiniband fornece uma interconexão de alta velocidade entre os nós de computação da infraestrutura de rede, o que pode ser alcançado usando Cabos Infiniband. Um cabo Infiniband pode suportar arquitetura de alta transferência de dados, pela qual a tecnologia Infiniband é reconhecida por sua largura de banda necessária e baixa latência de comunicação. Esses cabos suportam sistemas Infiniband de pacotes propagando a transmissão de pacotes para nós e vice-versa. Eles reduzem significativamente a sobrecarga, que de outra forma seria causada por abordagens de rede padrão devido ao seu recurso RDMA (Remote Direct Memory Access). Com esse recurso, os aplicativos podem acessar diretamente a memória remota sem passar pela CPU. Isso contribui muito para aumentar a eficiência da recuperação de dados em um cluster. No contexto do sistema HPC, onde o desempenho é primordial, selecionar cabos Infiniband, como o twinax de cobre de conexão direta passiva 30AWG, otimiza todos os benefícios da implementação da tecnologia em data centers e clusters HPC.

Por que escolher Direct Attach Copper para sua rede?

Benefícios do uso de cabos de cobre de conexão direta

Os cabos de cobre de conexão direta (DAC) estão se tornando cada vez mais populares devido ao seu baixo custo e desempenho em ambientes de data center. Primeiro, esses cabos são mais eficientes em termos de energia e têm menor latência de milissegundos do que as alternativas ópticas, tornando-os adequados para interfaceamento de rack onde a velocidade e o consumo de energia são críticos. Segundo, os cabos DAC são mais confiáveis ​​e duram mais, pois são feitos de materiais mais resistentes ao desgaste devido a conexões e desconexão frequentes, o que aumenta o ciclo de vida. Terceiro, a implantação é econômica, pois não precisa de transceptores extras, então a instalação é mais direta, especialmente quando cabos twinax de cobre de conexão direta passivos são usados. Essas características tornam os cabos DAC uma solução razoável e adequada para redes densamente compactadas e ambientes HPC.

Comparando Cobre de Conexão Direta vs. Óptico Ativo

À medida que começamos a analisar os cabos de cobre de conexão direta (DAC) para os cabos ópticos ativos (AOC), algumas diferenças importantes se revelam, permitindo que um indivíduo escolha entre um ou outro, dependendo do requisito de rede. Considerando uma versão 30AWG adequada para conexões que geralmente ficam dentro ou entre os racks em um data center, os cabos DAC geralmente atendem a conexões de curto alcance e são mais confiáveis ​​e razoavelmente baratos, consumindo menos energia. Devido à sua construção robusta, que suporta a força de conexão e desconexão frequentes, a latência resultante é significativamente baixa e a conectividade é altamente confiável.

Por outro lado, enquanto o cabeamento DAC fornece boa largura de banda, o cabeamento AOC tem a vantagem de ser capaz de se conectar em distâncias maiores e, portanto, geralmente é necessário junto com DACs quando se pretende comunicar em longas distâncias. Devido a essa preocupação ou falta de áreas de preocupação, alguém acharia o AOC mais fácil de usar e menos pesado, o que se beneficia do uso ativo do AOC. Isso representa uma preocupação de acessibilidade, pois eles são caros em comparação ao AOC, considerando que exigem componentes adicionais, como transceptores. Cada solução dentro das duas opções tem restrições: distância, design de instalação, complexidade, consumo de energia e orçamento.

Escolhendo o cabo de cobre de conexão direta certo para suas necessidades

A seleção do cabo Direct Attach Copper (DAC) adequado para seu serviço é determinada pelas especificidades de sua rede. Primeiro, é essencial decidir sobre a taxa de dados necessária para a aplicação; os cabos DAC estão disponíveis para compra para taxas de dados que variam de 1 Gbps a 400 Gbps. Em seguida, prossiga para avaliar a distância entre as extremidades do conector. Como os cabos DAC são otimizados para conexões de curto alcance (geralmente menos de 10 m), eles são usados ​​preferencialmente em aplicações intra-rack. Além disso, é necessário manter a compatibilidade com o hardware já em uso para obter os melhores resultados. Áreas economicamente sensíveis que também visam baixo consumo de energia encontrariam cabos DAC superiores aos cabos ópticos. Finalmente, considere seu ambiente e com que frequência os cabos são conectados e desconectados, pois os cabos DAC podem suportar uma quantidade razoável de desgaste. Isso significa que os cabos durarão mais e serão mais confiáveis ​​em situações de rede em constante mudança.

Como selecionar o cabo de cobre certo para EDR de largura de banda infinita?

Principais características a serem procuradas em um conjunto de cabos de cobre

Várias características-chave devem ser examinadas para um conjunto de cabos de cobre projetado para atender à largura de banda padrão EDR (Enhanced Data Rate). Primeiro, a largura de banda em questão deve ser revisada para verificar se ela pode facilitar a comunicação de dados seguros de alto volume, além da baixa latência. Além disso, investigue os avanços em materiais condutores e construção que devem melhorar a blindagem EMI ou melhorar o aproveitamento da malha. A integração com esses protocolos para conectividade é um requisito essencial para o aprimoramento futuro dos sistemas existentes. Outros recursos incluem durabilidade, confiabilidade e flexibilidade, pois designs espessos capazes de bom revestimento suportam flexibilidade em condições de trabalho ativas. Considere também o desempenho térmico e a eficiência energética, pois serão benéficos para a confiabilidade e sustentabilidade de longo prazo da solução de rede.

Compreendendo as capacidades de taxa de dados e largura de banda

Ao avaliar a largura de banda infinita do EDR, os principais recursos de taxa de dados e largura de banda são a frequência do sinal, modulação e capacidade do canal. Frequências mais altas têm um potencial de transmissão de dados mais significativo, enquanto o EDR QSFP28 tem uma taxa de transferência de dados mais alta. Modulações de amplitude e frequência são igualmente cruciais na transferência de dados de forma mais eficiente por unidade hertz de largura de banda. A palavra do vocabulário pode ser definida como a capacidade do canal, que, de acordo com o teorema de Shannon – Hartley, inclui a taxa de bits máxima possível em uma largura de banda específica em um nível de ruído particular. A utilização adequada da largura de banda deve considerar esses elementos se os cabos de cobre devem ter um desempenho ideal dentro de uma rede necessária, reduzindo o tempo necessário.

Garantindo a compatibilidade com os sistemas EDR Infiniband

Os componentes de hardware e software devem ser endereçados para expandir a interoperabilidade com sistemas de taxa de dados aprimorados pelo InfiniBand. Incorporar adaptadores, switches e cabos Prefined com recursos que suportam a funcionalidade EDR do InfiniBand é essencial. Adotar adaptadores de rede convergentes estende ainda mais as redes sobre a infraestrutura de data center existente. Além disso, o endosso de especificações estabelecidas por empresas profissionais como a InfiniBand Trade Association garante a coerência dos componentes de rede. Atualizações regulares de drivers e firmware também são essenciais para manter o desempenho e o nível de segurança do funcionamento do software. Não negligenciar os requisitos de interoperabilidade protege contra perturbações significativas e permite transferências de dados eficazes entre sistemas de rede.

O que faz os cabos NVIDIA Infiniband se destacarem?

Explorando as vantagens das soluções NVIDIA Infiniband

As soluções NVIDIA têm muitas vantagens, tornando-as viáveis ​​para redes de computadores de alto desempenho. Por exemplo, elas se destacam em fornecer alta largura de banda. Isso melhora o desempenho do aplicativo porque há uma alta taxa de transmissão de dados, o que significa que até mesmo aplicativos de big data rodam sem problemas. Enquanto redes tradicionais ou tecnologias de comunicação podem introduzir um atraso de latência, o InfiniBand, implementado em sistemas MicroTCA de latência mais baixa, tem vantagens em registrar esses dados durante todo o ciclo de análise. 

Além disso, os requisitos de rede estão crescendo, especialmente para Nvidia InfiniBand, que continua a fornecer melhor desempenho de rede. Isso é necessário para aumentar o número de data centers, o que garante integração perfeita com ambientes que são clusters maiores.

Além disso, os recursos que se enquadram no NVIDIA InfiniBand têm capacidades avançadas de gerenciamento de rede que ajudam a executar tarefas de forma eficaz. Tais recursos incluem roteamento inteligente, controle de surtos e outros mecanismos avançados de detecção e correção de erros. Tais recursos eram essenciais para começar, especialmente dado o propósito das soluções InfiniBand, que oferecem maior eficiência e estabilidade em todo o servidor em auxílio a tarefas extenuantes para o servidor enfrentar sem queda de desempenho.

Comparando as ofertas Mellanox e NVIDIA Infiniband

A primeira coisa a lembrar ao falar sobre as tecnologias de rede da NVIDIA e da Mellanox é que elas compraram a Mellanox Technologies em 2020, o que significa que agora fazem parte do mesmo ecossistema organizacional. Essa união não estava presente antes, então o relato histórico difere. Elas também são conhecidas por suas inovações que incendiaram a indústria. Seus produtos foram cruciais para construir infraestruturas massivas de servidores e armazenamento sem serem sobrecarregadas.

O InfiniBand da NVIDIA continua a melhorar devido à rica herança da Mellanox. Essas soluções também foram integradas em infraestruturas Nvidia mais robustas, como aquelas que auxiliam nos requisitos de carga de trabalho e otimização de IA. A combinação da tecnologia principal da Mellanox e os desenvolvimentos da NVIDIA ajudam a Mellanox e outras a fornecer serviços de movimentação de dados contínuos, garantindo a disponibilidade máxima de transferência de dados em várias redes. A NVIDIA comercializa soluções InfiniBand hoje porque a empresa construiu uma riqueza de experiência em tecnologia de rede por décadas.

Como instalar e manter cabos de cobre de forma eficiente?

Melhores práticas para instalação de conjuntos de cabos de cobre

Para minimizar a interferência e as limitações de manutenção futura, analise o curso e as extremidades em detalhes para garantir a instalação engenhosa dos conjuntos de cabos de cobre. Empregue materiais de alta qualidade, conforme especificado nas normas relevantes, para garantir durabilidade e desempenho satisfatório. Instale o raio de curvatura de acordo com as instruções para não torcer os cabos durante a instalação, o que causará distorção do sinal na instalação definida. Evite tensão excessiva e danos ao longo do tempo, prendendo-os adequadamente com hardware, por exemplo, para conexões QSFP de alta densidade. Identifique cada cabo com uma etiqueta e mantenha sua integridade para manutenção e solução de problemas futuros. Conectores que utilizam tecnologia EDR ou FDR devem sempre ser verificados durante inspeções de rotina para garantir que a instalação esteja em conformidade com os requisitos de desempenho. O excelente desempenho do trabalho e a vida útil da infraestrutura de cabos são garantidos se tudo for seguido corretamente.

Dicas de manutenção para prolongar a vida útil dos cabos de cobre e Twinax

Para maximizar a longevidade dos cabos de cobre e twinax “New Improved cables”, a manutenção adequada, incluindo limpeza constante, é crucial. Manter os fios limpos também envolverá examiná-los rotineiramente para quaisquer instâncias de danos que possam resultar em uma redução em seu desempenho. Sempre fique de olho nas condições ambientais, garantindo um nível ideal de temperatura e umidade para que a expansão e contração térmicas não ocorram, aumentando a integridade das cargas. Além disso, certifique-se de que não haja uso em dobrar os cabos além do raio e que as braçadeiras dos cabos não estejam apertadas demais para evitar braçadeiras. A fiação auxiliar deve ser colocada para evitar que a interferência eletromagnética afete os fios, aumentando assim o sinal. Com a adesão a esses princípios, a manutenção regular dos cabos garantirá a máxima confiabilidade e eficiência.

Lidando com problemas comuns em instalações de cobre de conexão direta

Redes de cobre conectado diretamente (DAC) também sofrem com quedas de conexão, diafonia ou manuseio incorreto dos cabos. É essencial colar os conectores completamente e pelos dispositivos que estão sendo conectados para evitar desconexões. Se campos magnéticos fortes cercarem a estrutura física, medidas de aterramento adequadas são necessárias para eliminar a interferência com o sinal. Cabos DAC blindados também forneceriam o CADM necessário com degradação mínima de desempenho, especialmente ao usar configurações 4x. O roteamento eficaz dos cabos é necessário; roteamento ruim e curvas apertadas dos cabos levam a forças mecânicas sendo colocadas nos fios, o que provavelmente encurtará a vida útil dos cabos. Isso deve ser feito em termos de orçamento e ao longo do tempo para que melhorias ou implantação de tecnologia possam ser feitas apenas em áreas ou dispositivos que exijam alterações.

Fontes de Referência

InfiniBand

Cobre

Fibra ótica

Perguntas Frequentes (FAQs)

P: Quais são os benefícios de usar cabos QSFP28 100G EDR Infiniband?

R: Os cabos QSFP28 100G Infiniband são projetados para sustentar velocidades de até 100G, permitindo assim que eles suportem alta largura de banda, baixa latência e bom desempenho geral em data centers que exigem tais tecnologias. Eles são adequados para redes de computação e armazenamento de alto desempenho. Essas configurações estão disponíveis hoje em DAC (Direct Attach Copper) e AOC Active Optical Cable, que permitem opções twinax para aquelas distâncias que não são suficientes para cabos ativos. 

P: Compare os cabos DAC e AOC para violar a distância para conexões InfiniBand. 

R: Conectar cabos DAC (Direct Attach Copper Offers) é barato e pode estender a distância de conectividade que é adequada para entre 5 e 7 metros usando cabos twinax de cobre passivos. O cabo óptico ativo AOC permite uma extensão maior entre fios usando fibra óptica, permitindo conexões de até 100 metros de distância sem perda no desempenho do cabo. Embora acessíveis, os AOCs têm melhor desempenho em conectividade, estendendo distâncias enquanto pesam menos dependendo das zonas; a única desvantagem é que os AOCs são mais caros do que os fios de cobre.

P: Quais são os comprimentos disponíveis dos cabos QSFP28 para QSFP28 Infiniband?

R: Os cabos Infiniband têm diferentes tipos de comprimentos de cabo para vários requisitos de data center. Os comprimentos padrão para cabos DAC variam entre 1 m e 7 m, ou seja, entre 1 m, 2 m, 3 m, 5 m e 7 m. As contrapartes AOC são fabricadas em até 10 m, 15 m e 20 m e compactadas em até mais de 30 m. A essência de obter o comprimento correto do produto é melhorar o desempenho efetivo reduzindo a perda de sinal.

P: Quais parâmetros devo considerar para meus produtos Infiniband? 

R: Todos os fatores, como taxa de dados necessária (EDR, HDR, NDR), espaço entre dispositivos, tipos de conectores (QSFP28, QSFP56), e o plano financeiro definido deve ser considerado ao tomar decisões para que a rede Infiniband funcione de forma eficiente. Os cabos DAC Twinax são acessíveis quando os dispositivos estão por perto. Os AOCs são aconselháveis ​​para longas execuções ou em uma instância onde a expansão é uma possibilidade. Além disso, confirme se seus dispositivos de rede estarão ok e certifique-se de ter os cabos breakout ou transceptores necessários.

P: Quais são as vantagens dos cabos passivos twinax de cobre quando usados ​​em redes Infiniband?

R: Os cabos de cobre passivos Twinax, ou DACs, têm várias vantagens em redes Infiniband. Eles são cabos twinax de cobre passivos, de conexão direta e baratos, que proporcionam baixo consumo de energia e são eficazes apenas ao operar em curtas distâncias. Esses fios têm baixos níveis de latência e são mais adequados para interconexões e aplicativos de links de topo de rack (TOR). Eles também são simples de implementar, pois não precisam de transceptores separados, o que os torna cada vez mais populares em muitos cenários de data center, principalmente quando cabos twinax de cobre de conexão direta são empregados. 

P: Existem outras plataformas além da Infiniband nas quais os cabos 100G EDR QSFP28 funcionariam?

R: Os cabos QSFP28 Infiniband EDR são frequentemente compatíveis com outros padrões de rede 100G, como 100GBASE-CR4 para Ethernet. No entanto, é essencial testar a compatibilidade do equipamento. Cabos especialmente projetados para usos mais amplos apenas para oferecer suporte a Ethernet e Infiniband podem fazer isso, enquanto outros cabos podem oferecer suporte a apenas um protocolo. Sempre verifique as especificações e entre em contato com o fabricante ou fornecedor para obter detalhes sobre compatibilidade.

P: Quais são os padrões Infiniband recentemente implementados e como eles se comparam ao EDR?

R: Infiniband SDR (Single Data Rate), DDR (Double Data Rate), QDR (Quad Data Rate) e EDRA são os padrões de cobertura mais contemporâneos. HDR suporta até 200 Gb/s por porta usando conectores QSFP56, enquanto NDR o empurra para 400 Gb/s. Esses padrões têm alta largura de banda e têm melhor desempenho do que EDR, que é de 100 Gbps. No entanto, EDR ainda é bastante prevalente e é satisfatório para a maioria dos sistemas existentes. Considere a expansão da sua rede e o custo-benefício de implementar novas técnicas ao atualizá-la.