Você já parou para pensar na quantidade e variedade de dados que geramos e armazenamos a cada dia? Bancos, companhias aéreas, operadoras de telefonia, serviço de busca on-line e redes de varejistas são apenas alguns dos inúmeros exemplos de empresas que convivem diariamente com grandes volumes de informação. A questão é que apenas ter dados não basta: é importante conseguir e saber usá-los. É aí que o conceito de Big Data entra em cena.
A princípio, podemos definir o conceito de Big Data como sendo conjuntos de dados extremamente grandes e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.
Amigos, segue abaixo mais um artigo cedido pelo Paulo Roque…
Esses dias, lendo uma apresentação de produtos HPN e estranhei que existiam vários novos switches com “deep packet buffering” (5830AF-96G, 5830AF-48G, 5920AF-24XF). Estranhei porque buffering significa latência e congestionamento. Aí fui dar uma olhada no motivo …
Acontece que a virtualização aumentou a quantidade de tráfego de rede por rack e aumentou também a ocorrência de picos/congestionamento instantâneos. A reação a isto foi o surgimento do switches para datacenter tipo ToR (top of rack) com “deep packet buffering”. Eles foram desenhados para acomodar os picos ao invés de simplesmente “dropar”/retransmitir como na abordagem tradicional. Eles também favorecem o tráfego storage (iSCSI e FCoE) que é bem sensível a perdas. Outros fabricantes também lançaram modelos na mesma linha: Cisco Nexus, Juniper EX2400, EX2500, QFX3500.
Este artigo da Network World (em inglês) é rápido e legal sobre o assunto:
O Estadão publicou uma reportagem muito bacana sobre a possibilidade de fazer um passeio virtual por alguns Data Centers do Google. O Site mostra imagens de oito centros de dados da empresa; no de Lenoir (EUA), é possível fazer tour pelo Google Street View.
Para quem gosta de saber ou está procurando informações sobre o funcionamento de Data Centers o serviço é um prato cheio!
Mais informações podem ser encontradas no site da própria empresa http://googlegreenblog.blogspot.com.br/ como designs, melhores práticas, fotos, videos, etc
O termo SDN (Software Defined Networking) descreve uma arquitetura que separa o Plano de Dados do Plano de Controle dos equipamentos de rede como Switches e Roteadores. Com o SDN o Plano de Controle é administrado em Software Centralizado separado do equipamento de rede e é independente de soluções e protocolos dos fabricantes (desde que soluções abertas sejam utilizadas).
O Openflow é o protocolo impulsionador do padrão SDN, apesar da arquitetura ser independente do protocolo.
Arquitetura SDN extraída de um White Paper da HP
A grande questão é: Quanto tempo levamos para uma alteração ou implantar um novo projeto em uma grande rede com virtualização com a utilização temporária de grandes recursos de rede como servidores, aplicação de QoS, banda, segurança, VLANs estendidas pelo Datacenter ?
O grande charme da arquitetura SND é possibilitar a rápida configuração da rede conforme a demanda dos Serviços e Negócios das Empresas, além de permitir a criação de features e protocolos independente dos fabricantes.
Inúmeras movimentações das principais Empresas de Redes estão ocorrendo para a oferta de produtos compatíveis com o modelo, como a compra da Nicira pela VMware, o oferecimento de Switches e Softwares pela HP, etc.
No youtube é possivel encontrar diversos vendors explicando a arquitetura, e abaixo segue dois videos um da Vmware e um pela Nicira que resume bem o assunto e os produtos.
Video Produzido para o VMworld2012 com legendas em Português
Atualmente temos a disposição (de compra) um grande número de equipamentos híbridos que atribuem funções de diferentes segmentos/equipamentos para um unico dispositivo.
Roteadores atribuem cada vez mais funções de serviços integrados como Wireless, Voz, além de apenas rotear pacotes IP. Firewalls atribuem funções de Proxy, Antivirus, IPS; E a função de Switches agora estão incorporadas em enclosures e/ou sistemas para VMs.
Para quem sempre usou Software Livre com esses serviços atribuídos em um único Servidor talvez isso não seja uma novidade e são conceitos que retornam em uma nova roupagem dentro de appliances.
As necessidades de novos serviços aprimoram as de redes com atributos de alta densidade, alta velocidade e baixa latência que consolidadas permitem a escalabilidade em Data Centers e melhoram o gerenciamento, enquanto controlam os custos de TI.
Um modelo muito utilizado para Data Centers utilizam-se de Redes isoladas para serviços de dados IP (sobre Ethernet ) e uma outra rede Fibre Channel para Armazenamento – Storage Area Network (SAN).
Os equipamentos deveriam utilizar diferentes módulos de interface para cada uma dessas Redes: placas de rede Ethernet (NICs) e interfaces Fibre Channel em seus servidores, além de pares redundantes de Switches em cada camada da arquitetura de rede.
O uso de infra-estruturas paralelas aumenta os custos em diversos segmentos, dificulta o gerenciamento e diminui a flexibilidade do negócio.
O conceito de Consolidação de I/O no Data Center resultou em grandes evoluções para o segmento , permitindo o compartilhamento de uma única infra-estrutura integrada para Fibre Channel e Ethernet com uma unica rede de Dados e Storage (dentro de uma unica rede convergida) valorizando as iniciativas de virtualização de servidores.
O Protocolo FCoE
O protocolo FCoE – Fibre Channel over Ethernet tem recebido grande aceitação pelo mercado para consolidação de I/O em Data Center. Inúmeros fabricantes como Cisco, HP, Brocade, etc vem desenvolvendo Switches com o protocolo integrado a equipamentos antes dedicados apenas a encaminhamento de quadros Ethernet. O FCoE permite o encapsulamento de Fibre Channel dentro de quadros Ethernet com o uso de um Ethertype dedicado, 0×8906. O quadro Fibre Channel deverá manter-se intacto dentro do Ethernet e não é roteável via IP.
FCoE também é complementado por novos ajustes no Ethernet chamadas de Data Center Bridging (DCB). O DCB é uma coleção de padrões do IEEE 802.1 que permitem melhorias no protocolo Ethernet para Data Centers resolvendo questões para descarte de pacotes e priorização de tráfego em congestionamentos, etc. A exigência de uma rede de armazenamento é “sem perdas na transmissão de quadros”. As melhorias fazem o Ethernet “compatível” com uma rede de Storage:
802.1Qbb – Priority-Based Flow Control
PFC: Permite a priorização e identificação de tráfego
802.1Qaz – Enhanced Transmission Selection
ETS: permite grupos com diferente prioridades e alocação de banda para grupos PFC
802.3Qau – Congestion Notification
CN: Sinalização de congestionamento, permitindo o comportamento lossless para o Ethernet.
DCBX – Data Center Bridge eXchange
DCBX: Descoberta de configuração e das características acima entre vizinhos para garantir uma configuração consistente utlizando o IEEE 802.1AB (LLDP).
CNA
As interfaces fisicas para conexão de rede para o FCoE são chamadas de CNA (Converged Network Adapter), combinando a funcionalidade de um adaptador HBA com uma NIC. As interfaces CNA preservam a compatibilidade com o software, middleware e ferramentas de gestão.
Segue abaixo um video (em inglês) bem didático da EMC sobre a necessidade de uma rede LAN & SAN convergente com FCoE e mais abaixo algumas referências sobre o protocolo no site da Cisco, EMC, IBM e NetApp.
O termo “openflow” tem sido cada vez mais abordado em sites de Tecnologia de Redes, Pesquisa, Trabalhos de Universidades e Datacenters. O Openflow é um padrão em desenvolvimento para a administração de Redes LAN e WAN com foco em equipamentos comerciais como Switches, Roteadores, Access Points, etc.
A idéia é bem simples, trazer o plano de Gerenciamento de todos dispositivos da rede para um único software que será responsável por criar VLANs, Roteamento, QoS e etc. (O protocolo não possui parentesco com o Netflow ou o Sflow)
A grande sacada do Openflow é permitir o trabalho com dispositivos de diversos fabricantes que suportem o padrão de forma que se possa incluir novas features e protocolos a partir do plano de Controle independente do hardware/software do Switch, manipulando o plano de dados e/ou encaminhamento desses dispositivos (chamado de flow-table); trazendo o conceito de Sistema Operacional de Rede, utilizado para realizar um gerenciamento centralizado, assim como faz uma Controladora wireless para os AP’s. Com isso termos como SDN (Software Defined Networking) ganham grande importância no assunto.
Essas funcionalidades torna possível a criação de um sistema operacional de rede que abstrai as inúmeras particularidades dos equipamentos e a grande complexidade dos sistemas, assim como o Linux e o Windows fazem em computadores pessoais.
O OpenFlow nos permite controlar o fluxo de cada tráfego de rede – escolhendo as rotas que seus pacotes deverão seguir e o processamento que receberão. Desta forma, o torna-se possível experimentar novos protocolos, novos modelos de segurança, e/ou novos esquemas de endereçamento, novos protocolos de rede, sem afetar a rede em produção, podendo-se segmentar/fatiar a rede em produção para testes, simulações e segmentações.
Diversos fabricantes como Arista Networks, Big Switch Networks, Cisco, Embrane, IBM, Juniper, Nicira e NEC trabalham em projetos envolvendo o protocolo, inclusive alguns desses fabricantes já possuem Switches no mercado com suporte ao protocolo.
Outro dia me deparei com a situação de se criar um site backup para um grande Datacenter, neste artigo venho apresentar conceitos básicos que deverão ser analisados quando se precisa deste tipo de solução. Vamos supor que a empresa RotaDefault tenha uma aplicação de missão critica chamada rdef está aplicação é utilizada por usuários de várias filiais de nosso empresa que se conectam ao Datacenter RotaDefault via uma UP (Unidade Provedora) proprietária e ou contratada de alguma operadora qualquer.
A solução de site backup visa prover disponibilidade para o negócio rdef da empresa Rota Default e também deverá ter transparência para seus clientes quando o Datacenter principal ficar indisponível e o Datacenter backup assuma as requisições a aplicação rdef (de nosso exemplo) de forma automática e com baixo impacto para o usuário.
O crescimento da Infra-Estrutura acompanha o crescimento do negócio. O sucesso do negócio rdef não é afetado por problemas no Datacenter, porém de acordo com os serviços disponibilizados, em uma nova fase poderá ser necessário realizar um Upgrade no link ponto a ponto entre os prédios.
Toda Infra-Estrutura será montada de acordo com a parte relevante que atende ao negocio e desta forma poderemos manter o plano de endereçamento atual e as liberações de firewall controladas de acordo o site principal.
Ambos os sites irão possuir links redundantes que atuarão como UP (Unidade Provedora) para as filiais do Rotadefault provendo assim o negocio; Possuirão também links ponto a ponto redundantes que irão possibilitar a replicação dos dados e ou gravação simultânea dos registros inseridos no rdef. Desta forma A UP Secundaria sempre estará atualizada.
Topologia ilustrativa da solução
Infra-Estrutura básica para atender DATACENTER redundante
Os serviços disponibilizados no site backup necessitarão de:
Infra-Estrutura física e lógica similar ao DATACENTER principal
Possibilidade de aumento de Banda, mediante termo aditivo ao Contrato da operadora do link
Solução multi-layer, com possibilidade de expansão
Ativação de UP Secundária
Ativação de Link ponto a ponto entre site principal e site backup
Monitoramento de rede pró-ativo
Suporte técnico 24 x 7 x 365
Serviços de Backup com armazenamento de mídia em área segura
Firewalls assegurando proteção da rede
Acesso de pessoal restrito com alto nível de controle
A instalação física e lógica compreende a execução dos procedimentos técnicos necessários à preparação e à operacionalização da solução sendo que qualquer modificação e/ou adaptação da infra-estrutura física, lógica deverá obedecer às normas técnicas ABNT e da EIA/TIA aplicáveis. Lembrando que temos as seguintes situações:
Estrutura Física
Ambiente localizado longe do DATACENTER principal
Rede elétrica estabilizada e redundante
Roteadores
Switches
Firewalls
Cabeamento Estruturado
Servidores
Estrutura Lógica
Contratação de uma UP (Unidade Provedora) secundaria da rede de dados
Contratação de um Link ponto a ponto entre Matriz e site Backup para realizar a replicação dos dados
A operadora (órgão provedor do link ponto a ponto) precisara prover Infra-Estrutura técnica de DCI (Data Center InterConnect)
Rota default é administrado por Ricardo Pereira, Diego Dias e Roger Sales.
Ricardo é Pós-Graduado em Segurança da Informação, trabalha como Analista de Segurança em Redes de Computadores e possui as certificações CCSP, MSCE Security e ITILv2.
Diego Dias é Tecnólogo em Redes de Computadores, trabalha como Analista de Redes de Computadores e possui as certificações CCNP, HP ASE e ITILv2.
Roger Sales é bacharelando em Ciências da Computação, Analista de Redes de Computadores e possui as certificações CCNA e ITILv2.
