Auroraメモ

パフォーマンス

パフォーマンス評価ガイド

• sysbenchを使用。bashスクリプトを編集すれば希望のツールを使用できる
• CloudFormationのテンプレートに一式書いてある。以下を作成する
  • EC2(c5.18xlarge) Amazon Linux 1台。sysbenchの実行、バスチオンホスト
  • Aurora DBインスタンス(r4.16xlarge Amazon Linux) 1台
  • EC2で実行するためのbashスクリプトなどをS3バケットに格納

  テンプレートはここで見れる

  内容を抜粋

  VPC、サブネット

    ## Create VPC
    LabVpc:
      Type: 'AWS::EC2::VPC'
      Properties:
        CidrBlock: 172.31.0.0/16
        EnableDnsSupport: 'true'
        EnableDnsHostnames: 'true'
        InstanceTenancy: default
        Tags:
          - Key: Name
            Value: !Join ['-', [!Ref 'AWS::StackName', Aurora Lab VPC]]
  
    ## Create Public Subnets
    PublicSubnet01:
      Type: 'AWS::EC2::Subnet'
      Properties:
        VpcId: !Ref LabVpc
        MapPublicIpOnLaunch: 'true'
        CidrBlock: 172.31.0.0/24
        AvailabilityZone: !Sub ${AWS::Region}a
        Tags:
          - Key: Name
            Value: !Join ['-', [!Ref 'AWS::StackName', Aurora Lab Subnet 1 - Public]]
    ## Create Private Subnets
    PrivateSubnet01:
      Type: 'AWS::EC2::Subnet'
      Properties:
        VpcId: !Ref LabVpc
        MapPublicIpOnLaunch: 'false'
        CidrBlock: 172.31.24.0/24
        AvailabilityZone: !Sub ${AWS::Region}a
        Tags:
          - Key: Name
            Value: !Join ['-', [!Ref 'AWS::StackName', Aurora Lab Subnet 4 - Private]]
                  

  EC2インスタンス

    ## Create the bastion host
    BastionHost:
      Type: 'AWS::EC2::Instance'
      Properties:
        SubnetId: !Ref PublicSubnet01
        InstanceType: c5.18xlarge
        Monitoring: True
        SecurityGroupIds: [!Ref SshSecurityGroup]
        KeyName: !Ref KeyName
        Tags:
          - Key: Name
            Value: !Join ['-', [!Ref 'AWS::StackName', Bastion Host]]
        ImageId: !Ref BastionAmi
        IamInstanceProfile: !Ref RootInstanceProfile
                  

  Auroraクラスター

    AuroraDestinationDBCluster:
      Type: 'AWS::RDS::DBCluster'
      Properties:
        DatabaseName: sysbench
        DBClusterIdentifier: !Sub '${AWS::StackName}'
        DBClusterParameterGroupName: !Ref AuroraClusterParameterGroup
        DBSubnetGroupName: !Ref AuroraDbSubnetGroup
        Engine: !If [Is57, aurora-mysql, aurora ]
        EngineVersion: !If [Is57, 5.7.mysql_aurora.2.04.1, 5.6.mysql_aurora.1.19.0 ]
        MasterUsername: masteruser
        MasterUserPassword: Password1
        VpcSecurityGroupIds: [!GetAtt MySqlSecurityGroup.GroupId]
      DependsOn: MySqlSecurityGroup
      DeletionPolicy: "Delete"
    ## Create First Aurora Instance
    AuroraInstance01:
      Type: 'AWS::RDS::DBInstance'
      Properties:
        AvailabilityZone: 'us-east-1a'
        DBClusterIdentifier: !Ref AuroraDestinationDBCluster
        DBInstanceClass: db.r4.16xlarge
        DBInstanceIdentifier: !Join ['-', [!Ref 'AWS::StackName', 'Instance01']]
        DBParameterGroupName: !Ref AuroraInstanceParameterGroup
        DBSubnetGroupName: !Ref AuroraDbSubnetGroup
        #EnablePerformanceInsights: 'true'
        EnablePerformanceInsights: !If [Is57, 'false', 'true' ]
        Engine: !If [Is57, aurora-mysql, aurora ]
        EngineVersion: !If [Is57, 5.7.mysql_aurora.2.04.1, 5.6.mysql_aurora.1.19.0 ]
        LicenseModel: general-public-license
        PubliclyAccessible: 'false'
    AuroraClusterParameterGroup:
      Type: AWS::RDS::DBClusterParameterGroup
      Properties:
        Description: !Join ['-', [!Ref 'AWS::StackName', 'Cluster Parameter Group']]
        Family: !If [Is57, aurora-mysql5.7, aurora5.6 ]
        Parameters:
          innodb_flush_log_at_trx_commit: 0
          innodb_sync_array_size: 1024
          max_connections: 16000
          max_user_connections: 16000
          table_definition_cache: 524288
          table_open_cache: 524288
          table_open_cache_instances: 64
    AuroraInstanceParameterGroup:
      Type: AWS::RDS::DBParameterGroup
      Properties:
        Description: !Join ['-', [!Ref 'AWS::StackName', 'Instance Parameter Group']]
        Family: !If [Is57, aurora-mysql5.7, aurora5.6 ]
                  

• 評価シナリオは100%読み取りと100%書き込みの2つを実施
• 作成されるインスタンスは、スループットがネットワーク帯域の上限で制限されないように、拡張ネットワーキングを有効にしている

• 拡張ネットワーキングをサポートするインスタンスタイプでAmazon Linux 2または最新バージョンの Amazon Linux AMIで起動した場合は既に有効になっている

  
• EC2に使用するAMIはカスタムなもののようである(バージニア北部リージョン)

    BastionAmi:
      Description: 'The AMI used to create the bastion host'
      Type: 'String'
      Default: 'ami-0f873d4d3a8b11b74'
                  

• bashスクリプトにはsysbenchを実行するためのコマンドが書かれている?
• sysbenchのDBが作成されると、250回ループ処理をする。1回ごとにsysbenchの新しいインスタンスが起動し、20のユーザー接続をシミュレートする。1秒の休止のあと、次のループ処理で次の20接続が作成される。4分を経過すると、接続数は5000に達し、完全な負荷がかかった状態となる
• ガイドによると5000接続で80万クエリ/秒以上の結果が出ている(INSERTの結果は書いていない)

ベストプラクティス

• MySQL/RDBMSのプラクティスは依然として当てはまる
  • Choose the right tool for the right job (OLAP vs OLTP)
  • 適切なインデックスを作成する
  • SQLをチューニングする。実行計画、パフォーマンススキーマを利用する
• 高い並行性を活用する
  • 接続の数に応じてAuroraのスループットは増加する
  • 高い並行性を有効に利用できるようにアプリをアーキテクトする
• 読み込みのスケーリング
  • Readレプリカのレプリケーションラグはほとんどない
  • 読み取りを分散するために複数のReadレプリカを用意する
• パラメーターチューニング
  • MySQLのパフォーマンス関連のパラメータをAuroraに移植する必要はない
  • Auroraのパラメータグループは事前に調整されており、ほとんどのケースですでに最適な状態である
• パフォーマンスの比較
  • 個々のメトリクスにこだわらない（CPU、IOPS、IOスループット）
  • アプリのパフォーマンスなど重要なことに注目する
  • クエリーのレイテンシーやスループット、バッファプールのキャッシュヒット率に注目
• その他のベストプラクティス
  • クエリキャッシュを常にオンにしておく
  • CloudWatchのメトリクスを活用する