本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送、异步发送、单向发送。 同步发送：同步发送是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式。 异步发送：异步发送是指发送方发出一条消息后，不等服务端返回响应，接着发送下一条消息的通讯方式。 单向发送：发送方只负责发送消息，不等待服务端返回响应且没有回调函数触发。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 1. 在命令行输入python，检查是否已安装Python。得到如下回显，说明Python已安装。 PS C:> python Python 3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. 如果未安装Python，请使用以下命令安装： pip install rocketmqclientpython 2. 安装librocketmq库和rocketmqclientpython。 说明 建议下载rocketmqclientcpp2.2.0，获取librocketmq库。 3. 将librocketmq.so添加到系统动态库搜索路径。 1. 查找librocketmq.so的路径。 find / name librocketmq.so 2. 将librocketmq.so添加到系统动态库搜索路径。 ln s /查找到的librocketmq.so路径/librocketmq.so /usr/lib sudo ldconfig 以下示例代码中的参数说明如下，请参考收集连接信息获取参数值。 GROUP：表示消费组名称。 ENDPOINT：表示实例连接地址和端口。 TOPIC：表示Topic名称。

分布式消息服务RocketMQ版支持任意时间的定时消息，最大推迟时间可达到40天。 定时消息即生产者生产消息到分布式消息服务RocketMQ版后，消息不会立即被消费，而是延迟到设定的时间点后才会发送给消费者进行消费。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 1. 在命令行输入python，检查是否已安装Python。得到如下回显，说明Python已安装。 PS C:> python Python 3.9.9 (tags/v3.9.9:ccb0e6a, Nov 15 2021, 18:08:50) [MSC v.1929 64 bit (AMD64)] on win32 Type "help", "copyright", "credits" or "license" for more information. 如果未安装Python，请使用以下命令安装： pip install rocketmqclientpython 2. 安装librocketmq库和rocketmqclientpython。 说明 建议下载rocketmqclientcpp2.2.0，获取librocketmq库。 3. 将librocketmq.so添加到系统动态库搜索路径。 1. 查找librocketmq.so的路径。 find / name librocketmq.so 2. 将librocketmq.so添加到系统动态库搜索路径。 ln s /查找到的librocketmq.so路径/librocketmq.so /usr/lib sudo ldconfig 以下示例代码中的参数说明如下，请参考收集连接信息获取参数值。 GROUP：表示消费组名称。 ENDPOINT：表示实例连接地址和端口。 TOPIC：表示Topic名称。 发送消息 参考如下示例代码。 import datetime from rocketmq.client import Producer, Message from rocketmq.exceptions import RocketMQException endpoint "${ENDPOINT}" 填写分布式消息服务RocketMQ控制台Namesrv接入点 accesskey "${ACCESSKEY}" 填写AccessKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID accesssecret "${SECRETKEY}" 填写SecretKey 在分布式消息服务RocketMQ控制台用户管理菜单中创建的用户密钥 topic "${TOPIC}" 填写Topic，在管理控制台创建 producergroup "${GROUP}" 生产者组group 初始化生产者 producer Producer(producergroup) producer.setnamesrvaddr(endpoint) producer.setsessioncredentials(accesskey, accesssecret, "") 启动生产者 try: producer.start() except RocketMQException as e: print('start producer error:', e) exit(1) msg Message(topic) msg.setbody("Hello RocketMQ") delaytime 10 发送任意延迟消息，时间单位为毫秒，如下所示：消息将在10s后投递 delaytimestamp int((datetime.datetime.now() + datetime.timedelta(secondsdelaytime)).timestamp() 1000) msg.setproperty('STARTDELIVERTIME', str(delaytimestamp)) 发送消息 try: result producer.sendsync(msg) print('send result:', result) except RocketMQException as e: print('send message error:', e) producer.shutdown() exit(1) 关闭生产者实例，释放资源 producer.shutdown()

语法示例 示例1 ： 假设有一个DRDS集群中关联了3个RDS，分别为udal3307、udal3308和udal3309，使用如下HINT风格分片写法的SQL语句将创建逻辑库mydb，并在udal3307和udal3308上各创建2个分片： plaintext CREATE DATABASE mydb / sharding @@database name'mydb' set datasource 'udal3307:2,udal3308:2' and number2 /; 等同于使用如下SQL风格分片写法的SQL： plaintext CREATE DATABASE mydb DN 'udal3307,udal3308' PARTITIONS 2; 示例2： 假设有一个DRDS集群中关联了3个RDS，分别为udal3307、udal3308和udal3309，使用如下HINT风格分片写法的SQL语句将创建逻辑库mydb2，并在每个RDS上都创建3个分片： plaintext CREATE DATABASE mydb2 / sharding @@database name'mydb2' set datasource 'udal3307,udal3308,udal3309' and number3 /; 注意 在如上写法中，datasource必须显式写出，不能忽略。 而使用SQL风格分片写法来达到同等效果的SQL语句如下： plaintext CREATE DATABASE mydb2 PARTITIONS 3; 注意 此时省略了DN参数，系统会使用show rdslist命令获取的RDS列表，即当前关联的所有RDS（udal3307、udal3308和udal3309）来作为数据源。 示例３： 假设有一个DRDS集群中关联了3个RDS，分别为udal3307、udal3308和udal3309，使用如下HINT风格分片写法的SQL语句将创建逻辑库mydb3，并在udal3307和udal3308上创建2个分片，在udal3309上创建3个分片： plaintext CREATE DATABASE mydb3 / sharding @@database name'mydb3' set datasource'udal3307:2,udal3308:2,udal3309:3' / 此时，由于需要在不同RDS数据源上指定不同的分片数量，SQL风格分片写法不支持该场景，因此只能使用HINT风格分片的写法。

本文介绍如何在C运行环境下的日志打印。 打印日志 使用 Serverless.Cf 依赖库提供方法打印日志 使用库 Serverless.Cf依赖库提供的 Logger()方法打印日志，使用该方法打印的每条日志中都包含日志级别、RequestId、时间、文件名和行号等信息。示例代码如下： csharp public async Task Handler(Stream input, ICfContext context) { var str "Hello world"; byte[] bytetxt Encoding.UTF8.GetBytes(str); // 日志打印 context.Logger.LogInformation("Hello log"); MemoryStream output new MemoryStream(); await input.CopyToAsync(output); output.Write(bytetxt, 0, bytetxt.Length); return output; } 函数被执行后，会输出以下日志： bash 20240708 10:32:36.926 xxxxxx [INFO] Hello log 使用 Console.WriteLine 打印日志 您还可以使用 Console.WriteLine()方法打印日志，或者其它写入到stdout/stderr的日志库打印日志。示例代码如下： csharp public async Task Handler(Stream input, ICfContext context) { var str "Hello world"; byte[] bytetxt Encoding.UTF8.GetBytes(str); // 控制台打印 Console.WriteLine("Hello console"); MemoryStream output new MemoryStream(); await input.CopyToAsync(output); output.Write(bytetxt, 0, bytetxt.Length); return output; } 函数被执行后，会输出以下日志： bash Hello console

本文介绍C如何实现并应用函数实例生命周期回调方法。 使用说明 当您实现并配置函数实例生命周期回调后，函数计算将在相关实例生命周期事件发生时调用对应的回调程序。函数实例生命周期涉及Initializer和PreStop回调。 Initializer回调 Initializer回调在函数实例启动成功后，请求处理程序（Handler）之前执行。 PreStop回调 PreStop回调在函数实例销毁前执行。 Initializer回调和PreStop回调的方法签名一样，入参只有一个context参数，提供在调用时的运行上下文信息。回调方法定义如下： csharp using System; using System.IO; using System.Text; using System.Text.Json; using System.Threading.Tasks; using Microsoft.Extensions.Logging; using Serverless.Cf; namespace Example { public class Hello { public void PreStop(ICfContext context) { context.Logger.LogInformation("hello prestop"); } public void Init(ICfContext context) { context.Logger.LogInformation("hello init"); } public async Task Handler(Stream input, ICfContext context) { var str "Hello world"; byte[] bytetxt Encoding.UTF8.GetBytes(str); MemoryStream output new MemoryStream(); await input.CopyToAsync(output); output.Write(bytetxt, 0, bytetxt.Length); return output; } static void Main(string[] args) { } } }

示例：Event Handler csharp public async Task Handler(Stream input, ICfContext context) { var str "Hello world"; byte[] bytetxt Encoding.UTF8.GetBytes(str); context.Logger.LogInformation("Hello: " + str); MemoryStream output new MemoryStream(); await input.CopyToAsync(output); output.Write(bytetxt, 0, bytetxt.Length); return output; } 示例：Http Handler csharp public HTTPTriggerResponse Handler(HTTPTriggerEvent input, ICfContext context) { var str JsonSerializer.Serialize(input); context.Logger.LogInformation("Hello log: " + str); return new HTTPTriggerResponse { StatusCode 200, IsBase64Encoded false, Body str }; }

本文介绍如何在PHP运行环境下的日志打印。 打印日志 使用函数计算提供的全局日志对象打印日志 使用函数计算提供的全局日志对象 $GLOBALS['fcLogger'] 打印日志，使用该方法打印的每条日志中都包含日志级别、RequestId、时间等信息。示例代码如下： php info('hello info log'); $logger>critical('hello critical log'); $logger>setLevel(500); $logger>info('hello info log'); $logger>critical('hello critical log'); return "hello world"; } 函数被执行后，会输出以下日志： bash 20240311 12:07:06 xxx [INFO] hello info log 20240311 12:07:06 xxx [CRITICAL] hello critical log 20240311 12:07:06 xxx [CRITICAL] hello critical log

KEY 描述 FCCTYUNACCESSKEY 如果函数配置了权限，选择的角色的临时AK会放在该环境变量 FCCTYUNSECRETKEY 如果函数配置了权限，选择的角色的临时SK会放在该环境变量

在函数计算中，依赖包的安装可以有两种方式： 在本地环境中自行安装依赖包，把依赖包作为函数代码包的一部分，在创建/更新函数时，作为一个整体进行上传。 依赖包以层的方式出现，用户可以把依赖包制作成自定义层，然后为函数配置之前创建的自定义层。创建自定义层可以通过zip包、文件夹或者ZOS进行上传创建，也可以在线创建，具体操作可以参考创建自定义层。函数配置层请参考配置层。

字段 类型 解释说明 errorMessage string 异常信息。 errorType string 异常类型。 stackTrace string[] 异常堆栈。

函数计算公共请求头 自定义容器从函数计算中接收到的公共请求头如下表所示。 说明 事件函数和HTTP函数均包含公共请求头Headers。 Header 描述 xfcrequestid Request ID，用于标识一次请求，便于日志追踪，通常是唯一的 xfcreqcosttime 请求耗时 xfcreqarrivetime 请求到达时间 函数计算环境变量 如果您需要访问天翼云其他服务，可以在函数配置 >权限，选择的角色,该角色的临时AK，SK会放在环境变量。 KEY 描述 FCCTYUNACCESSKEY 如果函数配置了权限，选择的角色的临时AK会放在该环境变量 FCCTYUNSECRETKEY 如果函数配置了权限，选择的角色的临时SK会放在该环境变量 函数日志格式 建议您在创建函数时启用日志功能，自定义运行时函数中所有打印到标准输出（Stdout）的日志会自动收集到您指定的日志服务中。

本文以安装第三方依赖paragonie/randomlib为例,介绍如何为您的PHP代码安装依赖,打包并部署代码至函数计算。 准备工作 1. 创建一个代码目录，如 myapp。 2. 在 myapp目录下，创建 index.php文件，文件内容如下： php

版本 操作系统 架构 PHP 7.2 Linux x8664

Path 输入请求 期望的响应 （可选）POST /initialize 请求体：无。 响应体：函数 Initializer 的返回值。StatusCode2xx：成功状态。非2xx：失败状态。 （可选）GET /prestop 请求体：无。 响应体：函数PreStop的返回值。StatusCode2xx：成功状态。非2xx：失败状态。

本文介绍在函数计算中使用Node.js语言编写函数的运行环境信息。 Node.js运行时 函数计算目前支持的Node.js运行时环境如下： 版本 标识符 操作系统 架构 Node.js 20.x Nodejs 20 Linux (Debian 10) x8664 Node.js 18.x Nodejs 18 Linux (Debian 10) x8664 Node.js 16.x Nodejs 16 Linux (Debian 10) x8664

本文介绍如何使用Java请求处理程序响应接收到的事件并执行相应的业务逻辑。 请求处理程序 请求处理程序是您提供的一个方法。当您的函数被调用时，函数计算会运行该方法处理请求。 您可以通过函数计算控制台页面配置请求处理程序 ，对于Java语言的函数，请求处理程序需配置为 [包名].[类名]::[方法名]。例如，您的包名为example，类型为App，方法名为handleRequest，则请求处理程序可配置为 example.App::handleRequest。 处理程序接口 您在使用Java编程时，必须要实现函数计算提供的接口类，cruntimecore库为请求处理程序定义了以下接口。 StreamRequestHandler 以流的方式接收输入的事件请求对象并返回执行结果。您需要从输入流中读取调用函数时的输入，处理完成后把函数执行结果写到输出流中来返回。 PojoRequestHandler 以泛型的方式接收输入的事件请求对象并返回执行结果。您可以自定义输入和输出的类型，但是输入和输出的类型必须是POJO类型。 HttpRequestHandler 以标准的Servlet协议方式接收HTTP触发器 的请求并响应执行结果。请求会封装成 HttpServletRequest对象，并通过 HttpServletResponse对象来返回响应头和响应体。 示例：StreamRequestHandler 一个最简单的StreamRequestHandler示例如下所示： package example; import com.ctg.faas.runtime.; import example.util.ServletUtil; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; public class StreamHandler implements StreamRequestHandler { @Override public void handleRequest(InputStream input, OutputStream output, Context context) throws IOException { FunctionComputeLogger logger context.getLogger(); logger.info("StreamRequestHandler hello"); String inStr ServletUtil.getInputString(input); logger.info("input :"+inStr); String req String.format("input: %sn", inStr); output.write(req.getBytes()); output.flush(); output.close(); } } 包名和类名 包名和类名可以自定义。 实现的接口 您的代码中必须要实现函数计算预定义的接口。上述的代码示例中实现了 StreamRequestHandler，其中的input 参数为调用函数时传入的数据，output参数用于返回函数的执行结果。 Context参数 Context参数中包含一些函数的运行时信息（例如RequestId、临时AccessKey等），其类型是 com.ctg.faas.runtime.Context。 返回值 实现 StreamRequestHandler接口的函数通过output参数返回执行结果。 引入的依赖 其中用到的 com.ctg.faas.runtime包的maven依赖坐标如下： com.ctg.faas.runtime fcruntimecore 1.0.0SNAPSHOT

本文介绍Java运行环境的错误处理。 如果函数在执行过程中抛出异常，那么会被函数计算捕获并返回异常信息。 如下示例代码中，我们构造了一个运行时异常： java package example; import com.ctg.faas.runtime.Context; import com.ctg.faas.runtime.PojoRequestHandler; public class HelloApp implements PojoRequestHandler { @Override public String handleRequest(String input, Context context) { throw new RuntimeException("something wrong"); } } 函数被执行后函数计算会返回如下异常信息： json { "errorCause": "", "errorType": "java.lang.RuntimeException", "errorMessage": "something wrong", "stackTrace": [ "example.HelloApp.handleRequest(HelloApp.java:10)" ] } 异常信息字段说明： 字段 类型 说明 errorMessage String 异常信息。 errorCause String 异常原因。 errorType String 异常类型。 stackTrace List 异常堆栈。

本文介绍如何在Java运行环境下打印和查看函数日志。 打印日志 fcruntimecore库提供的 context.getLogger方法打印日志。该方法打印的每条日志中都包含时间、RequestId和日志级别等信息。示例代码如下所示： package example; import com.ctg.faas.runtime.Context; import com.ctg.faas.runtime.PojoRequestHandler; public class App implements PojoRequestHandler { @Override public String handleRequest(String input, Context context) { context.getLogger().info("Hello log"); return input; } } 目前函数计算提供的Logger支持打印TRACE、DEBUG、INFO、WARN、ERROR、FATAL级别的日志信息。 查看日志 函数执行完成后，您可以在函数详情页的日志页签查看日志信息。 例如，执行上面的示例代码会看到如下日志输出： 20240312 12:09:50.935 [XNIO1 task1] INFO fcLog [xxxx] Hello log

本文介绍在函数计算中使用Go语言编写函数的运行环境信息。 Go运行时 函数计算目前支持的Go运行环境如下： 版本 标识符 操作系统 架构 Go 1.x Go 1.x Linux (Debian 10) x8664

本文介绍在函数计算中使用Java语言编写函数的运行环境信息。 Java运行时 函数计算目前支持的Java运行环境如下： 版本 操作系统 架构 Java 8 Debian 10 x8664 Java 11 Debian 10 x8664 Java 17 Debian 10 x8664 Java 21 Debian 10 x8664 函数计算为Java运行时提供了 com.ctg.faas.runtime:fcruntimecore 依赖库，定义了请求处理程序中使用的handler接口和context对象等信息。

本文介绍如何使用Python请求处理程序响应接收到的事件并执行相应的业务逻辑。 请求处理程序 请求处理程序 是您提供的一个方法。当您的函数被调用时，函数计算会运行该方法处理请求。 您可以通过函数计算控制台页面 配置请求处理程序 ，对于Python语言的函数，请求处理程序需配置为 [文件名].[方法名]。例如，您的文件名为index.py，方法名为handler，则请求处理程序可配置为 index.handler。 事件请求处理程序的方法签名定义如下： def handler(event, context): return 'Hello Python!' 方法名 您可以自定义方法名称。 event入参 您调用函数时传入的参数。 context入参 context参数中包含一些函数的运行时信息（例如RequestId、临时AccessKey等）。 HTTP请求处理程序的方法签名定义如下： coding: utf8 HELLOWORLD b'Hello world!n' def handler(environ, startresponse): status '200 OK' responseheaders [('Contenttype', 'text/plain')] startresponse(status, responseheaders) return [HELLOWORLD] 方法名 您可以自定义方法名称。 environ入参 用于存放所有HTTP请求的信息。 startresponse入参 发送 HTTP 响应的函数，包含两个参数：HTTP状态码、一组Python list对象组成的HTTP Headers。 示例：获取JSON中的字段 coding: utf8 import json def handler(event, context): person json.loads(event) name person["name"] address person["address"] return f"Input name is: {name}, address is: {address}" 示例二：使用HTTP触发器调用函数 import json import logging 配置日志 logger logging.getLogger() logger.setLevel(logging.INFO) def handler(environ, startresponse): 获取请求路径、URI和客户端IP requestpath environ.get('FCREQUESTPATH', '') requesturi environ.get('FCREQUESTURI', '') requestclientip environ.get('FCREQUESTCLIENTIP', '') 记录日志 logger.info("hello") print("print hello") 获取请求体数据 try: 读取请求体 requestbodysize int(environ.get('CONTENTLENGTH', 0)) except (ValueError): requestbodysize 0 requestbody environ['wsgi.input'].read(requestbodysize) 解析JSON请求体 try: if requestbody: jsondata json.loads(requestbody.decode('utf8')) logger.info(f"body: {json.dumps(jsondata)}") else: jsondata {} logger.info("body: empty") except json.JSONDecodeError as e: logger.error(f"JSON解析错误: {e}") jsondata {} 构建响应内容 responsecontent f"Path: {requestpath}nUri: {requesturi}nIP: {requestclientip}n" 设置响应状态和头部 status '200 OK' responseheaders [ ('header1', 'value1'), ('header2', 'value2'), ('ContentType', 'text/plain') ] startresponse(status, responseheaders) 返回响应内容 return [responsecontent.encode('utf8')]

设置完成后，可以直接使用java 启动HTTP Server。 安装依赖 自定义运行时安装各语言依赖的具体操作，请参见以下文档。 Node.js 使用npm安装依赖并部署代码 Python 使用pip安装依赖并部署代码 PHP 安装PHP非内置依赖 您也可以使用函数计算的层功能安装依赖，推荐使用自定义和官方公共层。

Path 输入请求 期望的响应 （可选）POST /initialize 请求体：无。 响应体：函数 Initializer 的返回值。StatusCode2xx：成功状态。非2xx：失败状态。 （可选）GET /prestop 请求体：无。 响应体：函数PreStop的返回值。StatusCode2xx：成功状态。非2xx：失败状态。

本文介绍PHP如何实现并应用函数实例生命周期回调方法。 使用说明 当您实现并配置函数实例生命周期回调后，函数计算将在相关实例生命周期事件发生时调用对应的回调程序。函数实例生命周期涉及Initializer和PreStop回调。 Initializer回调 Initializer回调在函数实例启动成功后，请求处理程序（Handler）之前执行。 PreStop回调 PreStop回调在函数实例销毁前执行。 Initializer回调和PreStop回调的方法签名一样，入参只有一个context参数，提供在调用时的运行上下文信息。回调方法定义如下： php info("initialize..."); } function preStop($context) { $logger $GLOBALS['fcLogger']; $logger>info("preStop..."); }

本文介绍如何使用Node.js请求处理程序响应接收到的事件并执行相应的业务逻辑。 请求处理程序 请求处理程序 是您提供的一个方法。当您的函数被调用时，函数计算会运行该方法处理请求。 您可以通过函数计算控制台页面 配置请求处理程序 ，对于Node.js语言的函数，请求处理程序需配置为 [文件名].[方法名]。例如，您的文件名为index.js或index.mjs，方法名为handler，则请求处理程序可配置为 index.handler。 ES模块和CommonJS模块的事件请求处理程序的方法签名分别定义如下： ES模块 // index.mjs export const handler async (event, context) > { console.log("receive event: n" + event); return "Hello World!"; }; CommonJS模块 // index.js exports.handler async function(event, context) { console.log("receive event: n" + event); return "Hello World!"; }; 方法名 您可以自定义方法名称，或与函数计算控制台配置的请求处理程序相对应。如：handler。 event入参 您调用函数时传入的参数。 context入参 context参数中包含一些函数的运行时信息。 示例：JSON格式参数解析 如下示例中，我们解析函数调用入参event为JSON，然后获取userName字段的值： ES模块 export const handler async (event, context) > { var eventObj JSON.parse(event.toString()); return eventObj['key']; }; CommonJS模块 exports.handler function(event, context, callback) { var eventObj JSON.parse(event.toString()); callback(null, eventObj['key']); }; 示例：HTTP触发器 调用函数 如下示例中，我们处理传入的事件，如果是HTTP请求，则读取并解码请求体，然后原样返回给调用者： ES模块 'use strict'; export const handler async (event, context) > { const eventObj JSON.parse(event); console.log(receive event: ${JSON.stringify(eventObj)}); let body 'Hello World!'; // get http request body if ("body" in eventObj) { body eventObj.body; if (eventObj.isBase64Encoded) { body Buffer.from(body, 'base64').toString('utf8'); } } console.log(receive http body: ${body}); return { 'statusCode': 200, 'body': body }; } CommonJS模块 'use strict'; exports.handler (event, context, callback) > { const eventObj JSON.parse(event); console.log(receive event: ${JSON.stringify(eventObj)}); let body 'Hello World!'; // get http request body if ("body" in eventObj) { body eventObj.body; if (eventObj.isBase64Encoded) { body Buffer.from(body, 'base64').toString('utf8'); } } console.log(receive http body: ${body}); callback(null, { 'statusCode': 200, 'body': body }); }

版本 操作系统 架构 .NET Core 8.0 Debian 10 x8664

当函数计算运行您的函数时,会将上下文对象传递到执行方法中。该对象包含有关调用、服务、函数和执行环境等信息。 上下文接口 您可以通过请求处理程序$context参数获取上下文相关信息，其定义如下： php array( 'requestId' > '请求ID', 'credentials' > [ 'accessKeyId' > 'ak', 'accessKeySecret' > 'sk', ], 'function' > [ 'name' > '函数名', 'handler' > '请求处理程序方法名', 'memory' > '内存信息', 'timeout' > '函数超时信息', 'initializer' > '初始化方法名', 'initializationTimeout' > '始化方法超时时间', ], 'region' > 'region', 'accountId' > '账户名' )

名字 存储尺寸 描述 范围 smallint 2字节 小范围整数 小范围整数32768 到+32767 integer 4字节 整数的典型选择 2147483648 到 +2147483647 bigint 8字节 大范围整数 大范围整数9223372036854775808 到+9223372036854775807 decimal 可变 用户指定精度，精确 最高小数点前131072位，以及小数点后16383位 numeric 可变 用户指定精度，精确 最高小数点前131072位，以及小数点后16383位 real 4字节 可变精度，不精确 6位十进制精度 double precision 8字节 可变精度，不精确 15位十进制精度 serial 4字节 自动增加的整数 1到2147483647

如果发生了数据倾斜 此时倾斜executor不会出现Exception，但是内存heap使用量偏高，会发出内存告警。 这一点可以在web UI的task列表中清晰的看到stage的某一个task相对于其他task，其computing time明显很长。 这种情况下一般是shuffle发生了数据倾斜，首先可以使用map combiner，降低map侧的倾斜的shuffle reduce分区的数据量。 此外，可以通过编程，提取出topk的shuffle reduce 分区的key值，然后将对应shuffle Key的rdd partition打上随机数，做一个均匀分割，然后执行reduceByKey操作，最后去掉随机数，再执行一次reduceByKey。 如果不想这样，可以使用hive。 Heap User Heap User作用 用户自定义数据结构，这个就是用户使用spark core api 或者 spark sql api过程中使用了其他数据结构进行编程，因而产生了一些heap消耗。 Heap User不足 存在heap不足的情况，一般是用户将task的计算结果，RDD.collect 到driver中的数据结构中，这种情况，需要去使用专门的connector，实现分布式计算和读写。 还有就是用户执行sql的时候，会进行非insert 操作，即直接select读取大表，导致driver内存不足够，这种情况下建议使用limit 操作，或者 使用spark的流式返回功能。

本章节主要介绍翼MapReduce组件HBase日志如何查询。 1. 使用root用户登录集群的Master或rs节点。 2. 执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。

本章节主要介绍翼MapReduce组件Kafka支持的协议类型。 Kafka目前支持4种协议类型的访问：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 PLAINTEXT是最简单的协议，它以明文形式传输数据，不提供任何加密或身份验证机制。 SSL（Secure Sockets Layer） 是一种安全的协议，用于在客户端和服务器之间加密通信。通过使用 SSL，可以确保数据在传输过程中是加密的，从而提高了安全性。SSL协议通常需要在Kafka服务器上配置SSL证书以进行安全通信。 SASLPLAINTEXT （Simple Authentication and Security Layer with Plain Text）使用简单身份验证机制，通常用于在不使用加密的情况下进行用户身份验证，但是用户名和密码以明文形式传输。 SASLSSL （Simple Authentication and Security Layer with SSL）结合了 SSL 和 SASL，提供了更强大的安全性。它通过 SSL 加密通信，并使用 SASL 进行身份验证。这是Kafka中最安全的选项之一，适用于在不同网络环境中进行安全通信。 在Kafka中，选择适当的协议取决于集群的安全需求和网络环境。

本章节主要介绍翼MapReduce组件Spark日志保存问题。 Spark job没有完成的任务日志保存在dirver节点的nodemanager 的 containerlogs中。 Spark job完成的任务日志保存在HDFS的/tmp/logs/ 用户名 /logs。