## 简介

本场景将提供日志服务SLS Project和对象存储OSS。通过本教程的操作，您可以使用日志服务接入NGINX模拟数据，通过数据加工对数据进行清洗并归档至OSS中进行存储。

## 云起实验室日志服务体验

（活动期完成有机会参与100%中奖）：https://developer.aliyun.com/adc/series/activity/sls-1

## 背景知识

本场景主要涉及以下云产品和服务：
● 日志服务（SLS）
日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。
● 对象存储OSS
阿里云对象存储服务（Object Storage Service，简称OSS）是阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于99.999999999%，服务设计可用性不低于99.99%。具有与平台无关的RESTful。

## 接入NGINX模拟数据
本步骤将指导您如何使用日志服务接入NGINX模拟数据。

1. 双击打开虚拟桌面的**Firefox ESR浏览器**。
2. 在RAM用户登录框中单击**下一步**，并复制粘贴页面左上角的**子用户密码**到**用户密码输入框**，单击**登录**。
3. 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问日志服务控制台。

```
https://sls.console.aliyun.com/
```

4. 在**日志服务控制台**下方的**Project**列表中，选择Project资源所在地域，然后单击Project名称。

**说明** ：您可以在**云产品资源**列表中查看Project资源所在地域和Project名称。

![img](https://img-blog.csdnimg.cn/img_convert/47fb627882fa1451a21902720dd1d7c6.png)

5. 在日志存储页面左侧，单击**日志库**下的![img](https://img-blog.csdnimg.cn/img_convert/0c2ef654b3b58445b3e0de9cbec76080.png) 图标。

![img](https://img-blog.csdnimg.cn/img_convert/aeaeac1495360ae782e7a0e282d43c78.png)

6. 在**创建Logstore**对话框中，输入**Logstore名称**，打开**WebTracking**开关，然后单击**确定**。

参数说明：

- **Logstore名称**：输入target。
- **WebTracking**：打开**WebTracking**开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

![img](https://img-blog.csdnimg.cn/img_convert/e9a48f40e208c8bc157eefc8ca4781aa.png)

7. 在**创建成功**对话框中，单击**取消**。

![img](https://img-blog.csdnimg.cn/img_convert/295ba4b3c91d016043a6f52300b91f6f.png)

8. 在日志存储页面左侧，选择**日志库>target>数据接入>模拟接入**，然后单击![img](https://img-blog.csdnimg.cn/img_convert/4e38eb0c0d08dc73bf77b44a589cebac.png) 图标。

![img](https://img-blog.csdnimg.cn/img_convert/39aa0f7d4bc288b1c15c12fbd2696926.png)

9. 在**快速接入**面板中，单击**NGINX访问日志**下的**模拟**。

![img](https://img-blog.csdnimg.cn/img_convert/ec892d6ac992e3eaa2d6193d21722ea1.png)

10. 在**模拟接入**页面，单击**开始导入**。

![img](https://img-blog.csdnimg.cn/img_convert/7993fbfc6c6ee6e043d0d390255181e8.png)

11. 在**模拟接入**页面，等待大约一分钟，模拟数据生成后，单击**开始使用**。

![img](https://img-blog.csdnimg.cn/img_convert/033764bf8b7d25c82af706d4005547db.png)

返回如下页面，您可以看到生成的NGINX模拟数据。

![img](https://img-blog.csdnimg.cn/img_convert/8e8bfa28eecc5d9b91dd6e728ee8b4c4.png)

## 创建数据加工
本步骤将指导您如何创建数据加工，将status字段不为200的请求日志存储到目标库中，并查看目标库日志。

1. 在日志存储页面左侧，单击**日志库**下的![img](https://img-blog.csdnimg.cn/img_convert/43a673ce07727428cb40e5724ff1e8b0.png) 图标。

![img](https://img-blog.csdnimg.cn/img_convert/65c01f45d89be2220e340551e8f10449.png)

2. 在**创建Logstore**对话框中，输入**Logstore名称**，打开**WebTracking**开关，然后单击**确定**。

**说明 ：**该Logstore用来status字段不为200的请求日志。

参数说明：

- **Logstore名称**：输入target-1。
- **WebTracking**：打开**WebTracking**开关，您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

![img](https://img-blog.csdnimg.cn/img_convert/e9ea9abab258b43ef3e8403b11e7082d.png)

3. 在**创建成功**对话框中，单击**取消**。

![img](https://img-blog.csdnimg.cn/img_convert/244b42fa711a8016ef1507c5ec5d20d7.png)

4. 在日志存储页面左侧，单击**target-1**。

![img](https://img-blog.csdnimg.cn/img_convert/2a915ccdf5ea048c3b4e47f610632e44.png)

5. 在**错误**对话框中，单击**确定**。

![img](https://img-blog.csdnimg.cn/img_convert/c9896f9d8289f373e423128a57937024.png)

6. 在**target-1**页签右上方，单击**开启索引**。

![img](https://img-blog.csdnimg.cn/img_convert/3ac75c8d79a2c6f384ddd6045b50dd3e.png)

7. 在**查询分析**面板中，打开**全文索引**，单击**确定**。

![img](https://img-blog.csdnimg.cn/img_convert/07687fdd09104bdec87fad6412335fa0.png)

8. 在**查询分析设置**对话框中，单击**确认**。

![img](https://img-blog.csdnimg.cn/img_convert/1f59b42e8a29b76aae15cafc2b04e0a4.png)

9. 在**target-1**页签左侧，单击**target**。

![img](https://img-blog.csdnimg.cn/img_convert/07b21c7140207e56f89c53428803062e.png)

10. 在**target**页签，单击**数据加工**。

![img](https://img-blog.csdnimg.cn/img_convert/457757c79d59ea7586b821fb5de9d98f.png)

11. 在**target**数据加工页签，输入如下加工语句，单击**保存数据加工**。

```
e_drop(e_search("status:200"))
```

![img](https://img-blog.csdnimg.cn/img_convert/937f29d568003c5156cd79b12123b078.png)

12. 在**创建数据加工规则**面板，输入**规则名称**，单击**添加**，然后配置**存储目标**，时间**范围**选择为某时间，单击**确定**。

参数说明：

- **规则名称**：自定义规则名称，例如nginx-data-cleaning。
- **目标名称**：存储目标的名称，输入target-1。
- **目标Region**：选择您的Project资源所在地域。
- **目标Project**：选择您的Project名称。
- **目标库**：选择target-1。
- **时间范围**：选择某时间开始。

![img](https://img-blog.csdnimg.cn/img_convert/ae7c218326be39caa2027c812ca16b3a.png)

![img](https://img-blog.csdnimg.cn/img_convert/c12db591e1e2003a5a5d83b8f5912152.png)

13. 在**创建结果**对话框中，单击**确认**。

![img](https://img-blog.csdnimg.cn/img_convert/50b5314d626ebe64659d2140cb328850.png)

14. 在**target**页签左侧，单击**target-1**。

![img](https://img-blog.csdnimg.cn/img_convert/202a60a304f8507d5f132f4ee215921d.png)

15. 在**target-1**页签右上方，单击**查询/分析**。

![img](https://img-blog.csdnimg.cn/img_convert/0cf06226cced5428312722fe5cd0d704.png)

返回如下页面，您可以看到在目标库target-1中的日志，只有status字段非200的日志。

![img](https://img-blog.csdnimg.cn/img_convert/beb080c272952a7cc2837951b406d37f.png)

## 日志投递
本步骤将指导您如何将数据加工后的日志投递到对象存储OSS。

1. 在**target-1**页签页面左侧，选择**日志库>target-1>数据处理>导出>OSS（对象存储）**。

![img](https://img-blog.csdnimg.cn/img_convert/39d4e6a610aa739be111e13268717ea4.png)

2. 在**OSS投递管理**页签，单击**开启投递**。

![img](https://img-blog.csdnimg.cn/img_convert/c81a79d526add3eb1eb5751b4bfb3d47.png)

3. 在**投递提示**对话框中，单击**直接投递**。

![img](https://img-blog.csdnimg.cn/img_convert/3981705a263616d207f26ba77ee39c74.png)

4. 在**OSS投递功能**对话框中，参考如下配置，其他配置保持默认即可，单击**确定**。

参数说明：

- **OSS投递名称**：自定义OSS投递名称，例如test。
- **OSS Bucket**：输入Bucket Name。您可以在**云产品资源**列表中查看到Bucket Name。

![img](https://img-blog.csdnimg.cn/img_convert/002c063c25ffe995a0b7af707b5459c1.png)

5. 在**投递提示**对话框中，单击**确认**。

![img](https://img-blog.csdnimg.cn/img_convert/37d14f716eae6a408b145a082f6a8f5c.png)

6. 在**OSS投递管理器**页签，稍等三分钟并刷新页面，您可以看到如下图页面，表示您已成功将数据加工后的日志投递到对象存储OSS。

![img](https://img-blog.csdnimg.cn/img_convert/f520ce516ce7b88783ac4d82a1db0377.png)

7. 复制下方地址，在Firefox ESR浏览器打开新页签，粘贴并访问对象存储OSS控制台。

```
https://oss.console.aliyun.com/overview
```

8. 在左侧导航栏中，单击**Bucket列表**。

![img](https://img-blog.csdnimg.cn/img_convert/3d2e62bc6e70da56063804111078d612.png)

9. 在**Bucket列表**页面，找到您的Bucket名称，单击**Bucket名称**。

![img](https://img-blog.csdnimg.cn/img_convert/6eaa0d114a7c7bd9a23c0b2d3097cab6.png)

返回如下页面，您可以看到您的Bucket中有一个文件夹，文件夹中就存储着数据加工后的日志。

![img](https://img-blog.csdnimg.cn/img_convert/6e1e1155e937b365c2715bbcfa583cf1.png)

![img](https://img-blog.csdnimg.cn/img_convert/db773c323fe14cd0f89f17a43bc01c79.png)

ITPub博客

日志服务之数据清洗与入湖

最新文章