社区专栏>hadoop3.x fsimage并行解析POC测试>
原创
hadoop3.x fsimage并行解析POC测试
前置条件：
a)、hadoop version: 3.3.3
1、fsimage新的解析代码兼容性测试
| Test1 |
fsimage: |
12G |
|
| fsimage无subSections |
|
|
|
| |
|
|
|
| |
|
|
|
| |
|
|
|
| mode |
LevelDB |
| Thread |
1(原生代码) |
1 |
12(设置的虽然是12，但还是串行) |
| run1运行时间(s) |
5606 |
5956 |
6161 |
| run2运行时间(s) |
5567 |
5904 |
6088 |
| 平均运行时间(s) |
5587 |
5930 |
6125 |
| run1解析前大小 |
12256992116 |
12256992116 |
12256992116 |
| run1解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run2解析前大小 |
12256992116 |
12256992116 |
12256992116 |
| run2解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| 是否可解析无subSection fsimage |
YES |
YES |
YES |
| 解析大小 |
相同 |
2、fsimage并行加载性能测试
| Test2 |
fsimage |
12G |
|
| fsimage有12subSections |
|
|
|
| |
|
|
|
| |
|
|
|
| |
|
|
|
| mode |
LevelDB |
| Thread |
1 |
6 |
12 |
| run1运行时间(s) |
5730.00 |
2152.00 |
1781 |
| run2运行时间(s) |
5990.00 |
2149.00 |
1660 |
| 平均运行时间(s) |
5860 |
2151 |
1720.5 |
| run1解析前大小 |
12256990057 |
12256990057 |
12256990057 |
| run1解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run2解析前大小 |
12256990057 |
12256990057 |
12256990057 |
| run2解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run_time_rate(%) |
100% |
36.70% |
29.36% |
| run_time提升效果 |
0.00% |
63.30% |
70.64% |
原创
hadoop3.x fsimage并行解析POC测试
前置条件：
a)、hadoop version: 3.3.3
1、fsimage新的解析代码兼容性测试
| Test1 |
fsimage: |
12G |
|
| fsimage无subSections |
|
|
|
| |
|
|
|
| |
|
|
|
| |
|
|
|
| mode |
LevelDB |
| Thread |
1(原生代码) |
1 |
12(设置的虽然是12，但还是串行) |
| run1运行时间(s) |
5606 |
5956 |
6161 |
| run2运行时间(s) |
5567 |
5904 |
6088 |
| 平均运行时间(s) |
5587 |
5930 |
6125 |
| run1解析前大小 |
12256992116 |
12256992116 |
12256992116 |
| run1解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run2解析前大小 |
12256992116 |
12256992116 |
12256992116 |
| run2解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| 是否可解析无subSection fsimage |
YES |
YES |
YES |
| 解析大小 |
相同 |
2、fsimage并行加载性能测试
| Test2 |
fsimage |
12G |
|
| fsimage有12subSections |
|
|
|
| |
|
|
|
| |
|
|
|
| |
|
|
|
| mode |
LevelDB |
| Thread |
1 |
6 |
12 |
| run1运行时间(s) |
5730.00 |
2152.00 |
1781 |
| run2运行时间(s) |
5990.00 |
2149.00 |
1660 |
| 平均运行时间(s) |
5860 |
2151 |
1720.5 |
| run1解析前大小 |
12256990057 |
12256990057 |
12256990057 |
| run1解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run2解析前大小 |
12256990057 |
12256990057 |
12256990057 |
| run2解析后大小 |
29793573835 |
29793573835 |
29793573835 |
| run_time_rate(%) |
100% |
36.70% |
29.36% |
| run_time提升效果 |
0.00% |
63.30% |
70.64% |
